Автоматизация процессов при помощи инструментов на базе ИИ в приложениях для творчества.
1889
23.12.2022 17:13:00
9 мин
И речь не только о повышении скорости выполнения ресурсоемких задач, таких как рендеринг и трекинг (благодаря мощности видеокарт RTX большинство таких процессов происходит в реальном времени) - теперь художники и видеомонтажеры смогут экономить огромное количество сил и времени, доверив выполнение самых трудоемких задач искусственному интеллекту, реализованному на базе специализированных тензорных ядер видеокарт линейки GeForce RTX.
GEFORCE RTX ДЛЯ ОБРАБОТКИ ВИДЕО
Работа с видеоматериалом, пожалуй, самое трудоемкое занятие в индустрии цифрового контента. Поэтому так неоценимы новейшие нейросетевые инструменты, работающие на видеокартах GeForce RTX. Рассмотрим один из них - Magic Mask, который появился в свежих версиях Davinci Resolve. Он призван избавить видеомонтажера от его худшего ночного кошмара - ротоскопирования, когда приходится кадр за кадром выделять героя видео вручную, чтобы произвести какие-нибудь манипуляции над ним отдельно от фона. Ярким примером того, каких масштабов могут достигать объемы таких работ, является фильм Город грехов (2005), в котором 90% времени на пост-продакшн заняло ручное покадровое выделение и раскрашивание персонажей. А GeForce RTX справился бы с подобной задачей за секунды!
Мне довелось протестировать Magic Mask на мощном ноуте HP OMEN Ralph 21C1 с видеокартой GeForce RTX 3060 на борту. Рассмотрим сцену, в которой нужно повысить цветность и освещенность главного персонажа, чтобы он сильнее выделялся в кадре.
До появления нейросетей, нам приходилось вручную создать маску по форме силуэта персонажа, затем производить трекинг сцены и поправлять форму маски для каждого кадра, чтобы она оставалась на нужных местах. Мало того, что такой метод требует чудовищного количества времени, так еще и результаты, как правило, оставляют желать лучшего. Взглянем, на что способен искусственный интеллект. Magic Mask имеет режим повышенного качества, который задействует всю мощь видеокарты GeForce RTX 3060 для достижения наилучшего результата. Инструмент позволяет отслеживать персонажа полностью, либо отдельные его элементы, такие как руки, ноги, лицо, волосы и даже одежду или обувь. Представляете, теперь можно буквально в два клика поменять цвет волос героя на пост-продакшене!
В режиме выделения персонажа достаточно отметить героя росчерком пера, нейросеть сразу определит его силуэт. Нам остается только нажать Track Forward и маска будет создана для всех последующих кадров сцены за пару секунд, мы сможем производить цветокоррекцию и любые другие манипуляции над персонажем отдельно от фона. И все это без ручного выделения, без дополнительного софта, без регистрации и смс. Любой, кто хоть раз выполнял подобную работу, сможет оценить этот инструмент по достоинству.
Стоит упомянуть некоторые из полезных инструментов Adobe Premiere, задействующих нейросетевые мощности GeForce RTX для существенной экономии времени. В наше время мобильные телефоны стали приоритетной платформой для просмотра контента, но большая часть видеоматериалов снималась и снимается в горизонтальном формате, что создает дополнительные трудности при выпуске роликов на разных платформах.
С новой функцией Auto Reframe вы просто выбираете формат желаемого видео, и нейросеть сама отцентрует изображение на главных действующих лицах, избавляя вас от необходимости вручную выставлять кадры. Если же требуется ограничить продолжительность видео для какой-то платформы, то для лучшего результата больше не придется тщательно выискивать места монтажных склеек, чтобы ровно по ним вырезать части видео без лишних кадров. Новая функция Scene Edit Detection применит ИИ для нахождения всех склеек с 99% точностью, вам останется только выбрать фрагменты, которые можно убрать. С Nvidia RTX продакшн для любого количества платформ не займет лишнего времени.
Возьмем, к примеру, фильтр Skin Smoothing, который в один клик убирает несовершенства кожи, при этом результат не выглядит излишне обработанным. Причем сам процесс занимает доли секунды. Функционал Нейронных фильтров не ограничивается простой ретушью, некоторые его возможности уже из области научной фантастики. Функция Smart Portrait задействует нейросеть NVIDIA StyleGAN, позволяя изменять параметры лица на фотографии. Можно изменить выражения эмоций на лице, поменять возраст, густоту волос, направление головы и взгляда, даже направление освещения в сцене. Все изменения сохраняются в отдельном слое, так что вам останется лишь сделать пару финальных штрихов при помощи знакомого инструментария Photoshop.
Говоря про новые нейросетевые фишки в Photoshop, нельзя не упомянуть AI Super Resolution. Это уже почти панацея от главной болезни растровой графики - невозможности масштабирования без потери качества. Все прежние механизмы увеличения разрешения базировались на математических алгоритмах, которые достраивали недостающие пиксели базируясь на цветах соседних пикселей, что всегда дает размытый результат, лишенный детализации. Принципиально новый подход к этой задаче - использование нейросетей, обученных на миллионах изображений, разбитых на пары (оригинал и уменьшенная). Такой подход и реализован в фильтре AI Super Resolution. Причем на GeForce RTX он работает молниеносно, позволяя обрабатывать десятки фотографий за секунды.
Чтобы включить его, выбирайте Optix в качестве устройства рендеринга и в строке Denoise. Так вы сможете получать моментальный фидбек от своей работы в виде картинки с качеством финального рендера, больше нет необходимости ограничиваться упрощенным превью с неточным освещением. Мощности современного игрового ноутбука оказалось более чем достаточно для комфортной работы с трехмерной графикой. GeForce RTX 3060 дает возможность моментально оценить конечный результат, и 3D художнику намного проще вносить правки на лету и быстро получать желаемый результат.
GEFORCE RTX ДЛЯ ОБРАБОТКИ ВИДЕО
Работа с видеоматериалом, пожалуй, самое трудоемкое занятие в индустрии цифрового контента. Поэтому так неоценимы новейшие нейросетевые инструменты, работающие на видеокартах GeForce RTX. Рассмотрим один из них - Magic Mask, который появился в свежих версиях Davinci Resolve. Он призван избавить видеомонтажера от его худшего ночного кошмара - ротоскопирования, когда приходится кадр за кадром выделять героя видео вручную, чтобы произвести какие-нибудь манипуляции над ним отдельно от фона. Ярким примером того, каких масштабов могут достигать объемы таких работ, является фильм Город грехов (2005), в котором 90% времени на пост-продакшн заняло ручное покадровое выделение и раскрашивание персонажей. А GeForce RTX справился бы с подобной задачей за секунды!Мне довелось протестировать Magic Mask на мощном ноуте HP OMEN Ralph 21C1 с видеокартой GeForce RTX 3060 на борту. Рассмотрим сцену, в которой нужно повысить цветность и освещенность главного персонажа, чтобы он сильнее выделялся в кадре.
До появления нейросетей, нам приходилось вручную создать маску по форме силуэта персонажа, затем производить трекинг сцены и поправлять форму маски для каждого кадра, чтобы она оставалась на нужных местах. Мало того, что такой метод требует чудовищного количества времени, так еще и результаты, как правило, оставляют желать лучшего. Взглянем, на что способен искусственный интеллект. Magic Mask имеет режим повышенного качества, который задействует всю мощь видеокарты GeForce RTX 3060 для достижения наилучшего результата. Инструмент позволяет отслеживать персонажа полностью, либо отдельные его элементы, такие как руки, ноги, лицо, волосы и даже одежду или обувь. Представляете, теперь можно буквально в два клика поменять цвет волос героя на пост-продакшене!
В режиме выделения персонажа достаточно отметить героя росчерком пера, нейросеть сразу определит его силуэт. Нам остается только нажать Track Forward и маска будет создана для всех последующих кадров сцены за пару секунд, мы сможем производить цветокоррекцию и любые другие манипуляции над персонажем отдельно от фона. И все это без ручного выделения, без дополнительного софта, без регистрации и смс. Любой, кто хоть раз выполнял подобную работу, сможет оценить этот инструмент по достоинству.
Стоит упомянуть некоторые из полезных инструментов Adobe Premiere, задействующих нейросетевые мощности GeForce RTX для существенной экономии времени. В наше время мобильные телефоны стали приоритетной платформой для просмотра контента, но большая часть видеоматериалов снималась и снимается в горизонтальном формате, что создает дополнительные трудности при выпуске роликов на разных платформах.
С новой функцией Auto Reframe вы просто выбираете формат желаемого видео, и нейросеть сама отцентрует изображение на главных действующих лицах, избавляя вас от необходимости вручную выставлять кадры. Если же требуется ограничить продолжительность видео для какой-то платформы, то для лучшего результата больше не придется тщательно выискивать места монтажных склеек, чтобы ровно по ним вырезать части видео без лишних кадров. Новая функция Scene Edit Detection применит ИИ для нахождения всех склеек с 99% точностью, вам останется только выбрать фрагменты, которые можно убрать. С Nvidia RTX продакшн для любого количества платформ не займет лишнего времени.
GEFORCE RTX ДЛЯ ОБРАБОТКИ ФОТО
Что же касается обработки фотографий, то больше всего времени отнимает ретуширование, это подтвердит любой фотограф. Клиенты хотят видеть на фотографиях свои лица без малейшего изъяна, поэтому приходится часами корпеть над снимками, доводя портреты до подобия глянцевых журналов. И тут снова на сцену выходят нейросети, готовые взять на себя самую ресурсоемкую и нудную часть работы. Речь идет о Нейронных фильтрах (Neural Filters), появившихся в Adobe Photoshop. Они используют искусственный интеллект на базе GeForce RTX, обученный на десятках тысяч лучших фотографий, позволяя достигать результатов профессионального уровня без каких-либо временных затрат.
Возьмем, к примеру, фильтр Skin Smoothing, который в один клик убирает несовершенства кожи, при этом результат не выглядит излишне обработанным. Причем сам процесс занимает доли секунды. Функционал Нейронных фильтров не ограничивается простой ретушью, некоторые его возможности уже из области научной фантастики. Функция Smart Portrait задействует нейросеть NVIDIA StyleGAN, позволяя изменять параметры лица на фотографии. Можно изменить выражения эмоций на лице, поменять возраст, густоту волос, направление головы и взгляда, даже направление освещения в сцене. Все изменения сохраняются в отдельном слое, так что вам останется лишь сделать пару финальных штрихов при помощи знакомого инструментария Photoshop.
Говоря про новые нейросетевые фишки в Photoshop, нельзя не упомянуть AI Super Resolution. Это уже почти панацея от главной болезни растровой графики - невозможности масштабирования без потери качества. Все прежние механизмы увеличения разрешения базировались на математических алгоритмах, которые достраивали недостающие пиксели базируясь на цветах соседних пикселей, что всегда дает размытый результат, лишенный детализации. Принципиально новый подход к этой задаче - использование нейросетей, обученных на миллионах изображений, разбитых на пары (оригинал и уменьшенная). Такой подход и реализован в фильтре AI Super Resolution. Причем на GeForce RTX он работает молниеносно, позволяя обрабатывать десятки фотографий за секунды.
NVIDIA RTX ДЛЯ 3D МОДЕЛИРОВАНИЯ
В сфере 3D графики с самого ее возникновения весь производственный процесс всегда упирался в скорость рендеринга. На момент появления технологии трассировки лучей, один кадр отрисовывался несколько часов или даже дней. Сейчас мы на пороге рендеринга с честной трассировкой лучей в реальном времени, при условии достаточно мощной видеокарты уровня GeForce RTX 3060, как в ноутбуке Lenovo Gaming 3 15ACH6, на котором я проверял скорость нового рендерера Cycles в Blender. Он задействует аппаратное ускорение трассировки лучей на RT-ядрах видеокарт GeForce RTX, что дает колоссальный прирост к скорости, а модуль Optix применяет тензорные ядра для устранения шума при помощи обработки изображения нейронной сетью.
Чтобы включить его, выбирайте Optix в качестве устройства рендеринга и в строке Denoise. Так вы сможете получать моментальный фидбек от своей работы в виде картинки с качеством финального рендера, больше нет необходимости ограничиваться упрощенным превью с неточным освещением. Мощности современного игрового ноутбука оказалось более чем достаточно для комфортной работы с трехмерной графикой. GeForce RTX 3060 дает возможность моментально оценить конечный результат, и 3D художнику намного проще вносить правки на лету и быстро получать желаемый результат.