Битва ИИ-помощников в программах видеомонтажа

Ну, это не совсем битва, а скорее попытка опробовать простую настройку и подготовительную задачу для редактирования с двумя разными (но довольно похожими) вариантами автоматизации с помощью ИИ.

На самом деле это просто поток сознания. У меня была довольно простая задача по редактированию, и мне показалось, что это идеальный случай для того, чтобы ИИ-помощник сделал всю подготовительную работу и настройку, избавив меня от этого. Я решил задокументировать и опубликовать результаты здесь после того, как попробовал попросить Premiere (бета) Assistant и DaVinci Resolve 21/Claude сделать то же самое.

Инструменты.

В одном углу у нас Adobe Premiere (бета-версия) 27.0.0.0. Эта версия включает в себя новую панель Assistant, о которой мы подробно рассказали здесь.

В другом углу — DaVinci Resolve Studio 21.1 от Blackmagic. Это крупное обновление, которое обеспечило неожиданную связь с такими инструментами искусственного интеллекта, как Claude и ChatGPT.

Задача.

У меня есть папка с 19 отдельными видео с отзывами (в формате MP4). Мне нужно смонтировать из них что-то похожее. Кажется, это идеальная задача для ассистента.

Я начал с пакетной расшифровки клипов в Resolve и Premiere. В каждом клипе участвуют два человека, поэтому я использовал инструмент расшифровки в Resolve и Premiere, чтобы определить, кто из них кто. Я подумал, что это будет полезно, а еще мне кажется, что искусственному интеллекту нужно что-то, на что он мог бы опираться при принятии решений о монтаже. Расшифровка — идеальный вариант.

Это первая подсказка, которую я использовал:

«В папке xxxxxxxxxxxxxxxxx, не могли бы вы взять все эти клипы и поместить их на отдельную временную шкалу с монтажом для каждого клипа? У каждого клипа должен быть один дубль, но для каждого клипа есть расшифровка. Поэтому, если кажется, что дублей несколько, используйте лучший»

Я не засекал время, за которое каждый ИИ выдавал первый результат, но мне показалось, что скорость работы Claude в Resolve и Premiere Assistant примерно одинаковая.

После того как каждый из них закончил работу, они предоставили мне подробный отчет о том, что именно они нашли. Прошу прощения за то, что пришлось разбить данные на пиксели, но это работа для клиента.

Связь Claude с DaVinci Resolve:

Но обратите внимание на то, что написано в конце: Если вам действительно нужны 19 отдельных таймлайнов (по одному на клип) вместо одной сборки, скажите об этом, и я переделаю.

Сравните это с тем, что я написал в своем запросе: Можете ли вы взять все эти клипы и поместить их на отдельную временную шкалу с редактированием для каждого клипа? Видимо, я недостаточно конкретен.

Adobe Premiere beta Assistant:

Но оба они допустили одну и ту же ошибку при создании таймлайнов. Несмотря на мои первоначальные указания, они оба создали один таймлайн со всеми 19 клипами. Поэтому мне пришлось попросить его вернуться и сделать то, о чем я изначально просил.

«Я хотел 19 отдельных таймлайнов, это было в моих первоначальных инструкциях: «поместите их все на отдельные таймлайны с редактированием для каждого клипа». Сделайте это сейчас, но оставьте созданную вами единую сборку»

После повторного запроса и Claude, и Resolve, и бета-версия Premiere Assistant смогли создать для меня 19 отдельных таймлайнов. В Resolve, как мне кажется, каждый таймлайн создавался дважды, потому что я получил сообщение об ошибке о том, что новый таймлайн создать невозможно, так как он уже существует, и мне пришлось нажимать «ОК» 19 раз. Но в итоге я получил отдельные таймлайны.

Давайте еще раз сравним полученные мной отчеты:

Немного другой взгляд на то, как они отчитались об этой конкретной операции.

Все эти девятнадцать отдельных временных линий, двадцать, если считать сборку, были помещены в одну корзину. В мире ИИ-помощников зачем мне утруждать себя тем, чтобы перетаскивать их в нужное место, если я могу попросить помощника сделать это за меня!

Моя следующая подсказка:

«Можете ли вы поместить все эти временные шкалы в новую папку с названием EDITS, написанным заглавными буквами?»

Оба справились с этой задачей, но, что интересно, временная шкала сборки осталась в исходном наборе, а в набор EDITS попали только 19 отдельных временных шкал. Думаю, в этом есть смысл, но, говоря «все эти временные шкалы», я имел в виду, что вместе с ними уйдет и исходная сборка.

Но сколько времени на самом деле занимают некоторые из этих задач, решаемых с помощью ИИ?

Пока я все это делал, я пытался выполнять эти довольно монотонные и скучные задачи по редактированию с помощью ассистента, размышляя о том, сколько времени требуется этим инструментам на основе искусственного интеллекта для получения результата. Я не засекал время выполнения ни одной из вышеперечисленных задач и не вижу в Claude или Premiere Assistant отчета о том, сколько времени заняла каждая операция. Инструменты на основе искусственного интеллекта будут отсчитывать время по мере его прохождения, поэтому было бы здорово, если бы в конце каждой задачи отображалось время ее выполнения. Возможно, это можно найти, если покопаться в настройках инструмента, но это не самая очевидная функция.

Для следующего задания (собрать все B-Roll в последовательность) я решил засечь время. Вот это задание:

«Поместите все файлы из папок xxxxxxxxxxx и xxxxxxxxxxx (включая вложенные папки) на временную шкалу 1920×1080. Если разрешение медиафайла превышает 1080, уменьшите его до 50 %, чтобы он поместился на временной шкале»

И мы отправились в путь, Resolve и Claude впереди:

Согласно отчетам, Клод выполнял множество команд, но все они заканчивались неудачей.

Несмотря на все эти недостатки, игра работала. Claude не стоит так строго относиться к себе. Вот как выглядела финальная версия:

Что Claude не сделал, так это не масштабировал должным образом клипы в формате 4K, чтобы они поместились на таймлайн в формате 1080. Он все же применил некоторое масштабирование, как видно на изображении выше. Темно-синий цвет указывает на то, что к клипам были применены преобразования, хотя и не совсем корректно.

Время достижения этого результата: 2:31 (то есть две минуты тридцать одна секунда)

Теперь проделайте то же самое с помощью Premiere Assistant:

И результирующая временная шкала:

Время достижения этого результата: 2:23

Таким образом, система Premiere оказалась быстрее, но ненамного.

Да, но …

По правде говоря, при использовании некоторых ИИ-помощников и в рамках этого конкретного проекта оба помощника делали то, о чем я их просил, просто набирая подсказки, и делали это относительно точно.

Но вот что я понял, особенно после того, как засек время выполнения последней операции: за две с половиной минуты или около того, которые потребовались ИИ-помощнику, чтобы построить временную шкалу, я мог бы сделать это примерно за 30 секунд. Как бы скучно ни было заниматься такой настройкой, я мог бы сделать это вручную гораздо быстрее, чем любой из этих ИИ-помощников.

Теперь мне интересно, во сколько мне обошлись эти настройки в токенах и кредитах? Ни в Claude, ни в Premiere Assistant я не вижу никаких индикаторов, показывающих, сколько токенов и кредитов было использовано и сколько их у меня осталось в выбранном тарифном плане. Мне кажется, это большой недочет, потому что токены и кредиты — это реальные деньги, и прежде чем тратить их на то, что я могу сделать вручную (быстрее, чем это сделает ИИ-помощник), я бы хотел знать, сколько это может стоить.

Одна последняя, большая задача.

Поскольку эти 19 видео очень похожи, я смонтировал первое и задумался, может ли ИИ смонтировать для меня все остальные. Я имею в виду… разве не это тот мир, который они пытаются продать? Создание еще 18 почти идентичных монтажных версий должно быть тем, для чего предназначен ИИ.

Здесь у нас есть видеоряд, который нужно показать в кадре, графика для открытия и закрытия с титрами в начале. Немного закадрового видео и фоновая музыкальная дорожка с ключевыми кадрами в начале и в конце. Remix — идеальный инструмент для такого музыкального сопровождения. Все, что нужно сделать, — это заменить основной видеоряд в каждом другом монтаже (помните, что у нас уже есть таймлайн для каждого видеоряда), обновить титры, а также отрегулировать музыку и закадровый видеоряд.

Я не хотел, чтобы ИИ уничтожал то, что уже было сделано, поэтому работал поэтапно: сначала с одной временной шкалой, чтобы убедиться, что все получится, а затем с остальными.

«Можете ли вы посмотреть на завершенную временную шкалу xxxxxxxx (с музыкой и графикой) и воспроизвести ее на временной шкале xxxxxx? Используйте клип на временной шкале в качестве основного клипа в монтаже»

Помощник на основе искусственного интеллекта в Premiere справился с этой задачей. Если посмотреть на монтаж, то он не идеален. Графика не масштабирована должным образом, а к отснятому материалу не применен цветовой режим. Кроме того, не были добавлены ключевые кадры для начала и конца аудиодорожки, а также не использовалась функция Remix для корректировки длины. Меня это не удивило, ведь редактору еще многое предстоит сделать (к счастью).

После обработки примерно 5 временных шкал подряд я получил от Ассистента последнее сообщение о последнем пакете данных:

Пришлось еще немного помучиться, прося Ассистента сделать то, что он упустил. Может быть, он упустил это, потому что я не указала каждый маленький элемент и шаг каждого маленького элемента на временной шкале, а может быть, он просто недостаточно умен, чтобы уловить нюансы таких вещей, как пользовательский текст и переходы.

Последняя задача, которую я пытался поручить Ассистенту, — применить созданный цветовой режим ко всей последовательности, но я постоянно получал сообщение об ошибке.

Случайные наблюдения:

• Вероятно, инструменты на основе искусственного интеллекта смогли внести базовые правки в остальные 18 таймлайнов быстрее, чем я бы сделал это сам.
• Хотя я не засекал время обновления каждой из этих последовательностей, я заметил, что подключение Resolve Claude происходит быстрее, чем подключение Premiere Assistant. Разница заметна. Оба приложения смогли взять базовую версию последовательности №1 и применить ее к остальным 18 последовательностям, в которых был только один клип с талантом в формате mp4.
• Premiere Assistant взял титры, смонтированные в версии 1, и поместил их в версию 2. Resolve Claude поместил их в версию 1. Мне понравился подход Premiere Assistant, поскольку титры нужно было разместить там, где они смотрелись бы органично, без понятия «правильное» или «неправильное» место. Я не хочу, чтобы искусственный интеллект делал много монтажных работ, полагаясь на интуицию.
• Ни один из них не смог перенести переходы между роликами на разные таймлайны.
• Если вы действительно хотите разобраться в том, что сделали инструменты на основе ИИ, оба они покажут вам свои рассуждения и процесс выполнения поставленной задачи. Возможно, это не имеет особого смысла, но, по крайней мере, вы можете проследить за их действиями.
• В конце концов, я не знаю, сэкономило ли мне время то, что я попросил сделать ИИ. Но я очень быстро работаю с текстом, так что для кого-то это может стать огромной экономией времени. А для кого-то — не очень.

И чего мне это стоило?

Это сложный вопрос. Я уверен, что все задавались вопросом, и я сам задавался вопросом, сколько кредитов/токенов нужно для чего-то подобного? Это было не сложное редактирование, чтобы получить первый шаблон последовательности, но пришлось много раз повторять уже созданное, чтобы все получилось идеально. Это была не суперсложная работа по редактированию, но она была важна для контента и для того, где он будет размещен и где его увидят. С одной стороны, повторение того, что нужно было сделать, казалось идеальным вариантом для искусственного интеллекта, но, с другой стороны, все должно было выглядеть естественно. Должно было выглядеть естественно, где именно будет показан фон. Должно было выглядеть естественно, когда камера переключалась с одного объекта на другой, и все должно было выглядеть красиво. Может ли искусственный интеллект сделать это правильно?

Что касается использования кредитов Firefly в Adobe Premiere AI Assistant, то в настоящее время это ничего вам не стоит, и в разделе часто задаваемых вопросов Adobe говорится следующее: «Пользователи, имеющие доступ к AI Assistant, получают бесплатные ежедневные кредиты, которые можно использовать исключительно в Premiere AI Assistant во время бета-тестирования. Если вы достигнете дневного лимита, кредиты будут обновлены в полночь по Гринвичу. Этот лимит не влияет на ваш существующий кредитный баланс за пределами AI Assistant». Кредиты из вашего платного плана не переносятся в AI Assistant, а бесплатные кредиты из AI Assistant нельзя использовать в других сервисах.

Это здорово, но так не будет вечно. Adobe не собирается отказываться от использования искусственного интеллекта.

И во сколько мне это обошлось в Claude?

Вы можете проверить, как используется Claude, в интернете. Я сделал все это с помощью настольного приложения Claude для Mac, установив все настройки модели по умолчанию, то есть Sonnet 5. Хотя я не проверял, как используется Claude, до того, как взялся за эту работу, я сделал это перед тем, как приступить к самой важной части процесса: взять первый готовый монтаж и применить его ко всем остальным 18 последовательностям, содержащим только один mp4-файл с камеры.

Между проверками использования проходило около двух с половиной часов. Я не работал над этим проектом постоянно, так как занимался другими делами: я возвращался, проверял, выдавал новое задание, а потом возвращался и проверял еще раз.

Много ли это — 2% использованных кредитов — для того, чего я добился? Понятия не имею и не знаю, как это оценить. Я рад, что использовано не больше 2% кредитов, но понятия не имею, эффективно ли это. У меня подписка Pro.

На этом пост заканчивается. Продолжение следует…