Нейромережа, яка зламає ваш мозок! Все про нову революцію у світі АІ з LTX studio
Нейромережа, яка здатна згенерувати повне відео лише за одним вашим промптом? Нейромережа, яка має функціонал генерації картинок, звуку, анімації відео та розуміє текстові промпти і може скласти сторіборд? Нейромережа, яка заточена під роботи з правками клієнтів? Що????
Ще місяць назад, це здавалося чимось неймовірним. Але на минулому тижні розробники LTX studio відкрили бета-тест до своєї нейронки. Агенція New Strategies увійшла в список обраних, ми все потестили і готові поділитись враженнями. Також ми порівняли LTX studio з такими конкурентами, як Runway, Haiper AI, Stable Video, Pika Labs та PixVerce. Тож приєднуйтесь до перегляду, буде цікаво. А ми починаємо!
Окремо для вас записали відео версію нижче, а після неї буде текстова.
Параллельно підписуйтесь на телеграм канал Нейродива, та Youtube канал Штучка Інтелект. Тут все про нейромережі та AI.
Початок роботи
Інтерфейс мінімалістичний. На першому екрані ви побачите вікно для промту, попередні проєкти та привітання від команди розробників, з нагадуванням що це лише бета тест і наступні оновлення не за горами.
Створювати будемо рекламний ролик для бренду чаїв. Тематика – стиль, бізнес, статус. Нейронка розуміє українську мову, але набагато краще працює з англійською. Тому використаємо перекладач deepl. Промпт ми підготували заздалегідь.
Налаштування персонажів
Першим ділом нейронка запропонує обрати та скорегувати головних героїв фільму. Це дуже зручно, і одразу навчає нас з вами розумінню структурного підходу для створення АІ фільмів. Персонажів можна
- редагувати, додати, або видалити.
- задати певну зовнішність, змінити вік, одяг і навіть обрати голос.
- Більш того можна задати конкретну зовнішність через функціонал діпфейків.
* З мінусів те, що досить складно створити якогось казкового персонажа, який би не був схожий на людину.
Ліворуч ви можете обрати розмір майбутнього відео, а також задати стиль фільму. Стилів тут безліч. Для рекламного ролику підійде кінематографічний стиль.
Налаштування сторіборду
Одразу після генерації ми побачимо сторіборд з усіма сценами фільму. За замовченням генерує 6 груп сцен.
Кожна група складається з декількох підсцен та планів, починаючи від дальнього, потім середнього і завершуючи ближнім планом. Знову ж такі відчувається продуманість режисури.
В самій сцені можна змінити локацію, світло та погоду. Також є текст, який має проговорювати диктор за кадром + можна додати саунд ефекти на всю сцену.
Праворуч (червона рамочка) ми можемо додати додаткові підсцени. Ми рекомендуємо не створювати більше 4-х, бо складно буде все редагувати. Краще винести 5-ю підсцену в окрему групу сцен. В самому низу (зелена рамочка) можемо додати нову групу сцен.
Генерація сцен
Це найцікавіше. Основне з чим ми тут працюємо – створення фото генерацій та їх анімація. Так само як в Midjourney та Runway. Скоріше за все тут використовується Stable Diffusion.
В промпті ми можемо змінити те, що хочемо побачити в генерації. Для анімації картинки потрібно натиснути Generate або Regenerative video відповідно.
В інших налаштуваннях сцени, можемо:
- обрати крупність планів. Одразу скажемо, що працює не ідеально і часто потрібний план не генерується.
- задати швидкість того, що відбувається у сцені (Motion Scale)
- А також додати окремий саунд ефект саме на цю сцену.
Щоб сцена генерувалась з потрібним персонажам, його потрібно прописати через песика.
Редагування сцен
Сцени можна не просто генерувати та налаштовувати. Їх можна фундаментально змінювати. Для цього потрібно натиснути кнопку Shot Editor
Після цього ми потрапимо в інтерфейс редагування сцен. Знизу нам відображає обрані генерації під кожну сцену, а в центрі всі генерації по конкретній сцені, які ми робили за весь час. Праворуч знаходяться всі опції.
В опції Текст ми бачимо поточну генерацію. В опцію Image ми можемо довантажити іншу картинку. Наприклад згенерували в Midjourney і довантажили сюди. Таким чином ви повністю можете змінити весь сторіборд.
Далі ви можете відредагувати картинку опцією Frame Edit. Тут можна:
- Додати потрібні обʼєкти функцією Generative Fill
- Можемо видалити не потрібні предмети функцією Remove Obgects
- Або змінити кути огляду – новий функціонал рівня Adobe Premier
Ще один цікавий блок - Motion. В ньому ви можете:
- Обрати тип анімації. Scen - автоматична анімація, Natural – найкраще розуміння фізики, Extreme – максимальна сила руху, гарна для екшн сцен, та Custome – коли потрібно просто порухати план вперед, назад чи якось інакше.
- Обрати тривалість генерацій від 3 до 5 секунд. 5 секунд поки не генерує ніхто з конкурентів. Але тут є мінус – чим довша генерація, тим більше морфінгу. Тут ще треба доопрацювати функціонал.
- Обрати кількість кадрів у сцені. Більше кадрів - повільніше анімація.
Саунддизайн
В обраних сценах і в групах сцен ми задаємо саунд дизайн ефектів. Войс овер ми можемо поставити на групу сцен, або взагалі на весь ролик.
Сам войсовер корегується зверху. Ми можемо обрати голос когось з героїв, або голос диктора. Голоса дуже схожі на ті, що використовує Elevenlabs. Відчуваємо якесь партнерство з ними.
Також ми можемо обрати саундтрек для всього фільму. За замовченням він генерується автоматично на базі рекомендацій АІ відносно вашого промту. Але ми можемо задати його самостійно.
Генерація фільму
Для цього тиснемо кнопочку Preview. Нам відкривається окреме віконце де ми можемо все продивитись ще раз і якщо все подобається відправити на рендер.
Також можна обрати опцію – створити аніматик. Тоді вам згенерує послідовний рух статичних картинок.
* Важливий момент – якщо не згенерувати всі відео сцени, а потім відправити фільм на монтаж – скоріш за все фільм буде дуже довго монтуватись і через час вам видасть помилку, що відео не готове. Тому завжди перевіряйте, чи всі сцени ви анімували.
Порівняння з іншими нейронками
LTX студія одразу виривається вперед аж по трьом пункта:
- Ступінь контролю ти комплексний підхід, де все можна зробити в одному сервісі - перші два. Тут програє навіть Runway, попередній лідер в цих напрямках.
- Ціна. Поки це бета-версія і її безкоштовність надає вагому перевагу.
При цьому сильно LTX уступає в якості генерацій Haiper АІ, та займає середні значення по швидкості. Не найкращі, тут переможець Pika, але і не такі погані, як в Haiper AI.
За підсумком всіх балів LTX безперечний лідер. І нагадую – це лише бета-версія. На релізі буде ще краще. А отже правила гри серед відео нейронок змінились, конкуренція надзвичайно загострилась і нагадує нову гонку озброєнь.
Ось таке відео ми зробили через LTX studio за 1 годину.
Як ви бачити LTX studio ще не ідеальна. Але сама можливість створювати фільми в одному сервісі та наявність такого комплексного функціонала і величезних можливостей контролю – це наступний крок в розвитку всієї індустрії. Щобільше, це лише бета-версія. Тобто на релізі, все буде набагато краще. До нього залишилось декілька місяців і після світ нейромереж зробить новий стрибок вперед.
Просто уявіть, з’являється Sora, алгоритми генерації фото стають ще кращими і все що залишаться розробнику – просто підключити якісніші сервіси під свою платформу. І все – ви зможете отримувати фільми за декілька годин з найвищою якістю.
Тому залишайтесь з нами, ми обов'язково будемо слідкувати за всіма оновленнями та покажемо вам їх. А для цього підписуйтесь на телеграм канал Нейродива, та Youtube канал Штучка Інтелект.
До нових зустрічей!