Найкращій АІ відео генератор!

Всім нейрошинобі привіт!

Уявіть собі: ще вчора ми захоплено дивилися на Runway Gen 2 (Midjourney від світу відео нейромереж), яка наробила шуму своїми (іноді трохи моторошними) генераціями. Але технології не стояли на місці, і ось вже Haiper AI та LTX Studio підняли планку ще вище! А потім всі завмерли в очікуванні Sora від OpenAI. 

Але щось пійшло не так, пройшло вже декілька кварталів, а її все ще не має. Здавалося б світ відео нейромереж встав...А потім відбулось справжнє свято. Червень 2024 року увірвався в наше життя відразу з двома мега-крутими нейромережами: китайським Kling і західним Dreme Machine від Luma Labs. А на десерт в липні вийшло несподіване оновлення від Runway!

Ці три нейронки відтепер задають новий рівень якості, змінюють правила гри і кожна з них має свої унікальні можливості та слабкості. 

Я занурився у всі тонкощі, порівняв їх творіння і готовий поділитися найсоковитішими деталями! То ж, приготуйте свої нейрони, бо ми розберемо їх можливості, порівняємо генерації з тексту у відео та з картинки у відео, а в кінці подивимось на ціні та загальний рейтинг!

Окремо для вас записав відео версію нижче, а після неї буде текстова.

Kling AI Kuaishou

Був тихий, спокійний день. І раптом - БАМ! В інтернеті з'являється Kling - китайська нейромережа, яка змусила всіх відкрити роти від подиву. Ніхто й не очікував, що Китай може так здивувати...

Ця цифрова красуня одразу почала диктувати нові правила гри. Виявилось, що вона не просто створює відео, а прямо-таки оживляє їх! Складні рухи? Легко! Емоції? Будь ласка! Швидка зміна ракурсів? Та без проблем! А її фотореалістична естетика... Просто очі розбігаються!

Але, як і в кожної суперзірки, у Kling є свої примхи). Головна з них - це черга бажаючих отримати доступ. Уявіть собі чергу за новим айфоном, помножте на сто, і ви зрозумієте, про що я! 

Проте не впадайте у відчай! Є світло в кінці тунелю! Розробники почули наші молитви і почали роздавати доступи через веб-версію сайту. І більше того - вони випустили оновлену версію нейромережі! 

Якщо ж хочете отримати доступ до мобільного додатку? То в цьому відео ви знайдете детальний гайд. 

З усім тим, далі ми будемо розбирати саме оновлену вебверсію сайту. 

Реєстрація тепер стала простішою:

• Завантажуєте додаток Kuaishou (тут IOS, а для Android потрібний apk файл. рекомендую пошукати в інтернеті, їх безліч.)
• Власники iPhone можуть просто підтвердити профіль через Apple ID і тоді вводити номер телефону не обов'язково. Власникам Android доведеться проходити верифікацію через сервіс телефонів з Китаю. Ось один з них. 
• Далі заходите в додаток, вмикаєте через нього камеру, йдете на сайт та верифікуєтесь через QR код. У відео показав, як це зробити. 

Можливо, доведеться трохи почекати в черзі, але це не так довго недовго, яе через додаток. 

Сайт же має англійську версію, а інтерфейс можна перекласти через Google Translate українською. Так зручніше працювати.

У вікнах генерації є режим покращеної якості - 3 генерації на день. Він забезпечує кращу чіткість і краще розуміє промпти. Генерація триває 10-20 хвилин, але результат вартий очікування.

Є налаштування сили креативності - рекомендую виставляти на 70-80% для цікавих результатів.

Доступна генерація відео до 10 секунд, а для моделі text to video є рух камери. Також можна додавати негативний промпт.

Роздільна здатність відео тепер 1280 на 720, що зручніше для більшості форматів.

Є зручна галерея робіт з фільтрами, кейфрейми для налаштування початкового та кінцевого кадру, а також модель для генерації картинок зі стилізацією.

І найголовніше - зараз це все безкоштовно.

У мобільному додатку менше функцій, але він працює швидше - генерація займає близько 3-5 хвилин.

Що ж, тепер подивимось на Luma AI.

Dream Machine від Luma Labs AI

Dream Machine - американська нейромережа від компанії Luma Labs AI. Компанія родом з Каліфорнії, недалеко від Стенфорду. Можливо, саме через це розташування ціна на їхні послуги така висока. Але про це пізніше.

Цікаво, що раніше Luma Labs AI займалася розробкою нейромоделей для роботи з 3D об'єктами. Тому їхній вихід на ринок відеогенерації став для багатьох несподіванкою. 

Dream Machine добре розуміє фізику, емоції та різні ракурси. Нейромережа також може оживляти та анімувати картинки. Розробники навіть створили детальний гайд з промптингу, щоб полегшити нам роботу.

У неї є цікавий функціонал кейфреймів, який дозволяє створювати незвичайні переходи між кадрами.

На відміну від Kling, Dream Machine має простий інтерфейс без додаткових функцій, таких як рух камери чи налаштування креативності.

Розробники пропонують до 30 безкоштовних генерацій на місяць з обмеженням 20 генерацій на день. На жаль генерації мають водяний знак. 

Тут є платні пакети і ціни дуже високі. Але не переживайте через це. Завжди можна зареєструвати кілька акаунтів. П'ять акаунтів дадуть вам ті ж 150 генерацій на місяць, але ви зекономите 30 доларів.

Головний мінус Dream Machine - довгий час генерації для безкоштовних користувачів через велику кількість користувачів і обмежені потужності серверів. Хоча розробники намагалися це виправити, зараз генерація може тривати від 6 до 8 годин.

А тепер давайте поглянемо на нашу зірку - Runway Gen 3.

Gen 3 Runway

Runway довгий час була лідером у світі нейромереж для відео, і саме на неї покладали великі надії як на головного конкурента Sora. Вона має найширший функціонал для роботи з відео і видає найкращу якість зображення.

Однак більше 6 місяців ніяких оновлень не було, а реліз альфа-версії виявився дещо розчаровуючим. Головна проблема - відсутність генерації з картинки, є лише модель text to video. Крім того, немає звичних опцій контролю руху камери, об'єкту, розмірів тощо, які були у версії Gen 2. Схоже, розробники поспішали, щоб не втратити підписників.

Щоб компенсувати це, розробники випустили гайд з текстового промптингу і дали можливість генерувати 10-секундні відео.

Проте з іншого боку – якість генерацій. Вона найкраща: такої чіткості та насиченості зображення ви не знайдете ніде. Модель також значно покращила розуміння текстових промптів і має найбільший потенціал для врахування всіх деталей.

Щодо вартості: пакети за 15 та 35 доларів виглядають дорогими - по суті, ви платите 15 доларів за 1 хвилину генерацій. Але пакет за 95 доларів дає необмежену кількість генерацій, що робить вартість однієї генерації дуже низькою. Тому рекомендую обирати саме PRO пакет.

Якщо ви створюєте відеоконтент, ви швидко відіб'єте ці інвестиції, наприклад, на створенні прев'ю для YouTube.

Тепер давайте порівняємо ці нейромережі між собою, починаючи з моделі text to video.

Порівняння Text to Video моделей

У відео з 8:28 хв. є детальні приклади порівняння моделей text-to-video від Kling, Luma та Runway. Я провів 10 тестів, оцінюючи когерентність (відповідність промту), естетику, кількість морфінгу і чіткість сцени та креативність за 5-бальною шкалою. Для Kling використовувався ПРО режим, а для Luma - опція extend, щоб забезпечити 10-секундні генерації у всіх моделей.

Ось ключові висновки по кожному з тестів:

1. Генерація людей з емоціями: Runway лідирує, видаючи якісну картинку та гарні емоції.
2. Пейзажі та тварини в русі: усі моделі мали труднощі, але показали значний прогрес.
3. Жестикуляція та пальці: жодна модель не впоралася ідеально, але Runway показала кращу якість картинки.
4. Швидкий рух (проліт дрона): Runway знову лідер з еталонною якістю.
5. Спецефекти: результати різні, Luma точніша за промптом, Runway - якісніша.
6. Абстракції: Kling показав найкращий результат.
7. Мультфільми: Luma перевершила інших у стилі та креативності.
8. Різні стилі (таймлапс малювання): Runway показала найкращий результат.
9. Генерація обʼєктів на грін скріні: Runway знову лідер, але з проблемами цензури брендів.
10. Анімація шрифту: Runway значно випереджає конкурентів.

Загалом, Runway лідирує в більшості категорій, особливо в генерації людей, швидкого руху, спецефектів, стилів, грінскріну та тексту. Kling найкраще підходить для генерації абстракцій, а Luma ідеальна для мультфільмів.

Однак варто зазначити, що генерація з тексту не так часто використовується на практиці при створенні фільмів чи мультфільмів через складність контролю стилю та неможливість перенесення персонажів. Тому наступним кроком буде порівняння генерації з картинки.

Порівняння image to video моделей

На самому початку одразу відпадає Runway, бо попросту не має подібного функціоналу в поточній версії. А генерації з gen 2 будуть виглядати просто смішно на фоні своїх конкурентів. Тому далі будемо порівнювати лише Kling та Luma AI. Детальні відео приклади порівняння доступні у відео з 13:45 хвилини. 

Ось основні висновки:

1. Генерація людей: Kling значно перевершує Luma, створюючи більш реалістичні емоції та динаміку.
2. Прольоти камери на пейзажах: Luma трохи краща, забезпечуючи вищу якість і краще розуміння руху.
3. Складні рухи (ходьба, маніпуляції об'єктами): Kling краще розуміє фізику, але має гіршу якість. Luma дає вищу якість, але з проблемним морфінгом.
4. Динаміка руху: Kling лідирує, краще передаючи динаміку, хоча якість страждає.
5. Спецефекти: Kling має перевагу, Luma часто надмірно змінює відео.
6. Абстракції: Kling створює кращу фізику, Luma часто переходить в небажаний 3D ефект.
7. Анімація тварин: Kling справляється краще, додаючи креативність, але якість зображення страждає.
8. Продуктові фото: Kling трохи краще, менше змінюючи пропорції та додаючи менше зайвого морфінгу.
9. Рух багатьох об'єктів: Обидві нейромережі показують прогрес. Luma більш креативна, але з надмірним морфінгом. Kling краще зберігає естетику, але з гіршою якістю.
10. Кейфрейми: Обидві моделі показують середній результат.

Загальний висновок: Kling перемагає в більшості категорій, особливо в передачі фізики, руху та емоцій. Головний недолік - зниження якості зображення. Luma краща в генерації крупних планів та пейзажів, але часто страждає від надмірного морфінгу та небажаних 3D ефектів. Моя рекомендація: Kling, особливо з використанням ПРО режиму для вирішення проблем з якістю зображення.

Тепер дивимось на ціни. 

Ціни

Kling отримує максимальні бали за доступність. В нього безкоштовна версія з необмеженою кількістю генерацій. 

Dream Machine має 4 пакети, включаючи безкоштовний. Вартість однієї генерації - 25 центів або 10 грн. Ціна дуже висока. При цьому 120 генерацій в пакеті за 30 доларів недостатньо для повноцінної роботи. Ви зробите лише 20-40 вдалих сцен.

Runway, з одного боку має пакет за 35 доларів, який виглядає дорожчим за Luma в 3 рази. Але якщо взяти PRO пакет за 95 доларів, який пропонує необмежені генерації, це зробить Runway конкурентоспроможним з Kling.

Важливо розуміти, що необмежені генерації - критично важливий фактор, оскільки в середньому лише 1 з 5 генерацій відповідає поставленій задачі. Тому порівнюючи пакети за ~100 доларів від Runway та Luma, перша виглядає привабливіше.

Luma потребує перегляду цінової політики для кращої конкурентоспроможності: 400 генерацій за 30 доларів, 2000 за 100.

Загалом, Kling виглядає найпривабливіше з точки зору ціни, особливо враховуючи безкоштовну версію з необмеженими генераціями. Runway пропонує конкурентоспроможний PRO пакет, в той час як Luma потребує перегляду своєї цінової стратегії для кращої позиції на ринку.

Підсумки

В таблиці ви можете побачити всі результати. І тут є певні нюанси та важливі аспекти.

Runway – лідер в генерації відео з тексту, але програє через відсутність безкоштовної версії та генерації з картинки. Вона найкраще підходить для креативних сцен, фонових об'єктів, обкладинок, анімацій з текстом та VFX ефектів на грін скріні

Kling наразі найпривабливіший варіант завдяки безкоштовній версії. Тут найкраща генерація з картинки, швидка робота за рахунок паралельних генерацій та розуміння різних мов. Мінуси: низька якість картинки, ватермарки, цензура, пов'язана з Україною, часта генерація азіатських облич. 

Luma AI загалом програє конкурентам. Використовуйте її лише за рахунок 3-5 безкоштовних акаунтів та отримайте 150 генерацій на місяць. 

На цьому все! Сподіваюсь ролик та стаття вам сподобались і були корисними.

Не забудьте підписатися на YouTube канал Штучка Інтелект, поставити вподобайки, поділитися контентом та залишити коментарі.

А якщо хочете бути в курсі всіх новинок зі світу нейромереж, то заходьте на телеграм канал Нейродива - там завжди найсвіжіші новини та найцікавіші обговорення!

Давайте разом розвивати AI в Україні!

До нових зустрічей!