ТОП-3 нейронки з анімації обличчя

Сьогодні поговоримо про захопливий світ технологій оживлення облич. Ця галузь пройшла вражаючий шлях розвитку – від простої анімації губ до реалістичних Інстант аватарів.

Цікаво, що поки світ був захоплений гонитвою за реалізмом, напрямок анімації портретів та аватарів з картинки залишався без особливого розвитку. Принаймні, так було останні сім місяців. Але ситуація кардинально змінилася в липні, коли з'явилися одразу три унікальні нейромережі.

Щоб оцінити значущість цього прориву, варто згадати історію розвитку технології. Все почалося з сервісу D-ID, який дозволяв анімувати рух губ на дуже базовому рівні. Він працював у тандемі з нейромережею ElevenLabs, яка генерувала звук, а D-ID накладав його на анімацію губ зображення.

Наступним етапом став вдосконалений сервіс Heygen. Наша команда використала його для створення проєкту "Шукай Українською", де ми анімували різних культурних діячів для привернення уваги до проблеми пошуку контенту українською мовою.

До липня цього року найкращим рішенням вважалася нейромережа Runway. Її функціонал LipSync забезпечував ідеальну анімацію губ. У PikaLabs теж є подібний функціонал, але його якість залишає бажати кращого.

Чому важливо розуміти цю передісторію? Вона демонструє загальний розвиток технології за останній рік і підкреслює її важливість. Сьогодні ж нові нейромережі роблять значний крок вперед, і навички створення та контролю таких живих портретів чи аватарів стають все більш цінними. Очікується, що через кілька місяців, коли ці нейромережі вийдуть з бета-версій, попит на такі вміння зросте ще більше.

Отже, почнімо огляд. 

Окремо для вас записав відео версію нижче, а після неї буде текстова.

Hedra Labs: Новий рівень анімації обличчя

Hedra Labs відкриває нові горизонти у створенні анімованих персонажів, дозволяючи передавати емоції та звуки на якісно новому рівні, значно реалістичніше та природніше за своїх попередників.

Наразі Hedra Labs перебуває в бета-версії, пропонуючи користувачам безкоштовний функціонал. Це чудова можливість для всіх охочих випробувати можливості сервісу. Хоча є і платні тарифи, але оплата доступна лише в деяких штатах США.

Безкоштовний тариф має обмеження: відео до 30 секунд, лише 2 паралельні генерації у повільному темпі та ліміт 5 відео на день. Платний тариф за 10 доларів пропонує більше можливостей: 20 хвилин на генерації, тривалість однієї генерації до 1 хвилини, відсутність водяного знаку, комерційні права на використання та можливість 4 паралельних генерацій.

Процес створення анімації в Hedra Labs напрочуд простий і складається з трьох основних етапів. Спочатку ви завантажуєте або надиктовуєте звук, який стане основою для емоцій анімації. Є обмеження в 300 символів для тексту та вибір різних голосів. Проте найкращий результат можна отримати, завантаживши власний аудіофайл.

Наступний крок - завантаження зображення для анімації. Тут важливо не ставити прапорець автокропу, щоб зберегти цілісність картинки. Цікаво, що можна створити власного персонажа за допомогою текстового промпту, ймовірно, використовуючи адаптовану версію Stable Diffusion.

Останній етап - це генерація результату. Ви отримуєте анімоване відео, де ваш персонаж говорить та виражає емоції відповідно до завантаженого аудіо.

У відео з 01:30 приклади генерацій. 

Проте у Hedra Labs є певні обмеження. 

• Сервіс не може анімувати тварин, а якщо обличчя не видно - анімація не відбудеться. Цікаво, що додавання очей та губ до неживих об'єктів може призвести до їх анімації. 
• Також нейромережа може не впоратися з дуже швидким рухом губ, як-от у швидкому репі.
• Варто зазначити, що в Hedra Labs діє цензура – завантаження зображень відомих людей не завжди можливе, а використання ненормативної лексики блокується.

Live Portrait: революція в анімації емоцій

Live Portrait - це інноваційна нейромережа від розробників відомої відео нейромережі Kling. Вона використовує нову і надзвичайно потужну технологію, яка значно перевершує аналогічні сервіси. Порівняння з іншими подібними платформами наочно демонструє її переваги.

Одна з ключових особливостей Live Portrait - її відкритий код. Це дозволяє ентузіастам та розробникам тестувати нейромережу на сервісі Hugging Face або навіть встановити її код локально на свій комп'ютер. Така доступність відкриває широкі можливості для експериментів та вдосконалень.

Головне призначення нейромережі - анімація обличчя. Live Portrait не обмежується лише аватарками - вона здатна "оживити" будь-яке зображення, від сучасних портретів до історичних постатей, як-от Тарас Шевченко.

Процес роботи з Live Portrait доволі простий. Спочатку ви завантажуєте вихідне зображення, потім додаєте відео чи картинку для анімації (важливо, щоб вона була квадратної форми). Через деякий час ви отримуєте готову анімацію. Цікаво, що якщо на зображенні кілька персонажів, нейромережа анімує обличчя кожного з них.

Live Portrait також має функцію анімації відео, хоча ця опція поки в розробці. Проте в мережі вже можна знайти приклади таких анімацій. Додатково, сервіс пропонує функції ретаргетингу губ та очей, що дозволяє підібрати найкраще зображення для конкретної задачі.

Важливо відзначити, що на даний момент Live Portrait не має цензури. Це означає, що користувачі мають повну свободу у створенні контенту, включаючи можливість генерувати провокаційні зображення. Крім того, нейромережа здатна анімувати не лише людські обличчя, а й мордочки тварин.

Heygen Expressive Photo Avatar: нова якість в анімації

Нещодавно світ побачив Heygen Expressive Photo Avatar - нову нейромережу, яка, на жаль, залишилася непоміченою багатьма спільнотами. Однак ця технологія має величезний потенціал і заслуговує на увагу.

Головна особливість Heygen Expressive Photo Avatar - її універсальність в анімації. На відміну від багатьох аналогів, ця нейромережа здатна "оживляти" не лише людські обличчя, але й тварин. Навіть якщо на оригінальному зображенні відсутні певні деталі (наприклад, рот у собаки), нейромережа здатна їх домалювати, створюючи цілісну анімацію.

Ще одна перевага - швидкість роботи. Навіть у бета-версії Heygen демонструє вражаючу продуктивність. Крім того, водяний знак на згенерованих відео дуже малий і легко видаляється, що робить результати роботи більш привабливими для користувачів.

Процес роботи з Heygen Expressive Photo Avatar доволі простий. Спочатку ви завантажуєте зображення, яке проходить перевірку на цензуру. Потім додаєте голос - можна використовувати як власні записи, так і запропоновані нейромережею варіанти. Після натискання кнопки "Submit" за кілька хвилин ви отримуєте готове анімоване відео.

Порівнюючи Heygen з іншими подібними нейромережами, можна відзначити деякі особливості:

1. У порівнянні з Runway, яка анімує лише губи та мигання очима, Heygen створює більш живі рухи, хоча іноді вони можуть здаватися надто інтенсивними.
2. На відміну від Hedra, яка часто страждає від багів та тремтіння зображення, Heygen забезпечує більш стабільну анімацію.

Ось один із прикладів порівняння:

Загалом, Heygen Expressive Photo Avatar пропонує високоякісну картинку з помірною кількістю рухів, що робить її золотою серединою серед інших подібних нейромереж. Вона поєднує в собі реалістичність анімації з технічною стабільністю, що робить її привабливим інструментом для широкого кола користувачів - від любителів до професіоналів у сфері створення контенту.

Підсумки

На сьогодні зʼявилось три нові лідери в галузі анімації обличчя: Hedra Labs, Live Portrait та Heygen. Кожен з цих сервісів пропонує унікальні можливості, відкриваючи нові горизонти для креаторів та маркетологів.

1. Hedra Labs вражає своєю здатністю створювати емоційних та рухливих персонажів. Ця платформа дозволяє надати вашим цифровим аватарам неперевершену виразність та життєвість.
2. Live Portrait, у свою чергу, демонструє майстерність у відтворенні емоцій у німих сценах. Ця технологія ідеально підходить для створення виразних візуальних наративів без використання звуку.
3. Heygen виділяється своєю швидкістю та якістю зображення. Хоча анімації можуть бути не такими динамічними, як у Hedra Labs, вони вражають своєю чіткістю та реалістичністю.

Ці інструменти вже сьогодні відкривають нові можливості для творців контенту та маркетологів. А уявіть, які перспективи відкриються через кілька місяців, коли ці нейромережі вийдуть з бета-версій!

Тож не гайте часу - спробуйте ці інноваційні технології та слідкуйте за розвитком штучного інтелекту. Ваша креативність у поєднанні з цими потужними інструментами може створити щось справді революційне.

На цьому все! Сподіваюсь ролик та стаття вам сподобались і були корисними.

Не забудьте підписатися на YouTube канал Штучка Інтелект, поставити вподобайки, поділитися контентом та залишити коментарі.

А якщо хочете бути в курсі всіх новинок зі світу нейромереж, то заходьте на телеграм канал Нейродива - там завжди найсвіжіші новини та найцікавіші обговорення!

Давайте разом розвивати AI в Україні!

До нових зустрічей!