LLM: хайп заради хайпу?

Сьогодні всі захоплюються генеративним штучним інтелектом. Ми всі страждаємо від синдрому ChatGPT. Великі мовні моделі (Large Language Models - LLM) увійшли у наше життя, і тепер ніщо вже не буде таким, як раніше. Шахраї та підприємці, студенти та маркетологи, інфлюенсери та ютубери - усі мають що сказати про генеративний ШІ. Зараз кожен став промт інженером. Ажіотаж навколо цієї технології досі залишається надвисоким, можливо, менший ніж десять місяців тому, але все ж...

Я був серед тих хто був на вістрі цього ажіотажу. Демка за демкою, туторіал за туторіалом, пробував все до чого міг дотягнутися. І тепер, коли вже наче все спробував, вирішив поділитися своїми думками та враженнями.

Per aspera ad astra

Натренованим оком буває дивлюся на стрічку в Х (Твіттері) і бачу в ній домінацію ШІ. Як знову і знову з'являються продавці однотипних чатботів, які обіцяють покупцям за невеликі гроші "інноваційний продукт", який вміє все те ж саме, що вміють нині існуючі продукти, але з дорогою рекламною обгорткою. OpenAI зі своїм ChatGPT відкрив скриньку Пандори і, схоже, зараз вона порожня.

На сьогоднішній день найбільшої уваги приділено технології генеративних мовних моделей, які завдяки багатомільярдним інвестиціям в компанію OpenAI, яка представила світу ChatGPT. Цей продукт виявився настільки потужним, що одразу підкорив серця багатьох людей на планеті завдяки тому, що розробники надали інструкції завдяки яким, кожен бажаючий може повторити їх успіх (за наявності фінансової спроможності і достатньої обчислювальної потужності).

Ентузіасти і технокорпорації миттєво зреагували на творіння OpenAI. Неозброєним оком було видно, наскільки якіснішою була робота ChatGPT в порівнянні з усім що було до цього. Втрачати час було не можна. Затримка та нерішучість могла стати кінцем для багатьох існуючих бізнесів, а ентузіасти не хотіли втрачати нагоду створити новий успішний стартап.

На зараз можна виділити такі основні продукти на основі LLM.

1. Інструменти для написання текстів. Підсумовує документи, створює есе, статті, маркетингові тексти. 

Тут я серйозно не розумію, навіщо комусь платити за додаткове стороннє рішення, коли ChatGPT, Bard, LLAMA чи інший пропрієтарний чат-інтерфейс LLM від великих корпорацій вже може якісно допомогти вам із цим. Думаю, що ключовим моментом тут є маркетинг і лінь. При достатніх інвестиціях в маркетинг можна переконати людей платити за продукт, який надаватиме трохи зручніший користувацький досвід. 

Такі поведінкові маніпуляції дозволять захопити значну частину ринку і збирати гроші, поки люди не зрозуміють, наскільки низька якість цих згенерованих статей, і не підуть геть, або ж залишаться (якщо їм не важлива якість)...

2. ШІ-компонент до існуючого продукту. 

Сюди я відношу всі сервіси, що позиціонуються як ШІ. Чатбот для консультації чи обслуговування клієнтів, HR-інструменти тощо. Проблема цих рішень полягає в тому, що у них відсутня конкурента перевага, оскільки існуючі гравці на ринку можуть з легкістю додати ці "прикраси" зі штучного інтелекту до свого продукту, і вони вже розібралися з дистрибуцією.

У короткостроковій і середньостроковій перспективі, з достатніми інвестиціями в маркетинг завдяки підтримці венчурних фондів, є ймовірність залучити достатню кількість користувачів, щоб відчути, працездатність ідеї. Або якщо ви є незалежним розробником з великою аудиторією в соціальних мережах, можливо, вдасться створити щось прибуткове з притомним обʼємом інвестицій. Але у довгостроковій перспективі єдиний спосіб перемогти - це створити принципово кращий продукт, а не просто продукт на основі штучного інтелекту.

3. Пошук + LLM. Такі сервіси як perplexity.ai, SERPAPI та подібні рішення. 

Відверто кажучи, приємно просто поставити запитання і швидко отримати на нього відповідь без необхідності переглядати безліч посилань. Тим не менш, користувачі повинні бути в курсі проблеми галюцинацій (Тарас Шевченко був батьком Лесі Українки). Але я вважаю, що з цим можна впоратися, оскільки майже завжди можна перевірити джерела на які посилаються чатботи. Головною проблемою для промоутингу цих сервісів полягає в тому, що ChatGPT вміє переглядати Інтернет, так само як Bing Chat і Bard.

Google може робити те, що робить Perplexity, і він вже розібрався з дистрибуцією та брендингом. Я думаю, це все ж матиме якийсь вплив на доходи від пошукової реклами для Google, однак я не бачу світу, в якому Perplexity займе місце Google. Важко згадати, коли я востаннє використовував пошук Google замість підключеного до інтернету ChatGPT для отримання швидкого результату пошуку по складному питанню. Б'юся об заклад, я не єдиний, чия пошукова поведінка кардинально змінилася.

4. Цифрові асистенти. 

Ймовірно, найхайповіша на даний момент тема. Ідея полягає в тому, аби заручитись допомогою LLM для розвʼязання складних завдань автономно, або з мінімальним наглядом за його роботою. Люди дійсно в захваті від такого майбутнього, де цифровому помічнику можна доручити придбання авіаквитків і бронювання готелю, прокласти туристичний маршрут і все це відповідно до вашого запиту і бюджету. Це, безумовно, мало б значно підвищити нашу ефективність та продуктивність. Але є одне але. LLM - це не про логіку і міркування, ба навіть найздібніший з них (GPT-4) демонструє непередбачувані збої, коли йому доручають завдання на міркування. Не вірте мені на слово. Просто спробуйте самі або почитайте наукові статті на цю тему.

Як ми можемо довіритись системі, яка не знає що «А = В» те саме, що й «В = А» коли справа стосується прийняття рішень від нашого імені?

Існує багато людей, які справді вважають, що вони можуть краще керувати галюцинаціями, ніж будь-хто інший, завдяки розумним стратегіям створення запитів. Або людей, які справді вважають, що існує якась розумна комбінація ШІ, яка зможе видавати ідеальний результат. І можливо, це буде правдою в якомусь віддаленому майбутньому, але після інтенсивного вивчення LLM, я переконаний, що на даний момент це не так. Ми навіть не близько до цього.

На ринку є багато продуктів з потужними маркетинговими відеороликами, але коли ви спробуєте продукт, ви одразу побачите його обмеження.

Попит і шахраї

Зараз є безліч шахраїв, які бачать можливість заробити кілька баксів на хайпі. Вони стверджують, що знайшли спосіб зменшити кількість галюцинацій у відповідях чатбота. Вони кажуть що “знайшли спосіб зробити систему, яка візьме всі хороші речі з різних LLM, позбудеться всіх їхніх недоліків і, нарешті, об’єднає все це в єдине ціле”. Це справді звучить як революційний проєкт. Проблема полягає в тому, що немає системного способу “позбутися всіх поганих речей” з LLM.

Насправді, за цими гучними заявами ховається ще один виклик до LLM для перевірки узгодженості відповідей. По очевидним причинам, це не є ефективним, бо галюцинації є невід'ємною характеристикою, успадкованою від фундаментального алгоритму, від того як навчають LLM.

Під час кожного хайп-циклу завжди є переможці. Наразі основними вигодонабувачами є компанії, які навчають та/або обслуговують основні моделі (OpenAI, Anthropic, Google, Microsoft). Вони є головними гравцями на ринку. Наприклад, вартість тренування ChatGPT-3 сягає 4 млрд доларів.

Щоразу, коли хтось створює SaaS продукт, який використовує виклики API до OpenAI, і чим більше буде користувачів цього SaaS продукту, тим більше заробить OpenAI, і якщо пощастить, розробник отримаєте шматок пирога в процесі. Крім того, кожного разу, коли ви запускаєте процес через автономного ШІ-агента, робота якого займе хвилини або навіть години, а головне споживе багато токенів в процесі, перш ніж дати вам неправильну відповідь, OpenAI заробляє гроші.

То що далі?

В мене склалося стійке враження, що LLM стає технологією яка шукає проблему. Люди хочуть інтегрувати ШІ скрізь, навіть туди де від нього не буде жодної користі. Ми досі перебуваємо на піку перебільшених очікувань від нової технології. Але вже зовсім скоро ми зустрінемося з реальністю розчарування.

Інтерфейс чат-боту як надбудова над фундаментальним алгоритмом, це, на мою думку, найкорисніше застосування LLM. За допомогою цього інтерфейсу користувачі можуть легко доєднати веб-пошук, використання інструментів або виконання коду. Цей інтерфейс потужний і універсальний.

Обгортки GPT, які можна використовувати для покращення взаємодії з ШІ. Але вони сильно залежать від маркетингу, оскільки все, що вони роблять, можна зробити за допомогою ChatGPT безпосередньо. Їхня цінність - це по суті UI.

Недооціненими залишаються такі типи використання, як класифікація, розпізнавання об'єктів, відповіді на запитання, маркування даних, перефразування та машинний переклад. LLM можуть бути дуже корисними в таких сценаріях, оскільки дозволяють компаніям розгортати функції, які покращують існуючі продукти. Наприклад, компанія може покращити свої алгоритми класифікації електронної пошти, чи дати можливість користувачам відповісти на лист текстом, що запропонував ШІ.

Великою перешкодою для більш широкого використання LLM є фундаментальні проблеми порушення конфіденційності. Незважаючи на запевнення розробників моделей ШІ, більшість компаній все ще справедливо стурбовані перспективою розкриття великої кількості своїх даних через API зовнішньої компанії. Розгортання моделей з відкритим вихідним кодом у безпечний і приватний спосіб може бути рішенням. Але тоді виникають значні витрати на обслуговування LLM, якщо тільки ми не перейдемо на менші ефективніші моделі.

Я прийшов до висновку, що LLM можуть допомогти у створенні нових функціональних можливостей продукту, але якщо все, що може запропонувати ваш продукт, зосереджено на викликах API до LLM, то він, ймовірно, не виживе після того, як хайп спаде.

Якщо ваша цілі створити успішний та довговічний бізнес, важливо перш за все ретельно проаналізувати проблему, яку ви прагнете вирішити. Під час загального хайпу, всі думки людей сконцентровані на самій технології і намаганнях її застосувати для вирішення будь якої проблеми яку вдалося придумати, а не на користі використання цієї технології для кінцевого споживача та сталого розвитку бізнесу. Такий підхід може спрацювати, особливо на самому початку для першопрохідців, але після, це вже ненадійний спосіб побудови великих стартапів.