Всі статті

Jev: чому AI-агенти переходять на гібридну архітектуру

•
127
Юра Котович
10 читачів
Останні кілька днів у спільноті розробників AI-агентів обговорюють одну модель - Jev від стартапу TypeSafe AI. Її називають "майбутнім AI-агентів", але рідко пояснюють, що вона насправді робить і чим відрізняється від звичної LLM. Розбираємось по суті.

Проблема, яку вирішує Jev

Типовий AI-агент — це цикл із сотень дрібних рішень: яку кнопку натиснути, яку категорію обрати у випадаючому списку, чи безпечний виклик інструменту, наскільки терміновий запит. Зараз усі ці мікрорішення проганяють через ту саму велику LLM, що й генерацію тексту. Це означає:

  • кожен крок чекає відповіді 2–5 секунд;
  • рахунок за API росте пропорційно кількості кроків, а не складності задачі;
  • модель, яка "думає" словами, іноді видає щось поза межами очікуваної структури — замість чіткого вибору зі списку повертає вільний текст, який ще треба розпарсити.

TypeSafe пропонує винести саме ці мікрорішення в окремий, спеціалізований шар — і це головна ідея Jev.

Що таке Jev технічно

Jev — це не чат-бот і не LLM у класичному сенсі. Компанія називає його моделлю класу "System One" (термін-відсилка до психологічної моделі швидкого, автоматичного мислення на противагу повільному, послідовному). Модель не генерує текст токен за токеном — вона одразу повертає типізоване рішення з імовірністю та рівнем упевненості (confidence).

Засновник TypeSafe AI Diogo Almeida раніше працював в OpenAI і брав участь у створенні ChatGPT та методу RLHF. За його словами, ідея компанії в тому, що з часом більшість "інтелекту" має жити всередині софту, працюючи непомітно у фоні.

Jev навчений методом, який компанія називає Reinforcement Learning for Calibrated Decisions (RLCD) — навчання, орієнтоване саме на каліброваність імовірностей, а не на якість написаного тексту.

Три примітиви рішень

Модель приймає запити трьох типів, і їх можна комбінувати в одному запиті:

Choice — вибір з набору варіантів (від 2 до 255), повертає обраний варіант і ймовірності для кожного з них. Приклад: яка команда має обробити тікет — білінг, техпідтримка чи продажі.

Score — оцінка за заданою шкалою рівнів (від 2 до 10), наприклад: низький / середній / критичний ризик.

Noul — імовірність від 0 до 1 для питань "так/ні". Приклад: чи запитує клієнт повернення коштів.

Важливий нюанс: TypeSafe заявляє, що Jev "не може галюцинувати" — але це стосується саме формату відповіді. Модель завжди повертає один із заданих варіантів і не може вигадати неіснуючу опцію чи зламати схему. Це не гарантія, що вибір буде правильним — модель так само може обрати не той варіант, просто вона не може вийти за межі дозволеної структури.

Архітектура на практиці

У типовій гібридній схемі ролі розподіляються так:

  1. Велика LLM планує стратегію — аналізує складний запит, генерує текст, приймає рішення, що вимагають реального міркування.
  2. Jev миттєво обробляє рутинні рішення — маршрутизацію, скоринг, перевірки.
  3. Код (агент, RPA-шар, браузерний драйвер) виконує дію за результатом.

Тут варто уточнити поширену неточність: Jev сам не клікає по кнопках і не заповнює поля. Він тільки видає рішення, яку дію виконати — саму дію завжди реалізує код навколо нього.

Де це вже застосовують

Клієнтська підтримка та CRM. LLM аналізує звернення клієнта, а Jev миттєво визначає категорію в CRM (Salesforce, HubSpot), відповідального менеджера, потребу в прапорці "Пріоритет" — без затримки на генерацію тексту для кожного з цих виборів.

Бухгалтерія та фінтех. Замість ручного перенесення даних з рахунків у 1С, SAP чи Xero агент визначає тип ПДВ, потрібне поле для завантаження і звіряє суму — класичний кейс для примітиву Noul (збігається / не збігається).

Закупівлі та моніторинг цін. Агент обходить сотні сайтів постачальників одночасно. Jev відповідає за навігаційні рішення — куди прокрутити, яку сторінку пагінації відкрити, яку характеристику товару обрати. Велика LLM підключається лише для нестандартних контрактів чи фінального узгодження угоди.

Парсинг і конкурентний аналіз. Класичні скрипти-скрапери ламаються щоразу, коли сайт міняє верстку. Агент орієнтується на сторінці схожим на людину чином, а Jev, на порядки дешевший за генеративну LLM, бере на себе рутинні рішення: яку кнопку натиснути, який поп-ап закрити.

HR і рекрутинг. Пошук кандидатів на LinkedIn, Work.ua, Robota.ua за набором фільтрів. Jev вирішує, коли прокрутити стрічку, коли натиснути "Показати більше" і чи має сенс відкривати контакт, судячи зі статусу кандидата.

Економіка переходу на гібридну схему

Вартість. Вхідні токени Jev коштують $0.042 за мільйон, вихідні не тарифікуються взагалі, бо модель не генерує текст. Для порівняння — це на порядок дешевше за вартість вхідних токенів більшості фронтирних LLM. При мільйонах мікрорішень різниця виливається в тисячі доларів економії щомісяця.

Швидкість. Замість 2–5 секунд очікування відповіді LLM на кожен крок — 100–400 мс. За заявами TypeSafe, на задачах класифікації це дає приріст швидкості й здешевлення до 200 разів, хоча тут варто пам'ятати, що це власні бенчмарки компанії.

Формат відповіді. Замість вільного тексту, який потрібно парсити і який іноді виходить за межі очікуваної структури, — типізована відповідь, яку код завжди може обробити коректно. Це гарантія формату, а не гарантія правильності рішення.

Як підключитися

Офіційний асинхронний клієнт — на Python:

Почати тестування Jev та отримати доступ до API можна на офіційній платформі: TypeSafe Console.

Для швидкого старту новим користувачам нараховують $5 на баланс акаунта (цього вистачить приблизно на 119 мільйонів вхідних токенів)

P.S.

Jev не замінює великі LLM — він забирає в них ту частину роботи, яку вони й так виконували неефективно: прості структуровані рішення всередині циклу агента. Для бізнесів, які будують агентів з великою кількістю дрібних кроків (підтримка, закупівлі, скрапінг, HR-скринінг), це може означати кардинальне здешевлення й пришвидшення продакшн-пайплайнів — за умови, що точність рішень модель дійсно тримає на заявленому рівні, а це поки підтверджено переважно власними бенчмарками компанії, а не незалежними тестами.