Виклики та майбутні напрями розвитку Web3 AI

Акції NVIDIA знову досягли історичного максимуму, а прогрес у багатомодальних моделях ще більше поглибив технічний бар'єр Web2 AI. Від семантичного вирівнювання до візуального розуміння, від високо вимірних вбудувань до злиття ознак, складні моделі об'єднують різні способи вираження з безпрецедентною швидкістю, створюючи все більш закриту AI-територію. Ринок акцій США також на ділі продемонстрував оптимізм щодо AI-індустрії, незалежно від того, чи це криптовалюти, чи акції AI, всі вони демонструють сплеск малих бичачих тенденцій.

Однак, ця хвиля, здається, не пов'язана з областю криптовалют. Недавні спроби Web3 AI, особливо дослідження в напрямку Agent, мають очевидні відхилення: спроба зібрати багатофункціональну модульну систему в стилі Web2 за допомогою децентралізованої структури насправді є подвійним невідповідністю в технологіях і мисленні. У світі, де модульна взаємозв'язок є надзвичайно сильною, розподіл ознак високо нестабільний, а вимоги до обчислювальної потужності дедалі більше концентруються, багатофункціональна модульна система важко може утвердитися в середовищі Web3.

Майбутнє Web3 AI не в імітації, а в стратегічному обході. Від семантичного вирівнювання у високих вимірах до інформаційних вузьких місць у механізмі уваги, а також до вирівнювання ознак під гетерогенними обчислювальними потужностями, Web3 AI потрібно знайти нові шляхи розвитку.

Дилема семантичного вирівнювання Web3 AI

У сучасних мультимодальних системах Web2 AI "семантичне вирівнювання" є ключовою технологією, що дозволяє відображати інформацію з різних модальностей в одному семантичному просторі. Це дозволяє моделям розуміти та порівнювати внутрішні значення за різними формами сигналів. Високорозмірний вбудований простір є основою для досягнення цієї мети, оскільки він дозволяє кодувати складні семантичні характеристики в вектори розміром сотні або навіть тисячі вимірів.

Проте, реалізувати високорозмірні вбудування для протоколу Web3 Agent важко. Більшість Web3 Agent лише упаковують існуючі API в окремі модулі, не маючи єдиного центрального вбудованого простору та міжмодульного механізму уваги. Це призводить до того, що інформація не може взаємодіяти з різних кутів та на різних рівнях між модулями, а система демонструє однорідну функціональність, що ускладнює формування загальної замкненої оптимізації.

Для реалізації повноцінного інтелектуального агента з бар'єрами для входу в індустрію необхідно почати з об'єднаного моделювання від кінця до кінця, єдиної вбудованої архітектури між модулями, а також системного підходу до спільного навчання та розгортання. Але в даний час на ринку не виникло такої потреби, а отже, і відповідних рішень бракує.

Обмеження механізму уваги

Високоякісні мультимодальні моделі потребують ретельно спроектованих механізмів уваги. Механізм уваги по суті є способом динамічного розподілу обчислювальних ресурсів, що дозволяє моделі вибірково "зосереджуватися" на найрелевантніших частинах під час обробки вхідних даних.

Web2 AI при проектуванні механізму уваги зазвичай використовує модель Query-Key-Value (Q-K-V), що допомагає визначити ключову інформацію. Однак, модульний Web3 AI важко реалізувати єдину систему розподілу уваги. Основні причини включають:

1. Відсутність єдиного простору Q-K-V
2. Неможливо реалізувати паралельні обчислення багатоголового уваги
3. Відсутність реального часу спільного контексту між модулями

Отже, просто об'єднуючи різні функції в дискретні API, неможливо створити таку "уніфіковану увагу" як у Transformer.

Поверхневі труднощі злиття ознак

Злиття ознак базується на вирівнюванні та увазі, що дозволяє подальше об'єднання векторів ознак, отриманих з різних модальностей. Web3 AI наразі перебуває на найпростіший стадії з'єднання, що головним чином зумовлено браком високорозмірного простору та точного механізму уваги як попередніх умов.

Web2 AI схиляється до енд-ту-енд спільного навчання, тоді як Web3 AI більше використовує підхід з дискретними модульними з'єднаннями. Цей підхід як і раніше не має єдиної навчальної мети і не забезпечує потоку градієнтів між модулями, що призводить до того, що злиття ознак залишається на поверхневій статичній стадії.

Бар'єри в галузі штучного інтелекту та майбутні можливості

Технічні бар'єри в галузі ШІ постійно поглиблюються. Багатофункціональна система Web2 AI є великим інженерним проектом, який потребує величезних обсягів даних, потужних обчислювальних ресурсів, сучасних алгоритмів та систематизованих інженерних здібностей. Це створює дуже сильні галузеві бар'єри та забезпечує основну конкурентоспроможність обмеженої кількості провідних команд.

Однак можливості Web3 AI, можливо, полягають у тактиці "села оточують місто". Web3 AI слід спробувати в крапкових сценаріях, таких як легка структура, легке паралельне виконання та завдання, що можуть бути мотивованими. Це може включати мікронастройку LoRA, завдання після навчання з поведінковим узгодженням, навчання та анотування даних на основі краудсорсингу, навчання малих базових моделей, а також спільне навчання на крайових пристроях.

Варто зазначити, що нинішні бар'єри Web2 AI лише починають формуватися, це рання стадія конкуренції між провідними компаніями. Справжня можливість Web3 AI, можливо, з'явиться лише тоді, коли вигоди Web2 AI зникнуть, а залишені ним проблеми стануть найкращим моментом для входу Web3 AI.

Перед цим проекти Web3 AI повинні мати такі характеристики:

1. Займіть позицію на краю, закріпившись у невеликій сцені
2. Поєднання точок і поверхонь, кільцевий прогрес, постійне оновлення в невеликих застосунках.
3. Зберігайте гнучкість, щоб швидко адаптуватися до різних вимог ситуації

Тільки проекти, які мають ці цікавості, можуть зайняти місце в майбутньому в сфері Web3 AI.