Кажуть, ви хочете запустити велику мовну модель, подібну до Llama2-70B. Така масштабна модель потребує понад 140 ГБ пам'яті, що означає, що ви не зможете запустити необроблену модель на своєму домашньому пристрої. Які ваші варіанти? Ви можете перейти до хмарного провайдера, але вам, можливо, не буде цікаво довіряти одній централізованій компанії, щоб вона обробляла цей робочий навантаження для вас і поглинула всі ваші дані використання. Тоді вам потрібен децентралізований вивід, який дозволяє вам запускати моделі машинного навчання без покладанняся на будь-якого одного провайдера.

Проблема довіри

У децентралізованій мережі недостатньо просто запустити модель і довіряти виводу. Скажімо, я питаю мережу про аналіз проблеми управління, використовуючи Llama2–70B. Як я можу знати, що вона фактично не використовує Llama2–13B, надаючи мені гірший аналіз, і заробляючи різницю?

У централізованому світі ви можете довіряти тому, що компанії, такі як OpenAI, роблять це чесно, оскільки їхня репутація стоїть під загрозою (і, до певної міри, якість LLM очевидна). Але в децентралізованому світі чесність не є припущенням - її перевіряють.

Ось де входить перевірна інференція. Крім надання відповіді на запит, ви також доводите, що вона правильно працювала на моделі, яку ви запросили. Але як?

Найбільш наївний підхід полягав би в тому, щоб запустити модель як розумний контракт on-chain. Це безперечно гарантувало б, що вихід був перевірений, але це дуже непрактично. GPT-3 представляє слова з вбудованим розміром 12 288. Якщо ви вирішили б зробити одноразове множення цього розміру on-chain, це обійдеться приблизно в 10 мільярдів доларів за поточних цін на газ - обчислення заповнило б кожний блок приблизно на місяць підряд.

Так, ні. Нам знадобиться інший підхід.

Після спостереження за ландшафтом мені зрозуміло, що виникли три основних підходи до розв'язання перевірки висновків: докази нульового знання, оптимістичні докази шахрайства та криптоекономіка. Кожен має свій власний смак безпеки та витрати.

1. Докази з нульовими знаннями (ZK ML)

Уявіть, що ви можете довести, що ви запустили величезну модель, але доказ ефективно має фіксований розмір незалежно від того, наскільки великою є модель. Це те, що обіцяє ZK ML, завдяки чудесам ZK-SNARKs.

Хоча це звучить елегантно в принципі, компіляція глибокої нейронної мережі в нуль-знання схеми, які потім можуть бути доведені, надзвичайно складна. Це також масштабно дороге - як мінімум, ви, ймовірно, розглядаєте на@ModulusLabs/chapter-5-the-cost-of-intelligence-da26dbf93307">1000x вартість для виведення та 1000x затримка (час для генерації доказу), не кажучи вже про компіляцію самої моделі в ланцюг перед тим, як все це може статися. У кінцевому підсумку ця вартість повинна бути передана користувачеві, тому це буде дуже дорого для кінцевих користувачів.

З іншого боку, це єдиний підхід, який криптографічно гарантує правильність. З ZK постачальник моделей не може обманути незалежно від того, наскільки вони намагаються. Але це коштує величезні суми, що робить це непрактичним для великих моделей на передбачуваний майбутній час.

Приклади: EZKL, Modulus Labs, Гіза

2. Оптимістичні докази шахрайства (Оптимістичне машинне навчання)

Оптимістичний підхід полягає в довірі, але перевірці. Ми вважаємо, що висновок є правильним, якщо не доведено зворотне. Якщо вузол намагається обманути, "спостерігачі" в мережі можуть викликати його як шахрая та викликати його на використання доказу шахрайства. Ці спостерігачі повинні постійно спостерігати за ланцюжком та знову виконувати висновки за своїми моделями, щоб переконатися, що виведення є правильними.

Ці докази шахрайстваСтиль Truebitінтерактивні ігри з викликом та відповіддю, де ви повторно поділяєте слід виконання моделі on-chain, доки не знайдете помилку.

Якщо це коли-небудь станеться насправді, це надзвичайно коштує, оскільки ці програми є масштабними та мають великі внутрішні стани — одне виведення GPT-3 коштує близько 1 петафлоп(10¹⁵ операцій з плаваючою комою). Але теорія гри вказує, що це майже ніколи не повинно траплятися (докази шахрайства також відомі тим, що важко правильно програмувати, оскільки код майже ніколи не використовується в продакшні).

Перевага полягає в тому, що оптимістичне ML є безпечним, поки є хоча б один чесний глядач, який приділяє увагу. Вартість дешевша, ніж у ZK ML, але пам'ятайте, що кожен глядач у мережі перевиконує кожний запит самостійно. На рівновазі це означає, що якщо є 10 глядачів, вартість цієї безпеки повинна бути передана користувачеві, тому вони повинні платити більше, ніж в 10 разів вартість виведення (або якщо є багато глядачів).

Недолік полягає в тому, що, як правило, в оптимістичних роллапах, вам потрібно зачекати, доки мине період виклику, перш ніж ви будете впевнені, що відповідь перевірена. Проте, залежно від параметрів цієї мережі, ви можете чекати хвилини, а не дні.

Приклади: Ora, Gensyn(хоча зараз недостатньо уточнено)

3. Криптоекономіка (Криптоекономічний ML)

Тут ми відкидаємо всі фішки та робимо просту річ: голосування з урахуванням ставки. Користувач вирішує, скільки вузлів мають запустити їх запит, вони кожен відкривають свої відповіді, і якщо є розбіжність між відповідями, вибивається той, що вибивається. Стандартні речі оракула — це більш простий підхід, який дозволяє користувачам встановлювати потрібний рівень безпеки, балансуючи вартість та довіру. Якби Chainlink займався ML, це було б те, як вони б це робили.

Затримка тут швидка — вам просто потрібно зобов'язатися-викритиз кожного вузла. Якщо це записується в блокчейн, технічно це може статися в двох блоках.

Однак безпека є найслабшою. Більшість вузлів могли б раціонально піти в змову, якби вони були досить хитрими. Як користувач, ви повинні міркувати про те, скільки ці ноди ставлять на карту і скільки їм буде коштувати шахрайство. Тим не менш, використовуючи щось на кшталт перереєстрації Eigenlayer і атрибутивний цінний папір, мережа може ефективно надавати страхування в разі відмови забезпечення безпеки.

Але гарна частина цієї системи полягає в тому, що користувач може вказати, який рівень безпеки він хоче. Вони можуть вибрати 3 вузли або 5 вузлів у своєму кворумі, або кожен вузол в мережі — або, якщо вони хочуть YOLO, вони навіть можуть вибрати n=1. Функція вартості тут проста: користувач платить за стільки вузлів, скільки вони хочуть у своєму кворумі. Якщо ви виберете 3, ви платите вартість 3-х вузлів.

Тут підступне питання: чи можете ви зробити n=1 безпечним? У наївній реалізації одинокий вузол повинен обманювати кожного разу, якщо ніхто не перевіряє. Але я підозрюю, що якщо ви шифруєте запити та робите оплату через наміри, ви можете змогти затемнити вузлу, що вони фактично єдині, хто реагує на це завдання. У цьому випадку ви, можливо, зможете вимагати від звичайного користувача менше, ніж вартість в 2 рази перевищує витрати на інференцію.

Зрештою, криптоекономічний підхід є найпростішим, найлегшим і, ймовірно, найдешевшим, але він менш привабливий і в принципі менш безпечний. Але, як завжди, диявол у деталях.

Приклади: Обряд(хоча наразі недостатньо визначено),Мережа Atoma

Чому перевірка ML важка

Ви, можливо, дивуєтеся, чому у нас ще немає всього цього? В кінцевому рахунку, моделі машинного навчання - це лише дуже великі комп'ютерні програми. Доведення того, що програми виконано правильно, давно є хлібом насущним для блокчейнів.

Ось чому ці три підходи до верифікації відображають способи, якими блокчейни захищають свій блок-простір — ZK rollups використовують ZK-докази, оптимістичні rollups використовують докази про шахрайство, а більшість L1-блокчейнів використовують криптоекономіку. Не дивно, що ми в основному прийшли до тих самих рішень. Так що робить це складним, коли застосовується до ML?

ML унікальна тим, що обчислення ML, як правило, представлені у вигляді густих обчислювальних графів, які розроблені для ефективного виконання на GPU. Вони не призначені для доведення. Тому, якщо ви хочете довести обчислення ML в середовищі ZK або оптимістичному середовищі, їх потрібно перекомпілювати в формат, який це можливо зробити - що є дуже складним та дорогим.

Другою фундаментальною складністю ML є недетермінованість. Верифікація програм передбачає, що виходи програм є детермінованими. Але якщо ви запустите одну й ту саму модель на різних архітектурах графічних процесорів або версіях CUDA, ви отримаєте різні результати. Навіть якщо вам доведеться змусити кожен вузол використовувати одну й ту саму архітектуру, у вас все одно є проблема випадковості, яка використовується в алгоритмах (шум у дифузійних моделях або вибірка токенів у LLM). Ви можете виправити цю випадковість, керуючи RNGнасіння. Але навіть з усім цим, ви все ще залишаєтеся з кінцевою загрозливою проблемою: недетермінізм, властивий операціям з плаваючою комою.

Майже всі операції на графічних процесорах виконуються з числами з рухомою комою. Числа з рухомою комою є капризними, тому що вонине асоціативний— тобто (a + b) + c завжди не дорівнює a + (b + c) для чисел з рухомою комою. Тому що відеокарти високопаралельні, порядок додавання або множення може бути різним на кожному виконанні, що може призвести до невеликих різниць у виводі. Це малоймовірно вплине на вивід LLM, враховуючи дискретний характер слів, але для моделі зображення це може призвести до незначно відмінних значень пікселів, що призведе до того, що два зображення не відповідатимуть одне одному ідеально.

Це означає, що вам потрібно уникати використання дійсних чисел, що призводить до великого впливу на продуктивність, або потрібно дозволити певну ласку в порівнянні виведення. У будь-якому випадку деталі складні, і ви не можете точно абстрагувати їх. (Тому, як виявляється, EVM не підтримуєдійсні числа з плаваючою комою, хоча деякі блокчейни, такі як ПОБЛИЗУ do.)

Коротко кажучи, децентралізовані мережі висновків складні, оскільки всі деталі мають значення, та реальність має дивовижну кількість деталей.

В підсумку

Зараз блокчейни і машинне навчання очевидно мають багато що сказати одне одному. Одна - технологія, яка створює довіру, а інша - технологія, якій гостро не вистачає цієї довіри. Хоча кожен підхід до децентралізованого висновку має свої власні компроміси, мене дуже цікавить побачити, що роблять підприємці з цими інструментами, щоб побудувати найкращу мережу.

Але я не писав цей твір, щоб він був останнім словом - я думаю про ці ідеї в реальному часі і веду багато живих дебатів з людьми. Я завжди вважав, що писання - це найкращий спосіб перевірити свої ідеї. Якщо ви щось будуєте в цьому просторі, звертайтеся! Я завжди радий дізнатися, над чим ви працюєте - і якщо ви зможете мені довести, що я помиляюсь, то тим краще.

Відмова від відповідальності:

1. Ця стаття перепечатана з [Дослідження Dragonfly], Усі авторські права належать оригінальному автору [Haseeb Qureshi]. Якщо є зауваження до цього перевидання, будь ласка, зв'яжіться з Gate Learnкоманда, і вони оперативно з цим впораються.
2. Відповідальність за відмову: Погляди та думки, висловлені в цій статті, є виключно думкою автора і не становлять жодної інвестиційної поради.
3. Переклади статті на інші мови виконуються командою Gate Learn. Якщо не зазначено інше, копіювання, поширення або плагіатування перекладених статей заборонене.