Святий Грааль Crypto AI: передові дослідження децентралізованого навчання

У всьому ціннісному ланцюгу ШІ модельне навчання є етапом з найбільшими витратами ресурсів та найвищими технологічними бар'єрами, що безпосередньо визначає верхню межу можливостей моделі та реальний ефект застосування. На відміну від легковагих викликів на етапі інференції, процес навчання потребує постійних великих обсягів обчислювальної потужності, складних процесів обробки даних та підтримки інтенсивних алгоритмів оптимізації, що є справжньою "важкою промисловістю" в побудові систем ШІ. З точки зору архітектурних парадигм, способи навчання можна розділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основною темою цієї статті.

Концентраційне тренування — це найпоширеніший традиційний спосіб, який здійснюється єдиним інститутом у локальному високопродуктивному кластері, де весь процес тренування, починаючи від апаратного забезпечення, базового програмного забезпечення, системи розподілу кластерів до всіх компонентів тренувальної системи, координується єдиною системою управління. Така глибоко скоординована архітектура забезпечує максимальну ефективність спільного використання пам'яті, синхронізації градієнтів і механізмів відмовостійкості, що робить її дуже підходящою для тренування великих моделей, таких як GPT, Gemini, з перевагами високої ефективності та контрольованості ресурсів. Але водночас існують проблеми монополії даних, бар'єрів для ресурсів, енергетичних витрат та ризиків одноточкових відмов.

Розподілене навчання є основним способом навчання великих моделей, його суть полягає в розподілі завдань навчання моделі на кілька машин для спільного виконання, щоб подолати обмеження обчислень і зберігання на одному комп'ютері. Хоча фізично воно має "дистрибутивні" характеристики, але в цілому контролюється централізованими організаціями для управління та синхронізації, часто працює в середовищі швидкісних локальних мереж, за допомогою технології високошвидкісних з'єднувальних шин NVLink, основний вузол координує всі підзавдання. Основні методи включають:

• Паралельність даних: кожен вузол тренує різні дані, параметри діляться, потрібно узгодити ваги моделі
• Модельне паралелізм: розгортання різних частин моделі на різних вузлах для досягнення високої масштабованості
• Паралельні канали: поетапне серійне виконання, підвищення пропускної здатності
• Тензорне паралельне виконання: детальне розподілення матричних обчислень, підвищення паралельної гранулярності

Розподілене навчання є поєднанням "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же керівник дистанційно керує співпрацею кількох "офісних" працівників для виконання завдання. Наразі майже всі основні великі моделі навчаються саме таким чином.

Децентралізація тренування означає більш відкритий і стійкий до цензури шлях у майбутнє. Його основні характеристики полягають у тому, що: кілька взаємно недовірливих вузлів ( можуть бути домашніми комп'ютерами, хмарними GPU або крайніми пристроями ), які співпрацюють у виконанні завдань тренування без центрального координатора, зазвичай через протоколи, що керують розподілом завдань і співпрацею, та завдяки механізмам крипто стимулювання забезпечують чесність внесків. Основні виклики, з якими стикається ця модель, включають:

• Проблеми з гетерогенними пристроями та їх поділ: висока складність координації гетерогенних пристроїв, низька ефективність розподілу завдань
• Вузьке місце ефективності зв'язку: нестабільний мережевий зв'язок, явно помітне вузьке місце синхронізації градієнтів
• Відсутність надійного виконання: брак надійного середовища виконання, важко перевірити, чи дійсно вузли беруть участь у обчисленнях
• Відсутність єдиної координації: немає центрального диспетчера, розподіл завдань, механізм відкату помилок складний

Децентралізація тренування можна зрозуміти як: група глобальних волонтерів, які кожен вносять обчислювальну потужність для спільного тренування моделі, але "справді здійсненне масштабне децентралізоване тренування" все ще є системним інженерним викликом, що охоплює системну архітектуру, комунікаційні протоколи, криптографічну безпеку, економічні механізми, верифікацію моделей та інші аспекти, але чи можливо "спільна ефективність + стимулювання чесності + правильність результатів" ще перебуває на ранній стадії прототипування.

Федеративне навчання як перехідна форма між розподіленістю та Децентралізацією наголошує на локальному збереженні даних, централізованій агрегації параметрів моделі, що підходить для сценаріїв, які зосереджуються на дотриманні конфіденційності, таких як медицина, фінанси (. Федеративне навчання має інженерну структуру розподіленого навчання та локальні кооперативні можливості, одночасно маючи переваги розподілених даних у децентралізованому навчанні, але все ще залежить від надійного координуючого суб'єкта, не має повністю відкритих і антикорупційних характеристик. Його можна розглядати як "контрольоване децентралізоване" рішення в сценаріях дотримання конфіденційності, яке є відносно м'яким у навчальних завданнях, структурах довіри та механізмах комунікації, краще підходить як перехідна архітектура для промисловості.

Децентралізація тренування: межі, можливості та реальні шляхи

З точки зору парадигми навчання, децентралізоване навчання не підходить для всіх типів завдань. У деяких сценаріях, через складну структуру завдання, надзвичайно високі вимоги до ресурсів або великі труднощі у співпраці, воно природно не підходить для ефективного виконання між гетерогенними, недовіреними вузлами. Наприклад, навчання великих моделей часто залежить від великого обсягу пам'яті, низької затримки та високої пропускної здатності, що ускладнює ефективне розподілення та синхронізацію в відкритій мережі; завдання, що мають сильні обмеження щодо конфіденційності даних та суверенітету, обмежені юридичними нормами та етичними обмеженнями, тому не можуть бути відкрито поділені; а завдання, які не мають основи для стимулювання співпраці, не мають зовнішніх мотивів для участі. Ці межі разом складають нинішні реальні обмеження децентралізованого навчання.

Але це не означає, що децентралізоване навчання є хибним твердженням. Насправді, у типах завдань, які мають легку структуру, легко паралелізуються та можуть бути заохочувальними, децентралізоване навчання демонструє чіткі перспективи застосування. Включаючи, але не обмежуючись: LoRA доопрацювання, завдання після навчання, пов'язані з поведінкою, такі як RLHF, DPO), завдання з краудсорсингу даних та розмітки, навчання малих базових моделей з контрольованими ресурсами, а також сценарії кооперативного навчання з участю крайових пристроїв. Ці завдання зазвичай мають високу паралельність, низьку зв'язаність і терпимість до гетерогенних обчислювальних потужностей, що робить їх дуже підходящими для кооперативного навчання через P2P мережі, протоколи Swarm, дистрибутивні оптимізатори тощо.

Децентралізація тренування класичних проектів аналіз

Наразі у сфері децентралізованого навчання та федеративного навчання, представницькі блокчейн-проекти включають Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технічної інноваційності та складності реалізації, Prime Intellect, Nous Research і Pluralis.ai запропонували багато оригінальних досліджень у проектуванні системи та алгоритмів, що представляє передові напрямки сучасних теоретичних досліджень; тоді як реалізаційні шляхи Gensyn та Flock.io відносно ясні, вже можна побачити попередній прогрес у інженерії. У цій статті буде поетапно проаналізовано ключові технології та інженерну архітектуру п'яти проектів, а також додатково обговорено їхні відмінності та взаємодоповнюючі відносини в системі децентралізованого AI навчання.

( Prime Intellect: тренувальна траєкторія з можливістю верифікації підсиленого навчання кооперативної мережі піонерів

Prime Intellect прагне побудувати мережу навчання штучного інтелекту без довіри, яка дозволяє будь-кому брати участь у навчанні і отримувати надійні винагороди за свої обчислювальні внески. Prime Intellect сподівається створити децентралізовану систему навчання штучного інтелекту з трьох основних модулів: PRIME-RL + TOPLOC + SHARDCAST, яка має верифікацію, відкритість і повноцінний механізм стимулювання.

)# 01、Структура та ключова модульна цінність протоколу Prime Intellect

![Святий Грааль Crypto AI: Децентралізація тренування на передовій досліджень]###https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp###

(# 02, Докладний опис ключових механізмів тренування Prime Intellect

#PRIME-RL:Архітектура завдань асинхронного підкріплювального навчання з декомпозицією

PRIME-RL є рамкою для моделювання та виконання завдань, розробленою Prime Intellect для децентралізованих навчальних сценаріїв, спеціально створеною для гетерогенних мереж та асинхронних учасників. Він використовує підкріплювальне навчання як пріоритетний адаптивний об'єкт, структуруючи розділення процесів навчання, інференції та завантаження ваг, що дозволяє кожному навчальному вузлу незалежно виконувати цикли завдань локально та співпрацювати через стандартизовані інтерфейси з механізмами валідації та агрегації. Порівняно з традиційними процесами навчання під наглядом, PRIME-RL більше підходить для реалізації еластичного навчання в середовищах без централізованого управління, що знижує складність системи і закладає основу для підтримки паралельного виконання кількох завдань та еволюції стратегій.

#TOPLOC:Легка перевірка поведінки навчання

TOPLOC є основним механізмом перевірки навчання, запропонованим Prime Intellect, який використовується для визначення того, чи справді вузол успішно завершив навчання стратегії на основі спостережуваних даних. На відміну від важких рішень, таких як ZKML, TOPLOC не покладається на повторний розрахунок всієї моделі, а завершує верифікацію легковаговою структурою, аналізуючи локально узгоджені траєкторії між "послідовністю спостережень ↔ оновленням стратегії". Він вперше перетворює поведінкові траєкторії верифікації під час навчального процесу на предмети для перевірки, що є ключовою інновацією для реалізації бездоверчого розподілу навчальних винагород, та надає вірогідний шлях для побудови аудиторських, стимулюючих децентралізованих мереж співпраці.

#SHARDCAST:Асиметрична агрегація ваг та протокол поширення

SHARDCAST є протоколом вагового поширення та агрегації, розробленим Prime Intellect, спеціально оптимізованим для асинхронних, обмежених за пропускною здатністю та змінних станів вузлів реальних мережевих середовищ. Він поєднує механізм поширення gossip з локальною синхронізацією, дозволяючи кільком вузлам безперервно надсилати часткові оновлення в умовах несинхронізації, що забезпечує поступову конвергенцію ваг та еволюцію з кількома версіями. У порівнянні з централізованими або синхронізованими методами AllReduce, SHARDCAST значно підвищує масштабованість та стійкість до збоїв децентралізованого навчання, що є основою для побудови стабільного консенсусу ваг та безперервної ітерації навчання.

#OpenDiLoCo:Рідка асинхронна комунікаційна рамка

OpenDiLoCo є незалежною реалізацією та відкритим програмним забезпеченням оптимізаційного фреймворку зв'язку, розробленим командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind. Він спеціально розроблений для вирішення таких викликів, як обмежена пропускна здатність, гетерогенність пристроїв та нестабільність вузлів, що часто зустрічаються під час децентралізованого навчання. Архітектура базується на паралельній обробці даних, шляхом побудови розріджених топологічних структур, таких як Ring, Expander, Small-World, що дозволяє уникнути високих витрат на зв'язок, пов'язаних із глобальною синхронізацією, і завершувати координацію навчання моделі, спираючись лише на сусідні локальні вузли. Поєднуючи асинхронне оновлення з механізмом відмовостійкості, OpenDiLoCo дозволяє споживчим GPU та крайовим пристроям стабільно брати участь у навчальних завданнях, значно підвищуючи участь у глобальному кооперативному навчанні, що робить його однією з ключових комунікаційних інфраструктур для побудови децентралізованих навчальних мереж.

#PCCL:Бібліотека спільного зв'язку

PCCL є легковаговою бібліотекою зв'язку, спеціально розробленою Prime Intellect для децентралізованого середовища навчання AI, що має на меті вирішення проблем адаптації традиційних бібліотек зв'язку в гетерогенних пристроях та мережах з низькою пропускною здатністю. PCCL підтримує рідкісні топології, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з контрольних точок, може працювати на споживчих GPU та нестабільних вузлах, є базовим компонентом, що підтримує асинхронні комунікаційні можливості протоколу OpenDiLoCo. Це значно підвищує толерантність до пропускної здатності навчальної мережі та сумісність пристроїв, забезпечуючи "остання миля" комунікаційної інфраструктури для створення справжньої відкритої, бездоказової мережі спільного навчання.

)# 03、Prime Intellect стимулююча мережа та розподіл ролей

Prime Intellect побудував мережу навчання без дозволу, яка може бути перевірена і має економічні стимули, що дозволяє будь-кому брати участь у завданнях та отримувати винагороду на основі реального внеску. Протокол працює на основі трьох основних ролей:

• ініціатор завдання: визначити навчальне середовище, початкову модель, функцію винагороди та критерії валідації
• Тренувальний вузол: виконання локального навчання, подання оновлень ваг та спостережних траєкторій
• Вузли перевірки: використовують механізм TOPLOC для перевірки достовірності навчальної поведінки та беруть участь у розрахунку винагороди та агрегації стратегій

Основний процес угоди включає публікацію завдань, тренування вузлів, верифікацію траєкторій, агрегацію ваг і виплату винагород, що утворює стимулююче замкнуте коло навколо "реальної тренувальної діяльності".

![Крипто AI святий грааль: Децентралізація тренування на передовій]###https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp###

(# 04、INTELLECT-2:Перший верифікований децентралізований навчальний модель.

Prime Intellect випустив INTELLECT-2 у травні 2025 року, що є першим у світі великим моделлю посилення навчання, яка була створена за допомогою асинхронних, без довіри децентралізованих вузлів. Кількість параметрів досягає 32B. Модель INTELLECT-2 була завершена спільним навчанням понад 100 гетерогенних вузлів GPU, розташованих на трьох континентах, використовуючи повністю асинхронну архітектуру, тривалість навчання перевищила 400 годин, що продемонструвало доцільність та стабільність асинхронної кооперативної мережі. Ця модель не лише є проривом у продуктивності, але й є першим системним втіленням парадигми "навчання як консенсус", запропонованої Prime Intellect. INTELLECT-2 інтегрує основні протокольні модулі, такі як асинхронна навчальна структура PRIME-RL), верифікація навчальної поведінки TOPLOC( та асинхронна агрегація ваг SHARDCAST), що знаменує перше досягнення децентралізованої навчальної мережі.