Святой Грааль Crypto AI: Передовые исследования децентрализованного обучения

В полной цепочке создания стоимости AI модельное обучение является этапом с наибольшими затратами ресурсов и высшими техническими барьерами, что напрямую определяет пределы возможностей модели и фактическую эффективность применения. В отличие от легковесного вызова на этапе вывода, процесс обучения требует постоянных вложений в мощные вычисления, сложных процессов обработки данных и поддержки высокоинтенсивных алгоритмов оптимизации, являясь настоящей "тяжелой промышленностью" в построении AI-систем. С точки зрения архитектурных парадигм, способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализация, на которой мы сосредоточим внимание в данной статье.

Централизованное обучение является наиболее распространенным традиционным методом, при котором единственная организация выполняет весь процесс обучения в локальном высокопроизводительном кластере, начиная от аппаратного обеспечения, программного обеспечения низкого уровня, систем управления кластером до всех компонентов обучающего фреймворка, которые координируются единой управляющей системой. Эта глубоко совместная архитектура позволяет достичь оптимальной эффективности в совместном использовании памяти, синхронизации градиентов и механизмах отказоустойчивости, что делает ее очень подходящей для обучения крупных моделей, таких как GPT, Gemini, обладая преимуществами высокой эффективности и контролируемых ресурсов, но одновременно сталкивается с проблемами монополии данных, барьеров ресурсов, потребления энергии и рисков единой точки.

Распределённое обучение является основным методом обучения современных больших моделей. Его суть заключается в разбиении задач обучения модели и распределении их на несколько машин для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Несмотря на наличие физической "распределённости", в целом процесс всё ещё контролируется централизованными учреждениями, которые осуществляют управление и синхронизацию, часто работая в среде высокоскоростных локальных сетей, с использованием технологии высокоскоростной межсоединительной шины NVLink, где главный узел координирует выполнение подзадач. Основные методы включают:

• Параллельные данные: каждый узел обучает разные данные, параметры общие, необходимо сопоставить веса модели
• Модельное параллелизм: развертывание различных частей модели на разных узлах для достижения высокой масштабируемости
• Параллельные каналы: поэтапное последовательное выполнение, повышение пропускной способности
• Тензорное параллельное вычисление: тонкая сегментация матричных вычислений, повышение уровня параллелизма

Распределённое обучение является комбинацией "централизованного контроля + распределённого выполнения", аналогично тому, как один и тот же начальник дистанционно управляет несколькими сотрудниками "офиса", чтобы совместно выполнять задачи. В настоящее время почти все основные большие модели обучаются именно таким образом.

Децентрализация тренировки представляет собой более открытый и антикоррупционный путь в будущее. Его основные характеристики заключаются в том, что несколько недоверительных узлов ( могут быть домашними компьютерами, облачными GPU или крайними устройствами ), которые совместно выполняют задачи обучения без центрального координатора, обычно через протоколы, управляющие распределением задач и сотрудничеством, и с помощью механизмов криптостимулирования для обеспечения честности вклада. Основные вызовы, с которыми сталкивается эта модель, включают:

• Проблемы с гетерогенными устройствами и разделением задач: высокая сложность координации гетерогенных устройств, низкая эффективность разделения задач.
• Узкие места в эффективности связи: нестабильная сетевая связь, очевидные узкие места в синхронизации градиентов
• Недостаток доверяемого выполнения: отсутствие доверяемой среды выполнения, затрудняющее проверку того, действительно ли узлы участвуют в вычислениях
• Отсутствие единой координации: нет центрального диспетчера, сложная система распределения задач и механизм отката при исключениях

Децентрализация тренировок можно понять как: группа глобальных волонтеров, каждый из которых вносит свою вычислительную мощность для совместной тренировки модели, но "действительно осуществимая масштабная Децентрализация тренировок" по-прежнему остается системной инженерной задачей, затрагивающей такие аспекты, как системная архитектура, коммуникационные протоколы, криптографическая безопасность, экономические механизмы, валидация моделей и т.д., но возможность "совместного эффекта + стимулирования честности + правильных результатов" все еще находится на стадии раннего прототипирования.

Федеративное обучение как переходная форма между распределенной и Децентрализация акцентирует внимание на местном хранении данных и централизованной агрегации параметров модели, подходит для сценариев, акцентирующих внимание на соблюдении конфиденциальности, таких как здравоохранение, финансы (. Федеративное обучение обладает инженерной структурой распределенного обучения и локальными кооперативными возможностями, одновременно имея преимущества распределенных данных при Децентрализация обучения, но все же зависит от доверенной координирующей стороны и не обладает полностью открытыми и антикритическими характеристиками. Это можно рассматривать как "контролируемую Децентрализация" в сценах соблюдения конфиденциальности, которая относительно мягка в задачах обучения, структурах доверия и механизмах связи, более подходящая в качестве переходной архитектуры для промышленности.

Децентрализация тренировки: границы, возможности и реальные пути

С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях из-за сложной структуры задач, высоких требований к ресурсам или трудностей сотрудничества, она естественно не подходит для эффективного выполнения между гетерогенными, доверительными узлами. Например, обучение больших моделей часто зависит от высокой памяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытой сети; задачи, связанные с конфиденциальностью данных и ограничениями суверенитета, ограничены юридическими нормативами и этическими ограничениями, что делает невозможным открытое共享; а задачи, у которых отсутствует основа для сотрудничества, не имеют внешнего стимула для участия. Эти границы составляют реальные ограничения текущего Децентрализация обучения.

Но это не означает, что децентрализованное обучение является ложным утверждением. На самом деле, в типах задач с легкой структурой, легкостью параллелизма и возможностью мотивации, децентрализованное обучение демонстрирует четкие перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи постобучения, такие как RLHF, DPO), задачи по сбору и аннотированию данных, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии кооперативного обучения с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связанностью и терпимостью к гетерогенной вычислительной мощности, что делает их очень подходящими для коллаборативного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и другие способы.

Децентрализация тренировки классических проектов

В настоящее время в области децентрализованного обучения и федеративного обучения представлены такие знаковые блокчейн-проекты, как Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили много оригинальных исследовательских решений в архитектуре систем и дизайне алгоритмов, представляя собой передовые направления теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, и уже можно увидеть первые шаги в инженерной реализации. В данной статье будут поочередно проанализированы основные технологии и инженерные архитектуры, стоящие за этими пятью проектами, а также будет дальше рассмотрено их различие и взаимодополняемость в децентрализованной системе обучения ИИ.

( Prime Intellect: Проверяемые траектории обучения в укрепляющих сетях сотрудничества

Prime Intellect стремится создать сеть обучения AI, которая не требует доверия, позволяя каждому участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется создать систему децентрализованного обучения AI с верифицируемостью, открытостью и полностью развитой системой стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.

)# 01、Структура протокола Prime Intellect и ценность ключевых модулей

![Святой Грааль Crypto AI: Передовые исследования децентрализованного обучения]###https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp###

(# 02、Подробное объяснение ключевых механизмов тренировки Prime Intellect

#PRIME-RL: Архитектура задач асинхронного усиленного обучения с декомпозицией

PRIME-RL является рамочной моделью задач и выполнения, разработанной Prime Intellect для децентрализованных обучающих сценариев, специально созданной для гетерогенных сетей и асинхронных участников. Она использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно разъединяя процессы обучения, вывода и загрузки весов, что позволяет каждому узлу обучения самостоятельно завершать цикл задач локально и сотрудничать с механизмами валидации и агрегирования через стандартизированные интерфейсы. В отличие от традиционного процесса обучения с учителем, PRIME-RL более подходит для реализации гибкого обучения в среде без центрального управления, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения множества задач и эволюции стратегий.

#TOPLOC:Легковесный механизм верификации поведения обучения

TOPLOC — это основная механика проверки обучаемости, предложенная Prime Intellect, используемая для определения, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от повторных вычислений всей модели, а вместо этого выполняет верификацию легковесной структуры, анализируя локальные согласованные траектории между "последовательностью наблюдений ↔ обновлением стратегии". Впервые он преобразует поведенческие траектории в процессе обучения в проверяемые объекты, что является ключевым нововведением для реализации распределения вознаграждений за обучение без доверия, предоставляя жизнеспособный путь для создания可审计、可激励的 Децентрализация协作训练网络.

#SHARDCAST: Асинхронная агрегация весов и протокол распространения

SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронным, ограниченным пропускным каналом и изменчивым состоянием узлов. Он сочетает механизмы распространения gossip и локальные стратегии синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в условиях несинхронизации, достигая прогрессивной сходимости весов и многоверсной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно улучшает масштабируемость и устойчивость к сбоям децентрализованного обучения, являясь основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.

#OpenDiLoCo:Разреженная асинхронная коммуникационная структура

OpenDiLoCo — это оптимизированный фреймворк для связи, разработанный командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind, и реализованный в открытом исходном коде. Он специально разработан для решения распространенных проблем, таких как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы в децентрализованном обучении. Его архитектура основана на параллельной обработке данных, с построением разреженных топологических структур, таких как Ring, Expander, Small-World, что позволяет избежать высоких затрат на глобальную синхронизацию, полагаясь только на соседние узлы для совместного обучения модели. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и краевым устройствам стабильно участвовать в учебных задачах, значительно улучшая доступность глобального кооперативного обучения и являясь одной из ключевых коммуникационных инфраструктур для построения децентрализованных обучающих сетей.

#PCCL:Библиотека совместной связи

PCCL — это легковесная библиотека связи, разработанная Prime Intellect для Децентрализация AI обучающей среды, направленная на решение проблем адаптации традиционных библиотек связи в условиях гетерогенных устройств и низкоскоростных сетей. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, являясь основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Она значительно повышает пропускную способность сети для обучения и совместимость устройств, открывая "последнюю милю" коммуникационной инфраструктуры для создания по-настоящему открытой, бездоверительной сети совместного обучения.

)# 03, Сеть стимулирования и ролевое подразделение Prime Intellect

Prime Intellect создал сеть обучения без разрешений, которую можно проверить и которая имеет экономические стимулы, позволяя любому участвовать в заданиях и получать награды на основе реального вклада. Протокол работает на основе трех основных ролей:

• Инициатор задачи: определение тренировочной среды, начальной модели, функции вознаграждения и стандартов валидации
• Узел обучения: выполнение локального обучения, отправка обновлений весов и наблюдаемых траекторий
• Узлы проверки: Использование механизма TOPLOC для проверки подлинности тренировочного поведения и участия в расчете вознаграждений и агрегации стратегий

Основные процессы протокола включают в себя публикацию задач, обучение узлов, проверку траекторий, агрегацию весов ###SHARDCAST### и распределение вознаграждений, формируя замкнутый цикл стимулов вокруг "реальных тренировочных действий".

(# 04, INTELLECT-2: Первый выпущенный可验证ный Децентрализация обучающий модель.

Prime Intellect выпустила INTELLECT-2 в мае 2025 года, это первая в мире большая модель глубокого обучения, обученная с помощью асинхронной, не требующей доверия Децентрализации узлов. Размер параметров составляет 32B. Модель INTELLECT-2 была завершена с помощью совместного обучения более 100 гетерогенных узлов GPU, расположенных на трех континентах, с использованием полностью асинхронной архитектуры, продолжительность обучения составила более 400 часов, продемонстрировав осуществимость и стабильность асинхронной кооперативной сети. Эта модель не только является прорывом в производительности, но и первой системной реализацией предложенной Prime Intellect парадигмы "обучение как консенсус". INTELLECT-2 интегрировала ключевые протокольные модули, такие как асинхронная структура обучения PRIME-RL), валидация поведения обучения TOPLOC### и асинхронная агрегация весов SHARDCAST(, что знаменует собой первую реализацию Децентрализованной сети обучения.