Священный Грааль Crypto AI: передовые исследования децентрализованного обучения

В полной цепочке создания стоимости ИИ обучение моделей является этапом с наибольшим расходом ресурсов и высшей технической сложностью, который напрямую определяет пределы возможностей модели и фактическую эффективность применения. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует непрерывных инвестиций в масштабируемые вычислительные мощности, сложные процессы обработки данных и поддержку интенсивных алгоритмов оптимизации, что делает его настоящей "тяжелой промышленностью" в построении систем ИИ. С точки зрения архитектурных парадигм, методы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое обсуждается в данной статье.

Централизованное обучение является наиболее распространённым традиционным методом, осуществляемым единственным учреждением в локальном высокопроизводительном кластере, где весь процесс обучения завершается от аппаратного обеспечения, нижнего программного обеспечения, системы управления кластером до всех компонентов обучающего фреймворка, которые координируются единой системой управления. Эта глубоко согласованная архитектура обеспечивает оптимальную эффективность при совместном использовании памяти, синхронизации градиентов и механизмах отказоустойчивости, что делает её очень подходящей для обучения крупных моделей, таких как GPT и Gemini, обладая преимуществами высокой эффективности и контролируемых ресурсов, но одновременно имеет проблемы, такие как монополия на данные, барьеры для ресурсов, потребление энергии и риски единой точки отказа.

Распределенное обучение является основным способом обучения крупных моделей в настоящее время. Его суть заключается в разбиении задачи обучения модели и распределении её между несколькими машинами для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Несмотря на то, что физически он обладает "распределенными" характеристиками, в целом он по-прежнему контролируется и координируется централизованной организацией, часто работает в среде высокоскоростной локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink, где главный узел координирует выполнение подзадач. Основные методы включают:

• Параллельные данные: каждый узел обучает различные данные, параметры общие, необходимо сопоставить веса модели
• Параллельное моделирование: развертывание различных частей модели на разных узлах для достижения высокой масштабируемости
• Параллельные каналы: поэтапное последовательное выполнение, повышение пропускной способности
• Тензорное параллелизм: тонкая сегментация матричных вычислений, повышение степени параллелизма

Распределенное обучение представляет собой комбинацию "централизованного контроля + распределенного исполнения", что можно сравнить с тем, как один и тот же начальник удаленно управляет несколькими "офисами", чтобы сотрудники совместно выполняли задачи. В настоящее время почти все основные модели обучаются именно таким образом.

Децентрализация тренировки представляет собой более открытый и устойчивый к цензуре путь в будущее. Его ключевая особенность заключается в том, что несколько недоверяющих друг другу узлов ( могут быть домашними компьютерами, облачными GPU или краевыми устройствами ), которые совместно выполняют задачи тренировки без центрального координатора, обычно с помощью протоколов для распределения задач и сотрудничества, а также с использованием механизмов криптостимулирования для обеспечения честности вкладов. Основные вызовы, с которыми сталкивается эта модель, включают:

• Гетерогенность устройств и сложность разбиения: высокая сложность координации гетерогенных устройств, низкая эффективность разбиения задач
• П瓶颈 эффективности связи: нестабильная сетевое соединение, очевидный瓶颈 синхронизации градиентов
• Отсутствие доверяемого выполнения: недостаток доверяемой среды выполнения, трудно проверить, действительно ли узлы участвуют в вычислениях.
• Недостаток единой координации: нет центрального диспетчера, распределение задач и механизмы отката сложные

Децентрализация обучения может быть понята как: группа глобальных волонтеров, каждый из которых вносит вычислительную мощность для совместного обучения модели, но "действительно жизнеспособное масштабное децентрализованное обучение" все еще является системной инженерной задачей, затрагивающей несколько аспектов, таких как системная архитектура, коммуникационные протоколы, криптографическая безопасность, экономические механизмы, проверка моделей и т.д., но вопрос о том, может ли это быть "совместно эффективно + стимулирование честности + корректность результатов", все еще находится на ранней стадии прототипирования.

Федеративное обучение, как переходная форма между распределенными и Децентрализация, подчеркивает локальное хранение данных и централизованную агрегацию параметров модели, что подходит для сценариев, требующих соблюдения конфиденциальности, таких как здравоохранение, финансы (. Федеративное обучение обладает инженерной структурой распределенного обучения и локальными кооперативными возможностями, одновременно обладая преимуществами распределенных данных в Децентрализация, но по-прежнему зависит от доверенной координирующей стороны и не обладает полностью открытыми и антикоррупционными характеристиками. Это можно рассматривать как "контролируемую Децентрализация" в сценариях соблюдения конфиденциальности, которая относительно умеренная в задачах обучения, структурах доверия и механизмах связи, более подходящая в качестве переходной архитектуры развертывания для промышленности.

![Святой Грааль Crypto AI: передовые исследования децентрализации обучения])https://img-cdn.gateio.im/webp-social/moments-a8004f094fff74515470052b3a24617c.webp(

Децентрализация тренировки: границы, возможности и реальные пути

С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, высоких требований к ресурсам или значительных трудностей в сотрудничестве, она естественно не подходит для эффективного выполнения на гетерогенных, доверительных узлах. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разбиение и синхронизацию в открытых сетях; задачи с сильными ограничениями на конфиденциальность данных и суверенитет ограничены законодательными и этическими нормами и не могут быть открыто поделены; а задачи, не имеющие оснований для сотрудничества, лишены внешнего мотива для участия. Эти границы вместе составляют реальные ограничения текущей Децентрализации обучения.

Но это не означает, что Децентрализация тренировки является ложным утверждением. На самом деле, в задачах с легкой структурой, высокой параллельностью и возможностью стимулирования, Децентрализация тренировки демонстрирует четкие перспективы применения. Включая, но не ограничиваясь: дообучение LoRA, задачи постобучения, такие как RLHF, DPO), задачи по обучению и аннотированию данных с краудсорсингом, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии кооперативного обучения с участием устройств на краю. Эти задачи обычно обладают высокой параллельностью, низкой связностью и толерантностью к гетерогенной вычислительной мощности, что делает их очень подходящими для совместного обучения через P2P сети, протокол Swarm, распределенные оптимизаторы и другие методы.

Децентрализация тренировки классических проектов

В настоящее время в области децентрализованного обучения и федеративного обучения среди представительных блокчейн-проектов можно выделить такие как Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технологических инноваций и сложности инженерной реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и проектирования алгоритмов, представляя собой передовые направления современной теоретической науки; в то время как пути реализации Gensyn и Flock.io относительно ясны, и уже можно увидеть первоначальные инженерные достижения. В данной статье последовательно будут проанализированы ключевые технологии и инженерные архитектуры этих пяти проектов, а также дополнительно исследовано их различие и взаимодополнение в рамках децентрализованной системы AI-обучения.

( Prime Intellect: Обучающие траектории с возможностью верификации, пионеры кооперативных сетей усиленного обучения

Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, позволяя каждому участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется создать систему децентрализованного обучения ИИ с полной проверяемостью, открытостью и механизмом стимулов через три основных модуля: PRIME-RL, TOPLOC и SHARDCAST.

)# 01, Структура протокола Prime Intellect и ценность ключевых модулей

![Крипто ИИ Святой Грааль: Децентрализация обучения на переднем крае]###https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp###

(# 02、Подробное объяснение ключевых механизмов тренировки Prime Intellect

PRIME-RL: Архитектура задач асинхронного усиленного обучения с декомпозицией

PRIME-RL является рамочной моделью задач и выполнения, разработанной Prime Intellect для децентрализованных тренировочных сценариев, специально созданной для гетерогенных сетей и асинхронного участия. Она использует усиленное обучение в качестве приоритетного объекта адаптации, структурно разъединяя процессы обучения, вывода и загрузки весов, что позволяет каждому узлу обучения независимо завершать циклы задач на локальном уровне и сотрудничать через стандартизированные интерфейсы с механизмами проверки и агрегации. В отличие от традиционных процессов контролируемого обучения, PRIME-RL более подходит для реализации гибкого обучения в средах без централизованного управления, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения нескольких задач и эволюции стратегий.

TOPLOC: Легковесный механизм проверки поведения обучения

TOPLOC — это механизм проверки обучаемости, предложенный Prime Intellect, предназначенный для определения того, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от повторного вычисления полной модели, а завершает верификацию легковесной структуры, анализируя локальные согласованные траектории между "наблюдательной последовательностью ↔ обновлением стратегии". Он впервые преобразует поведенческие траектории в процессе обучения в проверяемые объекты, что является ключевым нововведением для реализации распределения вознаграждений за обучение без доверия, предоставляя жизнеспособный путь для построения可审计,可激励的 Децентрализация сотрудничества в обучении.

SHARDCAST: Асинхронный протокол агрегирования и распространения весов

SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронной работой, ограниченной пропускной способностью и изменчивым состоянием узлов. Он сочетает в себе механизм распространения gossip и локальную синхронизацию, позволяя нескольким узлам непрерывно отправлять частичные обновления в условиях асинхронности, достигая прогрессивной сходимости весов и многовариантной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно улучшает масштабируемость и устойчивость децентрализованного обучения, являясь основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.

OpenDiLoCo:Разреженная асинхронная коммуникационная структура

OpenDiLoCo — это оптимизированная для связи платформа, независимо реализованная и открытая командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Она специально разработана для решения распространенных проблем, таких как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы в рамках Децентрализации. Ее архитектура основана на параллельной обработке данных: через создание разреженных топологий, таких как Ring, Expander и Small-World, она избегает высоких затрат на связь при глобальной синхронизации и позволяет завершить совместное обучение модели, полагаясь только на локальных соседей. В сочетании с асинхронными обновлениями и механизмом восстановления после сбоев OpenDiLoCo позволяет также стабильное участие в задачах обучения с использованием потребительских GPU и периферийных устройств, значительно повышая доступность глобального совместного обучения и становясь одной из ключевых коммуникационных инфраструктур для построения децентрализованной сети обучения.

PCCL: Библиотека координационной связи

PCCL — это легковесная библиотека связи, разработанная Prime Intellect для децентрализованной среды обучения ИИ, призванная решить проблемы совместимости традиционных библиотек связи в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, являясь базовым компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Она значительно повышает устойчивость сети к пропускной способности и совместимость устройств, прокладывая "последнюю милю" коммуникационной основы для создания действительно открытой, не требующей доверия сети совместного обучения.

![Крипто ИИ: Децентрализация обучения на переднем крае исследований])https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp###

(# 03, Сеть стимулирования и ролевое подразделение Prime Intellect

Prime Intellect создал тренировочную сеть без разрешений, с возможностью верификации и экономическими стимулами, позволяя любому участвовать в задачах и получать вознаграждения на основе реального вклада. Протокол функционирует на основе трех основных ролей:

• Инициатор задачи: определяет тренировочную среду, начальную модель, функцию вознаграждения и критерии валидации
• Учебный узел: выполнение локального обучения, отправка обновлений весов и наблюдательных траекторий
• Узлы верификации: Использование механизма TOPLOC для проверки подлинности поведения обучения и участия в расчете вознаграждений и агрегации стратегий.

Основные процессы протокола включают в себя публикацию задач, обучение узлов, верификацию траекторий, агрегацию весов )SHARDCAST### и распределение вознаграждений, образуя замкнутый цикл стимулов вокруг "реального тренировочного поведения".

(# 04、INTELLECT-2:Первый проверяемый Децентрализация обучающий модель.

Prime Intellect запустила INTELLECT-2 в мае 2025 года, это первая в мире большая модель обучения с подкреплением, обученная с помощью асинхронных, не требующих доверия Децентрализация узлов. Параметрическая размерность составляет 32B. Модель INTELLECT-2 была обучена с помощью более чем 100 гетерогенных узлов GPU, расположенных на трех континентах, с использованием полностью асинхронной архитектуры, продолжительность обучения