تطور نماذج تدريب الذكاء الاصطناعي: من السيطرة المركزية إلى الثورة التكنولوجية للتعاون اللامركزي

في سلسلة القيمة الكاملة للذكاء الاصطناعي، يعد تدريب النموذج المرحلة الأكثر استهلاكًا للموارد والأعلى في حواجز التقنية، حيث يحدد مباشرة الحد الأقصى لقدرات النموذج وفعالية تطبيقاته العملية. بالمقارنة مع استدعاءات المرحلة الاستدلالية الخفيفة، يتطلب عملية التدريب استثمارًا مستمرًا من القدرة الحاسوبية الكبيرة، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، مما يجعلها «الصناعة الثقيلة» الحقيقية لبناء أنظمة الذكاء الاصطناعي. من حيث نماذج المعمارية، يمكن تقسيم طرق التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، والتدريب اللامركزي الذي نركز عليه في هذه المقالة.

يعتبر التدريب المركز هو الطريقة التقليدية الأكثر شيوعًا، حيث يتم إكمال جميع عمليات التدريب بواسطة مؤسسة واحدة داخل مجموعة محلية عالية الأداء، مع تنسيق تشغيل جميع المكونات من الأجهزة، والبرامج الأساسية، ونظام جدولة المجموعة، إلى إطار التدريب بواسطة نظام تحكم موحد. إن هذه البنية التحتية المتكاملة تعزز من كفاءة مشاركة الذاكرة، وتزامن التدرجات، وآليات تحمل الأخطاء، مما يجعلها مثالية لتدريب النماذج الكبيرة مثل GPT وGemini، حيث تتمتع بميزات الكفاءة العالية والموارد القابلة للتحكم، ولكنها في نفس الوقت تعاني من مشاكل احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقاط الفردية.

التدريب الموزع هو الطريقة السائدة حاليًا في تدريب النماذج الكبيرة، حيث تتمثل فكرته الأساسية في تقسيم مهمة تدريب النموذج وتوزيعها على عدة آلات لتنفيذها بشكل متعاون، لتجاوز قيود حساب وتخزين الآلة الواحدة. على الرغم من أن لديها خصائص "موزعة" من الناحية الفيزيائية، إلا أنها لا تزال تحت سيطرة مركزية من حيث التحكم والتنسيق، وعادة ما تعمل في بيئات الشبكات المحلية عالية السرعة، من خلال تقنية NVLink لنقل البيانات بسرعة، حيث يقوم العقدة الرئيسية بتنسيق المهام الفرعية بشكل مركزي. تشمل الطرق الرئيسية ما يلي:

• التوازي البياني: كل عقدة تقوم بتدريب بيانات مختلفة ومشاركة المعلمات، مما يتطلب مطابقة أوزان النموذج.
• التوازي النموذجي: نشر أجزاء مختلفة من النموذج على عقد مختلفة لتحقيق قابلية التوسع العالية;
• تنفيذ متوازي: تنفيذ تسلسلي على مراحل، لزيادة معدل الإنتاج;
• التوازي الشدّي: تقسيم دقيق لحساب المصفوفة، مما يعزز درجة التوازي.

التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، مما يشبه توجيه نفس المدير عن بُعد لمجموعة من موظفي "المكاتب" للتعاون في إنجاز المهام. في الوقت الحالي، يتم تدريب جميع النماذج الكبيرة الرائجة تقريبًا بهذه الطريقة.

اللامركزية التدريب تمثل مسارًا مستقبليًا أكثر انفتاحًا ومقاومة للرقابة. تتمثل ميزتها الأساسية في: يمكن أن تكون عدة عقد غير موثوقة (، مثل أجهزة الكمبيوتر المنزلية، أو وحدات معالجة الرسوميات السحابية، أو أجهزة الحافة )، تعمل معًا لإكمال مهام التدريب دون وجود منسق مركزي، عادةً من خلال بروتوكولات تدفع توزيع المهام والتعاون، وتساعد آلية التحفيز المشفرة في ضمان نزاهة المساهمات. تشمل التحديات الرئيسية التي تواجه هذا النموذج:

• صعوبة التوافق بين الأجهزة المتنوعة وتقسيم المهام: صعوبة تنسيق الأجهزة المتنوعة، وكفاءة منخفضة في تقسيم المهام؛
• عنق الزجاجة في كفاءة الاتصال: الاتصال الشبكي غير مستقر, وظهور واضح لعنق الزجاجة في تزامن التدرجات;
• نقص التنفيذ الموثوق: نقص في بيئة التنفيذ الموثوق، مما يجعل من الصعب التحقق مما إذا كانت العقدة تشارك حقًا في الحساب؛
• نقص التنسيق الموحد: لا يوجد جهاز تحكم مركزي، توزيع المهام وآلية التراجع عن الاستثناءات معقدة.

يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين العالميين، كل منهم يساهم في قوة الحوسبة لتدريب النموذج بشكل متعاون، لكن "التدريب اللامركزي على نطاق واسع القابل للتطبيق حقًا" لا يزال يمثل تحديًا هندسيًا منهجيًا، يتضمن بنية النظام، بروتوكولات الاتصال، الأمن السيبراني، الآليات الاقتصادية، والتحقق من النموذج على عدة مستويات، لكن ما إذا كان "التعاون الفعال + تحفيز النزاهة + النتائج الصحيحة" لا يزال في مرحلة استكشاف النموذج الأولي المبكر.

التعلم الفيدرالي كشكل انتقالي بين التوزيع واللامركزية، يبرز أهمية الاحتفاظ بالبيانات محليًا، وتركيز تجميع معلمات النموذج، ويكون مناسبًا للمشاهد التي تركز على الامتثال للخصوصية ( مثل الرعاية الصحية والمالية ). يتمتع التعلم الفيدرالي بهيكل هندسي للتدريب الموزع وقدرة على التعاون المحلي، وفي الوقت نفسه يحمل مزايا توزيع البيانات للتدريب اللامركزي، ولكنه لا يزال يعتمد على جهة تنسيق موثوقة، ولا يتمتع بخصائص الفتح الكامل ومقاومة الرقابة. يمكن اعتباره نوعًا من "اللامركزية الخاضعة للرقابة" في سياقات الامتثال للخصوصية، حيث تكون مهام التدريب، وهياكل الثقة، وآليات الاتصال أكثر اعتدالًا، مما يجعله أكثر ملاءمة كهيكل نشر انتقالي في الصناعة.

نموذج تدريب الذكاء الاصطناعي مقارنة شاملة( الهيكل الفني × التحفيز الثقة × ميزات التطبيق)

اللامركزية تدريب الحدود، الفرص والطرق الواقعية

من حيث نمط التدريب، فإن التدريب اللامركزي لا يناسب جميع أنواع المهام. في بعض السيناريوهات، بسبب تعقيد هيكل المهمة، ومتطلبات الموارد العالية للغاية، أو صعوبة التعاون، فإنه ليس ملائماً بطبيعة الحال لإكماله بكفاءة بين نقاط غير موثوقة وذات هياكل متباينة. على سبيل المثال، يعتمد تدريب النماذج الكبيرة عادةً على ذاكرة وصول عشوائي عالية، وزمن استجابة منخفض، وعرض نطاق ترددي عالي، مما يجعل من الصعب تقسيمه ومزامنته بفعالية في شبكة مفتوحة؛ المهام التي تتطلب خصوصية البيانات وقيود السيادة القوية مثل الرعاية الصحية، والمالية، والبيانات السرية ( مقيدة بسبب الامتثال القانوني والقيود الأخلاقية، ولا يمكن مشاركتها بشكل مفتوح؛ في حين أن المهام التي تفتقر إلى حوافز التعاون مثل نماذج الشركات المغلقة أو تدريب النماذج الأولية الداخلية ) تفتقر إلى الدافع للمشاركة الخارجية. تشكل هذه الحدود معًا القيود الواقعية الحالية للتدريب اللامركزي.

لكن هذا لا يعني أن التدريب اللامركزي هو طرح زائف. في الواقع، يظهر التدريب اللامركزي آفاق تطبيق واضحة في أنواع المهام الهيكلية الخفيفة، السهلة التوازي، والمحفزة. بما في ذلك، على سبيل المثال لا الحصر: ضبط LoRA، مهام ما بعد التدريب مثل محاذاة السلوك ( مثل RLHF، DPO)، تدريب وتوسيم البيانات الجماعية، تدريب نماذج أساسية صغيرة يمكن التحكم فيها من حيث الموارد، والسيناريوهات التدريبية التعاونية بمشاركة الأجهزة الطرفية. تمتاز هذه المهام عمومًا بخصائص عالية التوازي، وانخفاض الترابط، وتحمل القدرة الحاسوبية غير المتجانسة، مما يجعلها مناسبة جدًا للتدريب التعاوني من خلال الشبكات P2P، وبروتوكول Swarm، والمُحسّنات الموزعة.

(# نظرة عامة على ملاءمة مهام التدريب اللامركزية

![AI تدريب نماذج التطور: من السيطرة المركزية إلى اللامركزية التعاونية في الثورة التقنية])https://img-cdn.gateio.im/webp-social/moments-3a83d085e7a7abfe72221958419cd6d8.webp###

( تحليل مشروع التدريب الكلاسيكي اللامركزي

حاليًا في مجال التدريب اللامركزي والتعلم الفيدرالي، تشمل المشاريع الرئيسية الممثلة في مجال البلوكشين Prime Intellect وPluralis.ai وGensyn وNous Research وFlock.io. من حيث الابتكار التكنولوجي وصعوبات التنفيذ الهندسي، قدمت Prime Intellect وNous Research وPluralis.ai العديد من الاستكشافات الأصلية في تصميم النظام والخوارزميات، وتمثل الاتجاهات الرائدة في الأبحاث النظرية الحالية؛ بينما تتميز Gensyn وFlock.io بمسارات تنفيذ واضحة نسبيًا، حيث يمكن رؤية تقدم هندسي أولي. ستقوم هذه المقالة بتحليل تقنيات المشروعين الرئيسيين والبنية الهندسية وراء هذه المشاريع، وستستكشف المزيد عن اختلافاتها وعلاقاتها التكميلية في نظام التدريب AI اللامركزي.

)# Prime Intellect: الرائد في الشبكات التعاونية للتعلم المعزز القابل للتحقق من مسارات التدريب

تسعى Prime Intellect إلى بناء شبكة تدريب AI لا تتطلب الثقة، مما يسمح لأي شخص بالمشاركة في التدريب، والحصول على مكافآت موثوقة مقابل مساهماته الحسابية. تأمل Prime Intellect من خلال ثلاثة وحدات هي PRIME-RL + TOPLOC + SHARDCAST، في إنشاء نظام تدريب AI اللامركزي الذي يتمتع بالتحقق، والانفتاح، وآلية التحفيز الكاملة.

أولاً، هيكل بروتوكول Prime Intellect وقيمة الوحدات الأساسية

![تطور أنماط تدريب الذكاء الاصطناعي: من السيطرة المركزية إلى الثورة التكنولوجية للتعاون اللامركزي]###https://img-cdn.gateio.im/webp-social/moments-45f26de57a53ac937af683e629dbb804.webp###

ثانياً، شرح آلية تدريب Prime Intellect الأساسية

PRIME-RL: هيكل مهمة التعلم المعزز غير المتزامن المفكك

PRIME-RL هو إطار نمذجة وتنفيذ المهام المصمم خصيصًا من قبل Prime Intellect لسيناريوهات التدريب اللامركزية، مصمم خصيصًا للشبكات المتغايرة والمشاركة غير المتزامنة. يعتمد على التعلم المعزز كهدف تكيفي أولي، حيث يفصل هيكليًا بين عمليات التدريب والاستدلال ورفع الأوزان، مما يسمح لكل عقدة تدريب بإكمال دورة المهمة بشكل مستقل محليًا، والتعاون من خلال واجهات معيارية وآليات التحقق والتجميع. بالمقارنة مع عمليات التعلم الخاضع للإشراف التقليدية، فإن PRIME-RL أكثر ملاءمة لتحقيق تدريب مرن في بيئات عدم وجود جدولة مركزية، مما يقلل من تعقيد النظام ويؤسس لدعم المهام المتعددة المتزامنة وتطور الاستراتيجيات.

TOPLOC: آلية تحقق سلوك التدريب خفيفة الوزن

TOPLOC(المراقبة الموثوقة & فحص الموقع) هو آلية أساسية للتحقق من التدريب اقترحها Prime Intellect، تُستخدم لتحديد ما إذا كان عقدة ما قد أكملت حقًا تعلم الاستراتيجية بفاعلية استنادًا إلى بيانات الملاحظة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب النموذج بالكامل، بل يتم التحقق من الهيكل الخفيف من خلال تحليل المسار المحلي للتناسق بين «سلسلة الملاحظات ↔ تحديث الاستراتيجية». لأول مرة، يتم تحويل المسار السلوكي أثناء عملية التدريب إلى كائنات قابلة للتحقق، وهي ابتكار رئيسي لتحقيق توزيع مكافآت التدريب بدون حاجة للثقة، مما يوفر مسارًا قابلًا للتطبيق لبناء شبكة تدريب تعاونية لامركزية قابلة للتدقيق والتحفيز.

SHARDCAST: بروتوكول تجميع ونشر الوزن غير المتزامن

SHARDCAST هو بروتوكول انتشار وتجمع الوزن المصمم من قبل Prime Intellect، والذي تم تحسينه خصيصًا للبيئات الشبكية الحقيقية غير المتزامنة، ذات قيود النطاق الترددي وتغير حالة العقد. يجمع بين آلية انتشار gossip واستراتيجيات التزامن المحلي، مما يسمح لعدة عقد بتقديم تحديثات جزئية بشكل مستمر في حالة عدم التزامن، مما يحقق التقارب التدريجي للوزن وتطورات متعددة النسخ. مقارنةً بأساليب AllReduce المركزية أو المتزامنة، فإن SHARDCAST يعزز بشكل ملحوظ قابلية التوسع والقدرة على تحمل الأخطاء في التدريب اللامركزي، مما يجعله الأساس المركزي لبناء توافق الوزن المستقر والتدريب المستمر والتكرار.

OpenDiLoCo: إطار الاتصال غير المتزامن المتناثر

OpenDiLoCo هو إطار تحسين الاتصالات الذي أنشأه فريق Prime Intellect بناءً على مفهوم DiLoCo الذي اقترحته DeepMind، وهو مفتوح المصدر ومستقل. تم تصميمه خصيصًا للتحديات الشائعة في التدريب اللامركزي مثل قيود عرض النطاق الترددي، وتنوع الأجهزة، وعدم استقرار العقد. هيكله يعتمد على البيانات المتوازية، من خلال بناء هياكل تخطيط نادرة مثل Ring وExpander وSmall-World، مما يتجنب النفقات العامة العالية للتزامن العالمي، ويعتمد فقط على جيران العقد المحلية لإكمال تدريب النموذج التعاوني. من خلال دمج التحديثات غير المتزامنة وآلية تحمل الانقطاع، يسمح OpenDiLoCo لوحدات معالجة الرسومات الاستهلاكية والأجهزة الطرفية بالمشاركة بشكل مستقر في مهام التدريب، مما يعزز بشكل ملحوظ إمكانية المشاركة في التدريب التعاوني العالمي، وهو أحد البنى التحتية الأساسية للاتصالات لبناء شبكة تدريب لامركزية.

PCCL: مكتبة الاتصالات التعاونية

PCCL(Prime Collective Communication Library) هو مكتبة اتصالات خفيفة الوزن تم تصميمها خصيصًا من قبل Prime Intellect لبيئة تدريب الذكاء الاصطناعي اللامركزية، تهدف إلى حل اختناقات التكيف في مكتبات الاتصالات التقليدية ( مثل NCCL و Gloo) في الأجهزة المتغايرة والشبكات منخفضة النطاق. تدعم PCCL الطوبولوجيا النادرة، وضغط التدرجات، والتزامن منخفض الدقة واستعادة النقاط، ويمكن تشغيلها على وحدات معالجة الرسوميات الاستهلاكية والعقد غير المستقرة، وهي مكون أساسي لدعم قدرة الاتصال غير المتزامن لبروتوكول OpenDiLoCo. لقد عززت بشكل ملحوظ من تحمل عرض النطاق الترددي لشبكات التدريب وتوافق الأجهزة، مما يمهد الطريق لبناء شبكة تدريب تعاونية حقيقية مفتوحة وغير موثوقة من خلال "آخر كيلومتر" من البنية التحتية للاتصالات.

ثالثًا، شبكة Prime Intellect والحوافز وتوزيع الأدوار

بنى Prime Intellect شبكة تدريب قابلة للتحقق ولا تحتاج إلى إذن، مزودة بآلية حوافز اقتصادية، مما يمكّن أي شخص من المشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعمل البروتوكول استنادًا إلى ثلاثة أنواع من الأدوار الأساسية:

• مُطلِق المهمة: تعريف بيئة التدريب، النموذج الأولي، دالة المكافأة ومعايير التحقق
• عقد التدريب: تنفيذ التدريب المحلي، تقديم تحديثات الوزن ومسارات الملاحظة
• عقد التحقق: استخدام آلية TOPLOC للتحقق من صحة سلوك التدريب والمشاركة في حساب المكافآت وتجميع الاستراتيجيات

تشمل العملية الأساسية للبروتوكول نشر المهام، تدريب العقد، التحقق من المسارات، تجميع الأوزان (SHARDCAST) وتوزيع المكافآت، مما يشكل حلقة تحفيزية تدور حول «سلوك التدريب الحقيقي».

![تطور نماذج تدريب الذكاء الاصطناعي: من التحكم المركزي إلى الثورة التقنية في التعاون اللامركزي](