الآفاق المشجعة لسوق القوة الحوسبة اللامركزية (الجزء 1)

متقدم1/4/2024, 6:39:54 PM
يستكشف هذا المقال الإمكانيات والتحديات التي تواجه سوق القوة الحوسبة المفcentralized، مسلطاً الضوء على الصعوبات التي تواجهها ومقدماً مشروعين نموذجيين - Gensyn و Together.AI.

مقدمة

منذ ولادة GPT-3 ، بشرت الذكاء الاصطناعي التوليدية بنقطة تحول متفجرة في مجال الذكاء الاصطناعي بأدائها المذهل وسيناريوهات التطبيق الواسعة. وقد أدى ذلك إلى تدفق عمالقة التكنولوجيا إلى المسار الذكاء الاصطناعي. ومع ذلك ، فقد جلبت هذه الزيادة معها العديد من المشاكل. تتطلب عمليات التدريب والاستدلال لنماذج اللغة الكبيرة (LLMs) الكثير من قوة الحوسبة. مع الترقية التكرارية لهذه النماذج ، يتزايد الطلب والتكلفة على قوة الحوسبة بشكل كبير. إذا أخذنا GPT-2 و GPT-3 كأمثلة ، فإن الفرق في عدد المعلمات بين GPT-2 و GPT-3 هو 1166 مرة (يحتوي GPT-2 على 150 مليون معلمة بينما يحتوي GPT-3 على 175 مليار). تم حساب تكلفة جلسة تدريبية واحدة من GPT-3 بناء على نماذج تسعير سحابة GPU العامة في ذلك الوقت ، والتي تصل إلى 12 مليون دولار. كان هذا 200 مرة من GPT-2. في الاستخدام العملي ، يتطلب كل استعلام مستخدم حساب الاستدلال. استنادا إلى 13 مليون مستخدم مستقل في بداية هذا العام ، سيكون الطلب المقابل على الرقائق أكثر من 30،000 وحدة معالجة رسومات A100. ستكون تكلفة الاستثمار الأولية بعد ذلك مذهلة 800 مليون دولار ، مع تكلفة استدلال يومية تقديرية تبلغ 700000 دولار.

كثرة الطلب على القوة الحاسوبية وارتفاع التكاليف أصبحت تحديات خطيرة تواجه صناعة الذكاء الاصطناعي بأكملها. ومن الواضح أن مشكلة مماثلة تواجه صناعة البلوكتشين. من ناحية، فإن تقليص البتكوين للمرة الرابعة وموافقة صناديق الاستثمار المتداولة قريبة. مع ارتفاع أسعار المستقبل، سيزداد طلب المنقبين على الأجهزة الحاسوبية بشكل لا مفر منه. ومن ناحية أخرى، تكنولوجيا البرهان الصفري (ZKP) في ازدهار، وأكد فيتاليك مرارًا وتكرارًا أن تأثير ZK على مجال البلوكتشين في السنوات العشر القادمة سيكون مهمًا مثل البلوكتشين نفسه. بينما تعد هذه التكنولوجيا واعدة لمستقبل صناعة البلوكتشين، فإن ZK تستهلك أيضًا الكثير من القوة الحاسوبية والوقت في إنشاء البراهين نتيجة لعملية الحساب المعقدة الخاصة بها، تمامًا مثل الذكاء الاصطناعي.

في المستقبل القريب، سيصبح نقص قوة الحوسبة لا مفر منه. إذا، هل سيكون سوق قوة الحوسبة اللامركزية مشروع تجاري مربح؟

تعريف سوق القوة الحوسبة المركزية

سوق طاقة الحوسبة اللامركزية يعادل في الواقع مسار الحوسبة السحابية اللامركزية ، لكنني شخصيا أعتقد أن هذا المصطلح أكثر ملاءمة لوصف المشاريع الجديدة التي ستتم مناقشتها لاحقا. يجب اعتبار سوق طاقة الحوسبة اللامركزية مجموعة فرعية من DePIN (شبكات البنية التحتية المادية اللامركزية) ، والتي تهدف إلى إنشاء سوق طاقة حوسبة مفتوحة ، حيث يمكن لأي شخص لديه موارد طاقة حوسبة خاملة تقديم موارده بتحفيز من خلال الرموز المميزة ، والتي تخدم بشكل أساسي عملاء B2B ومجتمعات المطورين. فيما يتعلق بالمشاريع الأكثر دراية ، فإن شبكات مثل Render Network ، التي تعتمد على حلول عرض GPU اللامركزية ، وشبكة Akash ، وهي سوق موزعة من نظير إلى نظير للحوسبة السحابية ، كلاهما ينتمي إلى هذا المسار.

سيبدأ النص التالي بالمفاهيم الأساسية ثم يناقش ثلاثة أسواق ناشئة تحت هذا المسار: سوق قوة الحوسبة AGI، وسوق قوة الحوسبة Bitcoin، وسوق قوة الحوسبة AGI في سوق تسريع الأجهزة ZK. سيتم مناقشة الأخيرين في "آفاق مسار واعد: سوق الحوسبة اللامركزية (الجزء 2)".

نظرة عامة على قوة الحوسبة

يمكن تتبع مفهوم قوة الحوسبة إلى اختراع الكمبيوتر. استخدم الكمبيوتر الأصلي أجهزة ميكانيكية لإكمال المهام الحسابية، وكانت قوة الحوسبة تشير إلى القدرة الحسابية للجهاز الميكانيكي. مع تطور تكنولوجيا الكمبيوتر، تطور أيضاً مفهوم قوة الحوسبة. يشير مفهوم قوة الحوسبة الحالي عادةً إلى العمل التعاوني لأجهزة الكمبيوتر (وحدات المعالجة المركزية، وحدات معالجة الرسومات، مجالات البرمجة القابلة للبرمجة، إلخ) والبرمجيات (أنظمة التشغيل، المترجمات، التطبيقات، إلخ).

تعريف

قوة الحوسبة تشير إلى كمية البيانات التي يمكن لجهاز كمبيوتر أو جهاز حوسبة آخر معالجتها خلال فترة زمنية معينة أو عدد المهام الحوسبية التي يمكنها إكمالها. يُستخدم عادة قوة الحوسبة لوصف أداء جهاز الكمبيوتر أو أجهزة الحوسبة الأخرى. إنها مقياس مهم لقدرات معالجة جهاز الحوسبة.

مقاييس

يمكن قياس قوة الحوسبة بطرق مختلفة، مثل سرعة الحوسبة، استهلاك الطاقة، دقة الحوسبة، والتوازي. في مجال الحوسبة، تشمل مقاييس قوة الحوسبة المستخدمة بشكل شائع FLOPS (العمليات العائمة في الثانية)، IPS (التعليمات في الثانية)، TPS (المعاملات في الثانية)، إلخ.

تقيس FLOPS قدرة الكمبيوتر على معالجة عمليات النقطة العائمة (العمليات الرياضية التي تتضمن نقاط عشرية وتتطلب النظر في مسائل الدقة وأخطاء التقريب). إنها تقيس عدد عمليات النقطة العائمة التي يمكن للكمبيوتر إكمالها في الثانية. FLOPS هو مقياس لقدرات الحوسبة عالية الأداء للكمبيوتر ويُستخدم عادة لقياس قدرات الحوسبة للحواسيب الضخمة الحجم والخوادم ذات الأداء العالي ووحدات معالجة الرسومات (GPUs) وما إلى ذلك. على سبيل المثال، إذا كان لديك نظام كمبيوتر يحتوي على 1 تيرافلوبس (تريليون عملية نقطة عائمة في الثانية)، فإن ذلك يعني أنه يمكنه إكمال تريليون عملية نقطة عائمة في الثانية.

تقيس IPS سرعة معالجة الكمبيوتر للتعليمات. إنها مقياس لعدد التعليمات التي يمكن للكمبيوتر تنفيذها في الثانية وهو مقياس لأداء التعليم الفردي للكمبيوتر، يُستخدم عادة لقياس أداء وحدة المعالجة المركزية (CPU). على سبيل المثال، يعني وحدة معالجة مركزية بـ IPS قدرها 3 غيغاهرتز (3 مليار تعليمة في الثانية) أنها يمكنها تنفيذ 3 مليار تعليمة في الثانية.

تقيس TPS قدرة الكمبيوتر على معالجة المعاملات. إنها تقيس كم عدد المعاملات التي يمكن لجهاز الكمبيوتر إكمالها في الثانية الواحدة، وعادة ما تُستخدم لقياس أداء خادم قواعد البيانات. على سبيل المثال، يحتوي خادم قاعدة بيانات على TPS يبلغ 1،000، مما يعني أنه يمكنه معالجة 1،000 معاملة قاعدة بيانات في الثانية الواحدة.

بالإضافة إلى ذلك، هناك بعض مقاييس قوة الحوسبة لسيناريوهات تطبيق محددة، مثل سرعة الاستنتاج، سرعة معالجة الصور، ودقة التعرف على الصوت.

نوع من قوة الحساب

تشير قوة الحوسبة لوحدة معالجة الرسومات (GPUs) إلى القدرة الحسابية لوحدات معالجة الرسومات. على عكس وحدات المعالجة المركزية (CPUs)، تم تصميم وحدات معالجة الرسومات بشكل خاص لمعالجة البيانات الرسومية مثل الصور ومقاطع الفيديو. لديها عدد كبير من وحدات المعالجة وقدرات حوسبة موازية فعالة، ويمكنها أداء عدد كبير من العمليات العائمة النقطية بشكل متزامن. نظرًا لأن وحدات معالجة الرسومات تم تصميمها أصلاً لمعالجة الرسومات في الألعاب، فإنها عادة ما تكون لديها سرعات ساعة أعلى وعرض نطاق ذاكرة أكبر من وحدات المعالجة المركزية لدعم الحسابات الرسومية المعقدة.

الفرق بين وحدات المعالجة المركزية (CPUs) ووحدات المعالجة الرسومية (GPUs)

الهندسة المعمارية: تتمتع وحدات المعالجة المركزية (CPUs) ووحدات المعالجة الرسومية (GPUs) بهندسة حوسبة مختلفة. تحتوي وحدات المعالجة المركزية عادةً على نواة واحدة أو أكثر، حيث يكون كل منها معالج عام قادر على أداء مجموعة متنوعة من العمليات المختلفة. أما وحدات المعالجة الرسومية، فتحتوي على عدد كبير من معالجات التدفق ومعالجات الظلال، والتي تستخدم بشكل خاص لتنفيذ الحسابات المتعلقة بمعالجة الصور؛

الحوسبة المتوازية: تمتلك وحدات معالجة الرسوميات عادة قدرات أعلى في الحوسبة المتوازية. يحتوي معالج الوحدة المركزية على عدد محدود من النوى، ويمكن لكل نواة تنفيذ تعليمة واحدة فقط، ولكن يمكن لوحدة معالجة الرسوميات أن تحتوي على آلاف من معالجات السلسلة التي يمكنها تنفيذ تعليمات وعمليات متعددة بشكل متزامن. لذلك، عمومًا، تكون وحدات معالجة الرسوميات أفضل من وحدات معالجة الوحدة المركزية في أداء المهام المتوازية، مثل تعلم الآلة والتعلم العميق، التي تتطلب حسابات موازية مكثفة؛

تصميم البرمجيات: تعتبر برمجة الوحدات المعالجة الرسومية أكثر تعقيدًا نسبيًا مقارنة بالوحدات المعالجة المركزية. إنها تتطلب استخدام لغات برمجة محددة (مثل CUDA أو OpenCL) وتقنيات برمجية محددة لاستغلال قدرات الحوسبة الموازية للوحدات المعالجة الرسومية. على النقيض من ذلك، فإن برمجة وحدات المعالجة المركزية أبسط ويمكن استخدام لغات برمجة عامة وأدوات.

أهمية قوة الحوسبة

في عصر الثورة الصناعية ، كان النفط شريان الحياة للعالم وتغلغل في كل صناعة. في عصر الذكاء الاصطناعي القادم ، ستكون قوة الحوسبة هي "النفط الرقمي" للعالم. من سعي الشركات الكبرى المحموم للحصول على رقائق الذكاء الاصطناعي وأسهم Nvidia التي تتجاوز تريليون دولار ، إلى الحصار الذي فرضته الولايات المتحدة مؤخرا على الرقائق المتطورة من الصين ، بما في ذلك سعة طاقة الحوسبة ، وحجم الشريحة ، وحتى خطط حظر سحابة GPU ، فإن أهمية قوة الحوسبة أمر بديهي. ستكون قوة الحوسبة سلعة في العصر القادم.

نظرة عامة على الذكاء الاصطناعي العام

الذكاء الاصطناعي (AI) هو علم فني جديد يدرس ويطور ويطبق النظريات والأساليب والتكنولوجيا لمحاكاة وتوسيع وتوسيع الذكاء البشري. بدأ في الخمسينيات والستينيات و، بعد تطور يزيد عن نصف قرن، شهد تطورات متشابكة من خلال ثلاث موجات: الرمزية والاتصالية والمقاربات القائمة على العميل. اليوم، كتقنية عامة ناشئة، يقود الذكاء الاصطناعي تغيرات عميقة في الحياة الاجتماعية وفي جميع الصناعات. تعريف أكثر تحديدًا للذكاء الاصطناعي الانشائي حاليًا هو: الذكاء الاصطناعي العام (AGI)، نظام ذكاء اصطناعي بمجموعة واسعة من قدرات الفهم التي يمكن أن يؤدي المهام ويعمل في مجالات مختلفة بذكاء مماثل أو يتجاوز مستويات البشر. يتطلب AGI في الأساس ثلاثة عناصر، التعلم العميق (DL)، البيانات الكبيرة، وقوة الحوسبة الكبيرة.

التعلم العميق

التعلم العميق هو إحدى مجالات التعلم الآلي (ML)، وخوارزميات التعلم العميق هي شبكات عصبية مستوحاة من الدماغ البشري. على سبيل المثال، يحتوي الدماغ البشري على ملايين من الخلايا العصبية المتصلة التي تعمل معًا لتعلم ومعالجة المعلومات. وبالمثل، تتكون الشبكات العصبية في التعلم العميق (أو الشبكات العصبية الصناعية) من طبقات متعددة من الخلايا العصبية الاصطناعية تعمل معًا داخل الكمبيوتر. تستخدم هذه الخلايا العصبية الاصطناعية، المعروفة باسم العقد، الحسابات الرياضية لمعالجة البيانات. خوارزميات التعلم العميق هي خوارزميات تعلم تستخدم هذه العقد لحل المشاكل المعقدة.

يمكن تقسيم الشبكات العصبية إلى الطبقة العليا، الطبقات الخفية والطبقة الناتجة. والاتصالات بين هذه الطبقات المختلفة تتكون من معلمات.

الطبقة الإدخال: الطبقة الإدخال هي الطبقة الأولى في الشبكة العصبية وتتولى استقبال البيانات الخارجية المدخلة. يتوافق كل عقدة في الطبقة الإدخال مع سمة من البيانات المدخلة. على سبيل المثال، في معالجة الصور، قد تتوافق كل عقدة مع قيمة بكسل في الصورة.

الطبقات المخفية: تقوم طبقة الإدخال بمعالجة البيانات وتمريرها إلى طبقات أعمق داخل الشبكة. تعالج هذه الطبقات المخفية المعلومات على مستويات مختلفة ، وتعدل سلوكها عند تلقي معلومات جديدة. يمكن أن تحتوي شبكات التعلم العميق على مئات الطبقات المخفية ، مما يسمح لها بتحليل المشكلات من وجهات نظر مختلفة متعددة. على سبيل المثال ، إذا تم إعطاؤك صورة لحيوان غير معروف تحتاج إلى تصنيفه ، فيمكنك مقارنته بالحيوانات التي تعرفها بالفعل. على سبيل المثال ، يمكنك معرفة نوع من خلال شكل أذنيه وعدد الأرجل وحجم تلاميذه. تعمل الطبقات المخفية في الشبكات العصبية العميقة بطريقة مماثلة. إذا كانت خوارزمية التعلم العميق تحاول تصنيف صورة لحيوان ، فستقوم كل طبقة مخفية بمعالجة ميزات مختلفة للحيوانات ومحاولة تصنيفها بدقة.

الطبقة الناتجة: الطبقة الناتجة هي الطبقة الأخيرة في الشبكة العصبية وتكون مسؤولة عن توليد الناتج للشبكة. كل خلية عصبية في الطبقة الناتجة تمثل فئة أو قيمة ناتجة محتملة. على سبيل المثال، في مشكلة التصنيف، قد تتوافق كل خلية عصبية في الطبقة الناتجة مع فئة، بينما في مشكلة الانحدار، قد تحتوي الطبقة الناتجة على خلية عصبية واحدة فقط يمثل قيمتها الناتج المتوقع؛

المعلمات: في الشبكات العصبية، يتم تمثيل الاتصالات بين الطبقات المختلفة بواسطة الأوزان والانحيازات، التي يتم تحسينها خلال عملية التدريب لتمكين الشبكة من تحديد الأنماط بدقة في البيانات وإجراء توقعات. يمكن أن يؤدي زيادة المعلمات إلى تحسين سعة النموذج في الشبكة العصبية، أي قدرة النموذج على تعلم وتمثيل الأنماط المعقدة في البيانات. ولكن بالمقابل، ستزيد الزيادة المقابلة في المعلمات من الطلب على قوة الحوسبة.

بيانات ضخمة

من أجل أن تكون مدربة بشكل فعال، تحتاج الشبكات العصبونية عادة إلى بيانات كبيرة ومتنوعة وعالية الجودة من مصادر متعددة. تعتبر هذه البيانات أساس تدريب وتحقق نموذج التعلم الآلي. من خلال تحليل البيانات الكبيرة، يمكن لنماذج التعلم الآلي أن تتعلم الأنماط والعلاقات داخل البيانات، مما يتيح لها أن تقوم بالتنبؤ أو التصنيف.

قوة الحوسبة الضخمة

ينشأ الطلب على قوة الحوسبة الكبيرة من عدة جوانب للشبكات العصبية: الهياكل المعقدة متعددة الطبقات ، وعدد كبير من المعلمات ، والحاجة إلى معالجة كميات هائلة من البيانات ، وطرق التدريب التكرارية (خلال مرحلة التدريب ، يجب أن يتكرر النموذج بشكل متكرر ، وإجراء حسابات الانتشار الأمامي والخلفي لكل طبقة ، بما في ذلك حسابات وظائف التنشيط ، وظائف الخسارة والتدرجات وتحديثات الوزن) ، و NEND للحسابات عالية الدقة ، وقدرات الحوسبة المتوازية ، وتقنيات التحسين والتنظيم ، وعمليات تقييم النموذج والتحقق منه. مع تقدم التعلم العميق ، تزداد متطلبات قوة الحوسبة الهائلة ل AGI بنحو 10 مرات كل عام. يحتوي أحدث طراز حتى الآن ، GPT-4 ، على 1.8 تريليون معلمة ، بتكلفة تدريب واحدة تزيد عن 60 مليون دولار ومتطلبات طاقة حوسبة تبلغ 2.15e25 FLOPS (21.5 كوينتيليون عمليات الفاصلة العائمة). لا يزال الطلب على قوة الحوسبة للتدريب على النماذج المستقبلية يتوسع ، ويتم تطوير نماذج جديدة بمعدل متزايد.

اقتصاد قوة الحوسبة الذكية

حجم سوق المستقبل

وفقًا لأكثر التقديرات موثوقيةً، يتوقع أن يزيد حجم سوق الحوسبة العالمية للذكاء الاصطناعي من 19.5 مليار دولار في عام 2022 إلى 34.66 مليار دولار في عام 2026، حسبما جاء في "تقرير تقييم مؤشر قوة الحوسبة العالمية 2022-2023" الذي تم إعداده بالتعاون بين الشركة الدولية لتقدير البيانات (IDC) وشركة إنسبور للمعلومات ومعهد أبحاث الصناعة العالمية في جامعة تسينغهوا. من المتوقع أن ينمو حجم سوق الحوسبة الاصطناعية الإنشائية من 820 مليون دولار في عام 2022 إلى 10.99 مليار دولار في عام 2026. ومن المتوقع أن ترتفع حصة الحوسبة الاصطناعية الإنشائية في سوق الحوسبة الإجمالي للذكاء الاصطناعي من 4.2% إلى 31.7%.

احتكار في اقتصاد القوة الحاسوبية

تم احتكار إنتاج وحدات معالجة الرسومات الذكاء الاصطناعي حصريا من قبل NVIDIA وهي باهظة الثمن (تم بيع أحدث H100 مقابل 40,000 ألف دولار لكل وحدة). بمجرد إصدار وحدات معالجة الرسومات ، يتم التقاطها من قبل عمالقة التكنولوجيا في وادي السيليكون. تستخدم بعض هذه الأجهزة لتدريب نماذجها الجديدة. يتم تأجير الباقي لمطوري الذكاء الاصطناعي من خلال المنصات السحابية ، مثل تلك المملوكة لشركة Google و Amazon و Microsoft ، والتي تتحكم في كمية هائلة من موارد الحوسبة مثل الخوادم ووحدات معالجة الرسومات ووحدات TPU. أصبحت قوة الحوسبة موردا جديدا يحتكره هؤلاء العمالقة. لا يمكن للعديد من مطوري الذكاء الاصطناعي شراء وحدة معالجة رسومات مخصصة بدون ترميز. من أجل استخدام أحدث المعدات ، يتعين على المطورين استئجار خوادم سحابية AWS أو Microsoft. تشير التقارير المالية إلى أن هذا العمل يحقق أرباحا عالية للغاية. مع الخدمات السحابية من AWS التي تفتخر بهامش ربح إجمالي يبلغ 61٪ ، في حين أن هامش الربح الإجمالي لشركة Microsoft أعلى بنسبة 72٪.

هل علينا أن نقبل هذه السلطة المركزية والتحكم، وندفع هامش ربح بنسبة 72٪ عن موارد الحوسبة؟ هل العمالقة الذين استبدلوا الويب 2 سيهيمنون أيضًا على العصر القادم؟

تحديات القوة الحوسبة AGI المتمركزة

عندما يتعلق الأمر بمكافحة الاحتكار، يُعتبر اللامركزية عادة الحل الأمثل. نظرًا للمشاريع القائمة، هل يمكننا تحقيق القوة الضخمة للحوسبة المتطلبة للذكاء الاصطناعي من خلال مشاريع تخزين DePIN المدمجة مع بروتوكولات مثل RDNR لاستخدام وحدات معالجة الرسومات الشاغرة؟ الجواب لا. الطريق إلى قتل التنين ليس بهذه البساطة. لم تكن المشاريع الأولية مصممة خصيصًا لقوة الحوسبة AGI وليست جدوى. جلب القوة الحاسوبية إلى سلسلة الكتل يواجه على الأقل التحديات الخمسة التالية على الأقل:

  1. التحقق من العمل: لبناء شبكة حوسبة لا تعتمد على الثقة توفر حوافز اقتصادية للمشاركين، يجب أن تكون للشبكة وسيلة للتحقق مما إذا كانت عمليات التعلم العميق تمت فعليا. المشكلة الأساسية هنا هي اعتماد حالة النماذج الخاصة بالتعلم العميق؛ في هذه النماذج، يعتمد مدخل كل طبقة على مخرج الطبقة السابقة. وهذا يعني أنه لا يمكنك فقط التحقق من طبقة واحدة في نموذج دون مراعاة جميع الطبقات التي تسبقها. تعتمد عملية كل طبقة على نتائج جميع الطبقات السابقة. لذلك، من أجل التحقق من العمل المكتمل في نقطة معينة (مثل طبقة معينة)، يجب تنفيذ كل العمل من بداية النموذج حتى تلك النقطة المحددة.

  2. السوق: كسوق ناشئ، يخضع سوق قوة الحوسبة الذكية لمشاكل العرض والطلب، مثل مشكلة بدء التشغيل البارد. تحتاج السيولة في العرض والطلب إلى أن تكون متطابقة تقريبًا من البداية حتى يمكن للسوق أن ينمو بنجاح. ومن أجل الاستفادة من العرض المحتمل لقوة الحوسبة، يجب توفير حوافز واضحة للمشاركين مقابل مواردهم الحسابية. يحتاج السوق إلى آلية لتتبع الحسابات المكتملة ودفع المزودين وفقًا لذلك في الوقت المناسب. في الأسواق التقليدية، يتولى الوسطاء مهام مثل الإدارة والتوجيه، مع تقليل تكاليف التشغيل من خلال تحديد حدود الدفع الدنيا. ومع ذلك، تكون هذه الطريقة مكلفة عند توسيع حجم السوق. يمكن فقط الاستيلاء اقتصاديًا على جزء صغير من العرض، مما يؤدي إلى حالة توازن حدية يمكن للسوق فيها فقط الاستيلاء على إمداد محدود دون أن تتمكن من النمو بشكل أكبر؛

  3. مشكلة التوقف: مشكلة التوقف هي قضية أساسية في نظرية الحوسبة، تتضمن تحديد ما إذا كانت مهمة الحوسبة المعطاة ستنتهي في فترة زمنية محددة أم ستستمر بشكل لا نهائي. هذه المشكلة لا يمكن حلها، مما يعني عدم وجود خوارزمية عالمية يمكنها التنبؤ بما إذا كانت أي عملية حسابية معطاة ستتوقف في وقت محدد. على سبيل المثال، تواجه تنفيذ العقود الذكية على إيثيريوم مشكلة توقف مماثلة. من المستحيل تحديد مسبقًا كم موارد الحوسبة ستتطلب تنفيذ عقد ذكي، أو ما إذا كان سيكتمل في وقت معقول.

(في سياق التعلم العميق، سيكون هذا المشكلة أكثر تعقيدًا حيث ستنتقل النماذج والأطر الزمنية من بناء الرسم البياني الثابت إلى البناء الديناميكي والتنفيذ.)

  1. الخصوصية: التصميم والتطوير بوعي الخصوصية ضروري لفرق المشاريع. على الرغم من أن يمكن إجراء العديد من أبحاث تعلم الآلة على مجموعات بيانات عامة، إلا أنه من الضروري عادةً ضبط النموذج على بيانات المستخدم الممتلكة لتحسين أداء النموذج والتكيف مع التطبيقات الخاصة. قد تتضمن عملية ضبط النموذج هذه معالجة البيانات الشخصية، لذا يجب مراعاة متطلبات حماية الخصوصية.

  2. التوازي: هذا هو عامل رئيسي في عدم قابلية تنفيذ المشاريع الحالية. يتم تدريب نماذج التعلم العميق عادةً بشكل متوازي على مجموعات عتاد كبيرة ذات تركيبات ممتلكات وبدنه منخفضة للغاية، وستتسبب وحدات المعالجة الرسومية في شبكات الحوسبة الموزعة في تكبد التأخير بسبب التبادل المتكرر للبيانات وستكون محدودة بأداء أبطأ وحدة معالجة رسومية. عندما تكون مصادر الحوسبة غير موثوقة وغير موثوقة، كيفية تحقيق التوازي الغير متجانس هو مشكلة يجب حلها. الطريقة القابلة للتنفيذ حاليًا هي تحقيق التوازي من خلال نماذج المحولات، مثل محولات الانتقال، التي تتمتع الآن بخصائص موازية بشكل كبير.

الحلول: على الرغم من أن محاولات الحالية في سوق قوة الحوسبة AGI المتميزة لا تزال في مراحلها الأولية، إلا أن هناك مشروعين قاما في البداية بحل تصميم الاتفاق في الشبكات المتميزة وتنفيذ شبكات قوة الحوسبة المتممة في تدريب النماذج والاستدلال. سيستخدم ما يلي Gensyn و Together كأمثلة لتحليل أساليب التصميم والمشاكل في سوق قوة الحوسبة AGI المتميزة.

Gensyn

جينسين هو سوق قوة الحوسبة AGI الذي لا يزال في مرحلة الإنشاء، بهدف حل التحديات المختلفة للحوسبة العميقة اللامركزية وتقليل التكاليف المرتبطة بالتعلم العميق الحالي. جينسين في الأساس بروتوكول دليل الحصة الأولى يعتمد على شبكة بولكادوت، الذي يكافأ مباشرة الحلول (أولئك الذين يحلون المهام الحسابية) من خلال العقود الذكية مقابل أجهزة GPU الخاملة لديهم للحوسبة وأداء مهام تعلم الآلة.

عند العودة إلى السؤال السابق، يكمن جوهر بناء شبكة حوسبة غير قابلة للثقة حقًا في التحقق من العمل الجاهز لتعلم الآلة. هذه مسألة معقدة للغاية تتطلب إيجاد توازن بين تقاطع نظرية الاتساق، ونظرية الألعاب، وعلم التشفير، والتحسين.

يقترح Gensyn حلا بسيطا حيث يقدم المحللون نتائج مهام التعلم الآلي التي أكملوها. للتحقق من دقة هذه النتائج ، يحاول مدقق مستقل آخر إعادة أداء نفس العمل. يمكن تسمية هذا الأسلوب بالنسخ المتماثل الفردي لأن مدققا واحدا فقط سيعيد تنفيذ المهمة. هذا يعني أن هناك عملا إضافيا واحدا فقط للتحقق من دقة العمل الأصلي. ومع ذلك ، إذا لم يكن الشخص الذي يتحقق من العمل هو مقدم الطلب الأصلي ، فستظل مشكلة الثقة قائمة. قد لا يكون المحققون أنفسهم صادقين ، ويجب التحقق من عملهم. يؤدي هذا إلى مشكلة محتملة حيث إذا لم يكن الشخص الذي يتحقق من العمل هو مقدم الطلب الأصلي ، فستكون هناك حاجة إلى مدقق آخر للتحقق من عمله. ولكن قد لا يكون هذا المدقق الجديد موثوقا به أيضا ، لذلك هناك حاجة إلى مدقق آخر للتحقق من عملهم ، والذي يمكن أن يستمر إلى الأبد ، مما يؤدي إلى إنشاء سلسلة نسخ متماثل لا نهائية. هنا نحتاج إلى تقديم ثلاثة مفاهيم أساسية ونسجها لبناء نظام مشارك بأربعة أدوار لحل مشكلة السلسلة اللانهائية.

إثباتات التعلم الاحتمالي: ينشئ شهادات عمل مكتملة باستخدام البيانات الوصفية من عملية التحسين القائمة على التدرج. من خلال تكرار مراحل معينة، يمكن التحقق بسرعة من هذه الشهادات لضمان أن العمل تم كما هو متوقع.

بروتوكول تحديد المواقع الدقيقة القائم على الرسوم البيانية: باستخدام بروتوكولات تحديد المواقع الدقيقة القائمة على الرسوم البيانية متعددة الحبيبية وتنفيذ متسق للمقارنات العابرة. وهذا يتيح إعادة تشغيل العملية ومقارنتها لضمان الاتساق، الذي يتم تأكيده في نهاية المطاف من قبل سلسلة الكتل ذاتها.

لعبة حافزية بنمط Truebit: استخدم الرهانات والتقطيع لإنشاء لعبة حافزية تضمن أن كل مشارك يعقل اقتصاديًا سيتصرف بصدق ويؤدي مهامه المتوقعة.

يتكون نظام المشاركين من المرسلين، والحلول، والتحقق، والمبلغين.

المقدمون:

المُقدمون هم مستخدمو النظام النهائيين الذين يقدمون المهام التي يتعين حسابها ويدفعون ثمن وحدات العمل المكتملة؛

المحللون:

الحلول هي العمال الأساسيين في النظام، يقومون بتدريب النماذج وإنشاء الأدلة التي يتم التحقق منها من قبل المحقق؛

المحققون:

المحققون هم العنصر الرئيسي في ربط عملية التدريب غير القطعية مع الحوسبات الخطية الحاسمة، حيث يقومون بتكرار أجزاء من دليل المحلل ومقارنة المسافات مع الحدود المتوقعة؛

المبلغون الذين يكشفون عن المخالفات:

المُبْلغون هم الخط الأخير للدفاع، يُفحصون عمل المُدققين ويثيرون تحديات على أمل الحصول على مدفوعات مكافأة سخية.

عملية النظام

يعمل نظام اللعبة الذي صممه البروتوكول من خلال ثماني مراحل، تغطي أربعة أدوار أساسية للمشاركين، لاستكمال العملية بأكملها من تقديم المهمة إلى التحقق النهائي.

تقديم المهمة: تتكون المهام من ثلاث قطع محددة من المعلومات:

البيانات الوصفية التي تصف المهمة والمعلمات الفائقة؛

ملف ثنائي نموذجي (أو الهندسة المعمارية الأساسية)؛

البيانات التدريبية المعالجة مسبقًا والمتاحة للجمهور.

لتقديم مهمة، يحدد المقدم تفاصيل المهمة في تنسيق قابل للقراءة من قبل الآلة ويقدمها إلى السلسلة مع ملف النموذج الثنائي (أو البنية قابلة للقراءة من قبل الآلة) وموقع عام للبيانات التدريب المعالجة مسبقًا. يمكن تخزين البيانات العامة في تخزين الكائنات البسيط مثل S3 لدي AWS، أو في تخزين متمركز مثل IPFS، Arweave، أو Subspace.

التوصيف: يقوم عملية التوصيف بتحديد عتبة المسافة الأساسية للتحقق من دليل التعلم. سيقوم المحققون بجلب مهام التوصيف بانتظام وتوليد عتبات التحور لمقارنة دلائل التعلم. لتوليد العتبة، سيقوم المحقق بتشغيل أجزاء من التدريب بشكل حتمي وإعادة تشغيلها باستخدام بذور عشوائية مختلفة، وتوليد وفحص دلائلهم الخاصة. خلال هذه العملية، سيقوم المحقق بتحديد عتبة المسافة المتوقعة عمومًا للعمل غير الحتمي للحل الذي يمكن استخدامه للتحقق.

التدريب: بعد تحليل الأداء، تدخل المهام في بركة المهام العامة (مماثلة لبركة الذاكرة في إيثيريوم). حدد محللًا لتنفيذ المهمة وقم بإزالة المهمة من بركة المهام. يقوم المحللون بأداء المهمة بناءً على البيانات الوصفية التي تم تقديمها من قبل المقدم والنموذج والبيانات التدريبية المقدمة. عند تنفيذ مهام التدريب، يقوم المحللون أيضًا بإنشاء دلائل على التعلم من خلال التحقق من نقاط بانتظام وتخزين البيانات الوصفية (بما في ذلك المعلمات) خلال عملية التدريب، بحيث يمكن للمحققين تكرار خطوات الأمثلية التالية بدقة قدر الإمكان.

توليد الإثبات: يقوم المحللون بشكل دوري بتخزين أوزان النموذج أو التحديثات والمؤشرات المقابلة لها لمجموعة بيانات التدريب لتحديد العينات المستخدمة لإنشاء تحديثات الوزن. يمكن تعديل تردد نقطة التفتيش لتوفير ضمانات أقوى أو لتوفير مساحة التخزين. يمكن أن تكون البراهين "مكدسة" ، مما يعني أنها يمكن أن تبدأ من توزيع عشوائي يستخدم لتهيئة الأوزان ، أو من الأوزان المدربة مسبقا التي تم إنشاؤها باستخدام البراهين الخاصة بها. يتيح ذلك للبروتوكول إنشاء مجموعة من النماذج الأساسية المثبتة والمدربة مسبقا والتي يمكن ضبطها لمهام أكثر تحديدا.

التحقق من البرهان: بعد إكمال المهمة، يسجل حلو الألغاز إتمام المهمة على السلسلة ويعرضون برهان تعلمهم في موقع يمكن الوصول إليه علنًا للمدققين للوصول إليه. يستخرج المدققون مهام التحقق من الجدوى من حوض العمليات العامة ويقومون بعمل حسابي لإعادة تشغيل جزء من البرهان وتنفيذ حسابات المسافة. تستخدم السلسلة، جنبًا إلى جنب مع الحد الذي تم حسابه خلال مرحلة تحديد الملامح، بعد ذلك المسافة الناتجة لتحديد ما إذا كان التحقق مطابقًا للبرهان.

التحدي الدقيق المستند إلى الرسم البياني: بعد التحقق من إثبات التعلم ، يمكن للمبلغين عن المخالفات تكرار عمل المدققين للتحقق مما إذا كان قد تم تنفيذ أعمال التحقق نفسها بشكل صحيح. إذا اعتقد المبلغون عن المخالفات أن التحقق قد تم تنفيذه بشكل غير صحيح (بشكل ضار أم لا) ، فيمكنهم الطعن فيه للتعاقد على التحكيم للحصول على مكافأة. يمكن أن تأتي هذه المكافأة من ودائع الحل والمدقق (في حالة إيجابية حقيقية) ، أو من مكافأة مجمع اليانصيب (في حالة الإيجابية الخاطئة) ، مع إجراء التحكيم باستخدام السلسلة نفسها. لن يقوم المبلغون عن المخالفات (الذين يعملون كمدققين في حالتهم) بالتحقق من العمل والطعن فيه إلا إذا كانوا يتوقعون الحصول على تعويض مناسب. في الممارسة العملية ، هذا يعني أنه من المتوقع أن ينضم المبلغون عن المخالفات ويغادرون الشبكة بناء على عدد المبلغين النشطين الآخرين (أي مع الودائع الحية والتحديات). لذلك ، فإن الإستراتيجية الافتراضية المتوقعة لأي مبلغ عن المخالفات هي الانضمام إلى الشبكة عندما يكون هناك عدد أقل من المبلغين الآخرين ، ونشر إيداع ، وتحديد مهمة نشطة بشكل عشوائي ، وبدء عملية التحقق الخاصة بهم. بعد مهمة واحدة ، سيحصلون على مهمة نشطة عشوائية أخرى ويكررونها حتى يتجاوز عدد المبلغين عن المخالفات حد الدفع المحدد ، وعند هذه النقطة سيغادرون الشبكة (أو على الأرجح ، يتحولون إلى دور آخر في الشبكة - المدقق أو الحل - بناء على قدرات أجهزتهم) حتى ينعكس الموقف مرة أخرى.

عندما يتم تحدي الموثقين من قبل المبلغين، يدخلون في عملية مع السلسلة لمعرفة موقع العملية أو الإدخال المتنازع عليه، وفي النهاية ستقوم السلسلة بأداء العملية الأساسية النهائية وتحديد ما إذا كان التحدي مبررًا. للحفاظ على نزاهة المبلغين والتغلب على مأزق الموثق، يتم هنا إدخال أخطاء مجبرة دورية ودفعات جائزة كبيرة.

التسوية: خلال عملية التسوية، يتم دفع المشاركين استنادًا إلى استنتاجات الفحوص الاحتمالية والحتمية. تظهر سيناريوهات دفع مختلفة اعتمادًا على نتائج التحققات والتحديات السابقة. إذا تم اعتبار العمل قد تم تنفيذه بشكل صحيح وقد نجحت جميع الفحوص، يتم مكافأة مقدمي الحلول والتحقق استنادًا إلى العمليات التي تم تنفيذها.

مراجعة موجزة للمشروع

قد صمم Gensyn نظامًا لعلم الألعاب معقدًا على طبقة التحقق والطبقات المحفزة، مما يسمح بالتعرف السريع والتصحيح للأخطاء عن طريق تحديد التباينات داخل الشبكة. ومع ذلك، هناك العديد من التفاصيل المفقودة في النظام الحالي. على سبيل المثال، كيف يتم تعيين المعلمات لضمان أن تكون المكافآت والعقوبات معقولة دون تحديد الحد الأعلى بشكل كبير؟ هل قمت بالنظر في السيناريوهات المتطرفة والقدرة الحسابية المختلفة لحل المشكلات في جوانب علم الألعاب؟ لا يوجد وصف مفصل للتنفيذ المتوازي غير المتجانس في الإصدار الحالي من الورقة البيضاء. لا يزال لدى Gensyn طريق طويل للسير عليه.

Together.ai

Together.ai هي شركة تركز على حلول الذكاء الاصطناعي المفتوحة المصدر والمتمركزة للنماذج الكبيرة. تهدف إلى تحقيق أن يمكن لأي شخص الوصول إلى الذكاء الاصطناعي في أي مكان. صارما، لا يعتبر Together مشروعًا للبلوكشين، لكنه حل بشكل أولي مشكلات التأخير في شبكات الحوسبة AGI المتمركزة. لذلك، يحلل المقال التالي فقط حلول Together ولا يقيم المشروع نفسه.

كيفية تحقيق تدريب واستنتاج النماذج الكبيرة عندما تكون الشبكات اللامركزية أبطأ بمقدار 100 مرة من مراكز البيانات؟

دعونا نتخيل توزيع وحدات معالجة الرسومات المشاركة في شبكة لامركزية. ستنتشر هذه الأجهزة عبر قارات ومدن مختلفة، حيث سيحتاج كل منها إلى الاتصال بسرعات وعرض نطاق ترددي متفاوتة. كما هو موضح في الشكل أدناه، يظهر سيناريو موزع محاكي يوضح الأجهزة الموجودة في أمريكا الشمالية وأوروبا وآسيا، مع اختلاف في عرض النطاق الترددي والتأخير بينهم. ما الذي يجب القيام به لربطها معًا بفعالية؟

التدريب الموزع على النمذجة الحسابية: يوضح الرسم البياني أدناه وضع تدريب نموذج أساسي عبر أجهزة متعددة، مع ثلاثة أنواع من التواصل: تنشيط إلى الأمام، تدرج إلى الخلف، وتواصل جانبي.

من خلال جمع عرض النطاق الترددي والتأخير، يجب أن تُراعى نوعين من التوازي: توازي الأنابيب وتوازي البيانات، مما يقابل الأنواع الثلاثة للاتصال في سيناريو الأجهزة المتعددة:

في التوازي في خط الأنابيب، يتم تقسيم جميع طبقات النموذج إلى عدة مراحل، حيث يقوم كل جهاز بمعالجة مرحلة واحدة، والتي هي تسلسل من الطبقات المتتالية، مثل عدة كتل محول. خلال انتشار إلى الأمام، تمر النشاطات إلى المرحلة التالية، وخلال الانتشار الخلفي، تمر تدرجات النشاطات إلى المرحلة السابقة.

في التوازي البياني للبيانات، تقوم الأجهزة بحساب التدرجات بشكل مستقل لدفعات فرعية مختلفة ولكنها بحاجة إلى مزامنة هذه التدرجات من خلال التواصل.

تحسين الجدولة:

في بحيطة غير مركزية، يكون عملية التدريب غالبًا ما تقتصر بواسطة التواصل. تعمل خوارزميات الجدولة عمومًا على تعيين المهام التي تتطلب تواصلًا واسعًا إلى الأجهزة ذات الاتصالات الأسرع. نظرًا للتبعيات بين المهام وتشتت الشبكة، من الضروري أولاً تصميم تكلفة استراتيجيات الجدولة المحددة. من أجل التقاط تكلفة التواصل المعقدة لتدريب النماذج القاعدية، تقترح Together صياغة جديدة وتقسم نموذج التكلفة إلى مستويين باستخدام نظرية الرسوم البيانية:

نظرية الرسم البياني هي فرع من فروع الرياضيات التي تدرس الخصائص والهياكل الخاصة بالرسوم البيانية (الشبكات). يتكون الرسم البياني من الفراغات (العقد) والحواف (الخطوط التي تربط العقد). الغرض الرئيسي من نظرية الرسم البياني هو دراسة مختلف الخصائص الخاصة بالرسوم البيانية، مثل الاتصال، التلوين، وطبيعة المسارات والدورات في الرسوم البيانية.

المستوى الأول هو مشكلة تقسيم الرسم البياني المتوازنة (تقسيم مجموعة الفروع في الرسم البياني إلى عدة مجموعات من حجم متساوي أو مقارب بينما يتم تقليل عدد الحواف بين المجموعات). في هذا التقسيم، يمثل كل مجموعة تقسيمًا، وتتم تقليل تكاليف الاتصال عن طريق تقليل الحواف بين التقسيمات، مما يتوافق مع تكاليف الاتصال للتوازي البيانات.

المستوى الثاني يتضمن مشكلة مطابقة الرسم البياني المشتركة ومشكلة بائع المسافات (مشكلة تحسين مجموعي تجميعية تجمع بين عناصر مطابقة الرسم البياني ومشكلة بائع المسافات). مشكلة مطابقة الرسم البياني تتضمن البحث عن تطابق في الرسم الذي يقلل أو يزيد من بعض التكاليف. مشكلة بائع المسافات تسعى إلى إيجاد المسار الأقصر الذي يزور جميع العقد في الرسم الذي يتوافق مع تكاليف الاتصال من التوازيية الخطية.

الشكل أعلاه هو مخطط للعملية. نظرًا للحسابات المعقدة المشمولة في التنفيذ الفعلي، تم تبسيط العملية الموصوفة في الرسم التخطيطي لفهم أسهل. للحصول على تنفيذ مفصل، يمكن للشخص الرجوع إلى الوثائق الخاصة بموقع Together الرسمي.

لنفترض أن هناك مجموعة من أجهزة NN ، DD ، مع تأخيرات اتصال غير مؤكدة (matrix AA) وعرض النطاق الترددي (matrix BB) ، بناء على مجموعة الجهاز DD ، نقوم أولا بإنشاء قسم رسم بياني متوازن. يحتوي كل قسم أو مجموعة من الأجهزة على عدد متساو تقريبا من الأجهزة ، وكلها تتعامل مع نفس مرحلة خط الأنابيب. هذا يضمن أنه أثناء توازي البيانات ، تؤدي كل مجموعة أجهزة قدرا مماثلا من العمل. وفقا لتأخيرات الاتصال وعرض النطاق الترددي ، يمكن للصيغة حساب "تكلفة" نقل البيانات بين مجموعات الأجهزة. يتم دمج كل مجموعة متوازنة لإنشاء رسم بياني خشن متصل بالكامل ، حيث تمثل كل عقدة مرحلة خط أنابيب ، وتمثل الحواف تكلفة الاتصال بين مرحلتين. لتقليل تكاليف الاتصال ، يتم استخدام خوارزمية مطابقة لتحديد مجموعات الأجهزة التي يجب أن تعمل معا.

للحصول على أمثلية إضافية، يمكن أيضًا تصميم هذه المشكلة كمشكلة عمليات بائرة للبائع المتجول (الحلقة المفتوحة تعني عدم الحاجة للعودة إلى نقطة البداية للمسار) للعثور على مسار أمثل لنقل البيانات عبر جميع الأجهزة. وأخيرًا، يستخدم Together خوارزمية جدولة مبتكرة للعثور على استراتيجية تخصيص أمثل لنموذج التكلفة المعطى، مما يقلل من تكاليف الاتصال ويزيد من كمية تدريب البيانات. ووفقًا للاختبارات، حتى إذا كان الشبكة بطيئة بنسبة 100 مرة تحت هذا الأسلوب المحسن لجدولة، فإن كمية تدريب البيانات من البداية إلى النهاية لا تتباطأ سوى بنسبة تتراوح بين 1.7 إلى 2.3 مرة.

أفضلية ضغط الاتصال وتحسينه:

لتحسين ضغط الاتصالات ، قدم Together خوارزمية AQ-SGD (للحصول على عملية حساب مفصلة ، يرجى الرجوع إلى الورقة "ضبط نماذج اللغة عبر الشبكات البطيئة باستخدام ضغط التنشيط مع الضمانات"). خوارزمية AQ-SGD هي تقنية ضغط تنشيط جديدة مصممة لمعالجة مشكلات كفاءة الاتصال أثناء التدريب الموازي لخطوط الأنابيب عبر الشبكات البطيئة. يختلف عن الطرق السابقة لضغط قيم التنشيط مباشرة ، يركز AQ-SGD على ضغط التغييرات في قيم التنشيط لنفس عينة التدريب في فترات مختلفة. تقدم هذه الطريقة الفريدة ديناميكية "ذاتية التنفيذ" مثيرة للاهتمام ، حيث من المتوقع أن يتحسن أداء الخوارزمية تدريجيا مع استقرار التدريب. تم تحليل خوارزمية AQ-SGD نظريا بدقة وثبت أن لديها معدلات تقارب جيدة في ظل ظروف فنية معينة ووظائف تكميم خطأ محدودة. يمكن تنفيذ الخوارزمية بشكل فعال دون إضافة نفقات إضافية لوقت التشغيل من طرف إلى طرف ، على الرغم من أنها تتطلب استخدام المزيد من الذاكرة و SSD لتخزين قيم التنشيط. من خلال التجارب المكثفة على تصنيف التسلسل ومجموعات بيانات نمذجة اللغة ، ثبت أن AQ-SGD يضغط قيم التنشيط إلى 2-4 بت دون التضحية بأداء التقارب. علاوة على ذلك ، يمكن دمج AQ-SGD مع خوارزميات ضغط التدرج الحديثة لتحقيق "ضغط الاتصال من طرف إلى طرف" ، مما يعني أن تبادل البيانات بين جميع الأجهزة ، بما في ذلك تدرجات النموذج وقيم التنشيط الأمامي والتدرجات الخلفية ، يتم ضغطها بدقة منخفضة ، وبالتالي تحسين كفاءة الاتصال بشكل كبير للتدريب الموزع. مقارنة بأداء التدريب الشامل في شبكة حوسبة مركزية (مثل 10 جيجابت في الثانية) بدون ضغط ، فهو حاليا أبطأ بنسبة 31٪ فقط. إلى جانب البيانات المتعلقة بتحسين الجدولة ، على الرغم من أنه لا تزال هناك فجوة معينة بين شبكات الحوسبة المركزية ، إلا أن هناك أملا كبيرا في اللحاق بالركب في المستقبل.

استنتاج

في الفترة الناتجة عن موجة الذكاء الاصطناعي، يعتبر سوق قوة الحوسبة AGI من دون شك السوق الذي يمتلك أكبر إمكانات وأكبر طلب بين أسواق القوة الحوسبية المختلفة. ومع ذلك، فإن أعلى مستويات الصعوبة في التطوير، ومتطلبات الأجهزة، والمطالبات الرأسمالية تجلب تحديات لهذه الصناعة. من خلال دمج المشاريع الاثنين المقدمة أعلاه، لا يزال هناك بعض الوقت قبل أن يتم إطلاق سوق قوة الحوسبة AGI. الشبكة اللامركزية الحقيقية أيضًا أكثر تعقيدًا بكثير من السيناريو المثالي. حاليًا، ليس كافيًا للتنافس مع عمالقة السحاب.

في وقت كتابة هذا التقرير ، لاحظت أيضا أن بعض المشاريع الصغيرة التي لا تزال في مهدها (مرحلة PPT) قد بدأت في استكشاف بعض نقاط الدخول الجديدة ، مثل التركيز على مرحلة الاستدلال AGI الأقل تحديا بدلا من مرحلة التدريب. ومع ذلك ، على المدى الطويل ، فإن أهمية اللامركزية والأنظمة غير المسموح بها عميقة. لا ينبغي أن يتركز الحق في الوصول إلى قوة الحوسبة AGI وتدريبها في أيدي عدد قليل من العمالقة المركزيين. لا تحتاج البشرية إلى "ثيوقراطية" جديدة أو "بابا" جديد ، ولا ينبغي لها أن تدفع رسوم عضوية باهظة الثمن.

إخلاء المسؤولية:

  1. تمت إعادة طبع هذه المقالة من [رأس المال YBB]. جميع حقوق النشر تنتمي إلى الكاتب الأصلي [يتم الترجمةZeke]. إذا كانت هناك اعتراضات على هذا النقل، يرجى الاتصال بالبوابة تعلمالفريق، وسيتولون بالأمر على الفور.
  2. إخلاء المسؤولية عن المسؤولية: الآراء والآراء التي تم التعبير عنها في هذه المقالة هي فقط تلك التي يعبر عنها الكاتب ولا تشكل أي نصيحة استثمارية.
  3. يتم إجراء ترجمات المقال إلى لغات أخرى من قبل فريق Gate Learn. ما لم يذكر غير ذلك، فإن نسخ أو توزيع أو ارتكاب السرقة الأدبية للمقالات المترجمة ممنوع.

الآفاق المشجعة لسوق القوة الحوسبة اللامركزية (الجزء 1)

متقدم1/4/2024, 6:39:54 PM
يستكشف هذا المقال الإمكانيات والتحديات التي تواجه سوق القوة الحوسبة المفcentralized، مسلطاً الضوء على الصعوبات التي تواجهها ومقدماً مشروعين نموذجيين - Gensyn و Together.AI.

مقدمة

منذ ولادة GPT-3 ، بشرت الذكاء الاصطناعي التوليدية بنقطة تحول متفجرة في مجال الذكاء الاصطناعي بأدائها المذهل وسيناريوهات التطبيق الواسعة. وقد أدى ذلك إلى تدفق عمالقة التكنولوجيا إلى المسار الذكاء الاصطناعي. ومع ذلك ، فقد جلبت هذه الزيادة معها العديد من المشاكل. تتطلب عمليات التدريب والاستدلال لنماذج اللغة الكبيرة (LLMs) الكثير من قوة الحوسبة. مع الترقية التكرارية لهذه النماذج ، يتزايد الطلب والتكلفة على قوة الحوسبة بشكل كبير. إذا أخذنا GPT-2 و GPT-3 كأمثلة ، فإن الفرق في عدد المعلمات بين GPT-2 و GPT-3 هو 1166 مرة (يحتوي GPT-2 على 150 مليون معلمة بينما يحتوي GPT-3 على 175 مليار). تم حساب تكلفة جلسة تدريبية واحدة من GPT-3 بناء على نماذج تسعير سحابة GPU العامة في ذلك الوقت ، والتي تصل إلى 12 مليون دولار. كان هذا 200 مرة من GPT-2. في الاستخدام العملي ، يتطلب كل استعلام مستخدم حساب الاستدلال. استنادا إلى 13 مليون مستخدم مستقل في بداية هذا العام ، سيكون الطلب المقابل على الرقائق أكثر من 30،000 وحدة معالجة رسومات A100. ستكون تكلفة الاستثمار الأولية بعد ذلك مذهلة 800 مليون دولار ، مع تكلفة استدلال يومية تقديرية تبلغ 700000 دولار.

كثرة الطلب على القوة الحاسوبية وارتفاع التكاليف أصبحت تحديات خطيرة تواجه صناعة الذكاء الاصطناعي بأكملها. ومن الواضح أن مشكلة مماثلة تواجه صناعة البلوكتشين. من ناحية، فإن تقليص البتكوين للمرة الرابعة وموافقة صناديق الاستثمار المتداولة قريبة. مع ارتفاع أسعار المستقبل، سيزداد طلب المنقبين على الأجهزة الحاسوبية بشكل لا مفر منه. ومن ناحية أخرى، تكنولوجيا البرهان الصفري (ZKP) في ازدهار، وأكد فيتاليك مرارًا وتكرارًا أن تأثير ZK على مجال البلوكتشين في السنوات العشر القادمة سيكون مهمًا مثل البلوكتشين نفسه. بينما تعد هذه التكنولوجيا واعدة لمستقبل صناعة البلوكتشين، فإن ZK تستهلك أيضًا الكثير من القوة الحاسوبية والوقت في إنشاء البراهين نتيجة لعملية الحساب المعقدة الخاصة بها، تمامًا مثل الذكاء الاصطناعي.

في المستقبل القريب، سيصبح نقص قوة الحوسبة لا مفر منه. إذا، هل سيكون سوق قوة الحوسبة اللامركزية مشروع تجاري مربح؟

تعريف سوق القوة الحوسبة المركزية

سوق طاقة الحوسبة اللامركزية يعادل في الواقع مسار الحوسبة السحابية اللامركزية ، لكنني شخصيا أعتقد أن هذا المصطلح أكثر ملاءمة لوصف المشاريع الجديدة التي ستتم مناقشتها لاحقا. يجب اعتبار سوق طاقة الحوسبة اللامركزية مجموعة فرعية من DePIN (شبكات البنية التحتية المادية اللامركزية) ، والتي تهدف إلى إنشاء سوق طاقة حوسبة مفتوحة ، حيث يمكن لأي شخص لديه موارد طاقة حوسبة خاملة تقديم موارده بتحفيز من خلال الرموز المميزة ، والتي تخدم بشكل أساسي عملاء B2B ومجتمعات المطورين. فيما يتعلق بالمشاريع الأكثر دراية ، فإن شبكات مثل Render Network ، التي تعتمد على حلول عرض GPU اللامركزية ، وشبكة Akash ، وهي سوق موزعة من نظير إلى نظير للحوسبة السحابية ، كلاهما ينتمي إلى هذا المسار.

سيبدأ النص التالي بالمفاهيم الأساسية ثم يناقش ثلاثة أسواق ناشئة تحت هذا المسار: سوق قوة الحوسبة AGI، وسوق قوة الحوسبة Bitcoin، وسوق قوة الحوسبة AGI في سوق تسريع الأجهزة ZK. سيتم مناقشة الأخيرين في "آفاق مسار واعد: سوق الحوسبة اللامركزية (الجزء 2)".

نظرة عامة على قوة الحوسبة

يمكن تتبع مفهوم قوة الحوسبة إلى اختراع الكمبيوتر. استخدم الكمبيوتر الأصلي أجهزة ميكانيكية لإكمال المهام الحسابية، وكانت قوة الحوسبة تشير إلى القدرة الحسابية للجهاز الميكانيكي. مع تطور تكنولوجيا الكمبيوتر، تطور أيضاً مفهوم قوة الحوسبة. يشير مفهوم قوة الحوسبة الحالي عادةً إلى العمل التعاوني لأجهزة الكمبيوتر (وحدات المعالجة المركزية، وحدات معالجة الرسومات، مجالات البرمجة القابلة للبرمجة، إلخ) والبرمجيات (أنظمة التشغيل، المترجمات، التطبيقات، إلخ).

تعريف

قوة الحوسبة تشير إلى كمية البيانات التي يمكن لجهاز كمبيوتر أو جهاز حوسبة آخر معالجتها خلال فترة زمنية معينة أو عدد المهام الحوسبية التي يمكنها إكمالها. يُستخدم عادة قوة الحوسبة لوصف أداء جهاز الكمبيوتر أو أجهزة الحوسبة الأخرى. إنها مقياس مهم لقدرات معالجة جهاز الحوسبة.

مقاييس

يمكن قياس قوة الحوسبة بطرق مختلفة، مثل سرعة الحوسبة، استهلاك الطاقة، دقة الحوسبة، والتوازي. في مجال الحوسبة، تشمل مقاييس قوة الحوسبة المستخدمة بشكل شائع FLOPS (العمليات العائمة في الثانية)، IPS (التعليمات في الثانية)، TPS (المعاملات في الثانية)، إلخ.

تقيس FLOPS قدرة الكمبيوتر على معالجة عمليات النقطة العائمة (العمليات الرياضية التي تتضمن نقاط عشرية وتتطلب النظر في مسائل الدقة وأخطاء التقريب). إنها تقيس عدد عمليات النقطة العائمة التي يمكن للكمبيوتر إكمالها في الثانية. FLOPS هو مقياس لقدرات الحوسبة عالية الأداء للكمبيوتر ويُستخدم عادة لقياس قدرات الحوسبة للحواسيب الضخمة الحجم والخوادم ذات الأداء العالي ووحدات معالجة الرسومات (GPUs) وما إلى ذلك. على سبيل المثال، إذا كان لديك نظام كمبيوتر يحتوي على 1 تيرافلوبس (تريليون عملية نقطة عائمة في الثانية)، فإن ذلك يعني أنه يمكنه إكمال تريليون عملية نقطة عائمة في الثانية.

تقيس IPS سرعة معالجة الكمبيوتر للتعليمات. إنها مقياس لعدد التعليمات التي يمكن للكمبيوتر تنفيذها في الثانية وهو مقياس لأداء التعليم الفردي للكمبيوتر، يُستخدم عادة لقياس أداء وحدة المعالجة المركزية (CPU). على سبيل المثال، يعني وحدة معالجة مركزية بـ IPS قدرها 3 غيغاهرتز (3 مليار تعليمة في الثانية) أنها يمكنها تنفيذ 3 مليار تعليمة في الثانية.

تقيس TPS قدرة الكمبيوتر على معالجة المعاملات. إنها تقيس كم عدد المعاملات التي يمكن لجهاز الكمبيوتر إكمالها في الثانية الواحدة، وعادة ما تُستخدم لقياس أداء خادم قواعد البيانات. على سبيل المثال، يحتوي خادم قاعدة بيانات على TPS يبلغ 1،000، مما يعني أنه يمكنه معالجة 1،000 معاملة قاعدة بيانات في الثانية الواحدة.

بالإضافة إلى ذلك، هناك بعض مقاييس قوة الحوسبة لسيناريوهات تطبيق محددة، مثل سرعة الاستنتاج، سرعة معالجة الصور، ودقة التعرف على الصوت.

نوع من قوة الحساب

تشير قوة الحوسبة لوحدة معالجة الرسومات (GPUs) إلى القدرة الحسابية لوحدات معالجة الرسومات. على عكس وحدات المعالجة المركزية (CPUs)، تم تصميم وحدات معالجة الرسومات بشكل خاص لمعالجة البيانات الرسومية مثل الصور ومقاطع الفيديو. لديها عدد كبير من وحدات المعالجة وقدرات حوسبة موازية فعالة، ويمكنها أداء عدد كبير من العمليات العائمة النقطية بشكل متزامن. نظرًا لأن وحدات معالجة الرسومات تم تصميمها أصلاً لمعالجة الرسومات في الألعاب، فإنها عادة ما تكون لديها سرعات ساعة أعلى وعرض نطاق ذاكرة أكبر من وحدات المعالجة المركزية لدعم الحسابات الرسومية المعقدة.

الفرق بين وحدات المعالجة المركزية (CPUs) ووحدات المعالجة الرسومية (GPUs)

الهندسة المعمارية: تتمتع وحدات المعالجة المركزية (CPUs) ووحدات المعالجة الرسومية (GPUs) بهندسة حوسبة مختلفة. تحتوي وحدات المعالجة المركزية عادةً على نواة واحدة أو أكثر، حيث يكون كل منها معالج عام قادر على أداء مجموعة متنوعة من العمليات المختلفة. أما وحدات المعالجة الرسومية، فتحتوي على عدد كبير من معالجات التدفق ومعالجات الظلال، والتي تستخدم بشكل خاص لتنفيذ الحسابات المتعلقة بمعالجة الصور؛

الحوسبة المتوازية: تمتلك وحدات معالجة الرسوميات عادة قدرات أعلى في الحوسبة المتوازية. يحتوي معالج الوحدة المركزية على عدد محدود من النوى، ويمكن لكل نواة تنفيذ تعليمة واحدة فقط، ولكن يمكن لوحدة معالجة الرسوميات أن تحتوي على آلاف من معالجات السلسلة التي يمكنها تنفيذ تعليمات وعمليات متعددة بشكل متزامن. لذلك، عمومًا، تكون وحدات معالجة الرسوميات أفضل من وحدات معالجة الوحدة المركزية في أداء المهام المتوازية، مثل تعلم الآلة والتعلم العميق، التي تتطلب حسابات موازية مكثفة؛

تصميم البرمجيات: تعتبر برمجة الوحدات المعالجة الرسومية أكثر تعقيدًا نسبيًا مقارنة بالوحدات المعالجة المركزية. إنها تتطلب استخدام لغات برمجة محددة (مثل CUDA أو OpenCL) وتقنيات برمجية محددة لاستغلال قدرات الحوسبة الموازية للوحدات المعالجة الرسومية. على النقيض من ذلك، فإن برمجة وحدات المعالجة المركزية أبسط ويمكن استخدام لغات برمجة عامة وأدوات.

أهمية قوة الحوسبة

في عصر الثورة الصناعية ، كان النفط شريان الحياة للعالم وتغلغل في كل صناعة. في عصر الذكاء الاصطناعي القادم ، ستكون قوة الحوسبة هي "النفط الرقمي" للعالم. من سعي الشركات الكبرى المحموم للحصول على رقائق الذكاء الاصطناعي وأسهم Nvidia التي تتجاوز تريليون دولار ، إلى الحصار الذي فرضته الولايات المتحدة مؤخرا على الرقائق المتطورة من الصين ، بما في ذلك سعة طاقة الحوسبة ، وحجم الشريحة ، وحتى خطط حظر سحابة GPU ، فإن أهمية قوة الحوسبة أمر بديهي. ستكون قوة الحوسبة سلعة في العصر القادم.

نظرة عامة على الذكاء الاصطناعي العام

الذكاء الاصطناعي (AI) هو علم فني جديد يدرس ويطور ويطبق النظريات والأساليب والتكنولوجيا لمحاكاة وتوسيع وتوسيع الذكاء البشري. بدأ في الخمسينيات والستينيات و، بعد تطور يزيد عن نصف قرن، شهد تطورات متشابكة من خلال ثلاث موجات: الرمزية والاتصالية والمقاربات القائمة على العميل. اليوم، كتقنية عامة ناشئة، يقود الذكاء الاصطناعي تغيرات عميقة في الحياة الاجتماعية وفي جميع الصناعات. تعريف أكثر تحديدًا للذكاء الاصطناعي الانشائي حاليًا هو: الذكاء الاصطناعي العام (AGI)، نظام ذكاء اصطناعي بمجموعة واسعة من قدرات الفهم التي يمكن أن يؤدي المهام ويعمل في مجالات مختلفة بذكاء مماثل أو يتجاوز مستويات البشر. يتطلب AGI في الأساس ثلاثة عناصر، التعلم العميق (DL)، البيانات الكبيرة، وقوة الحوسبة الكبيرة.

التعلم العميق

التعلم العميق هو إحدى مجالات التعلم الآلي (ML)، وخوارزميات التعلم العميق هي شبكات عصبية مستوحاة من الدماغ البشري. على سبيل المثال، يحتوي الدماغ البشري على ملايين من الخلايا العصبية المتصلة التي تعمل معًا لتعلم ومعالجة المعلومات. وبالمثل، تتكون الشبكات العصبية في التعلم العميق (أو الشبكات العصبية الصناعية) من طبقات متعددة من الخلايا العصبية الاصطناعية تعمل معًا داخل الكمبيوتر. تستخدم هذه الخلايا العصبية الاصطناعية، المعروفة باسم العقد، الحسابات الرياضية لمعالجة البيانات. خوارزميات التعلم العميق هي خوارزميات تعلم تستخدم هذه العقد لحل المشاكل المعقدة.

يمكن تقسيم الشبكات العصبية إلى الطبقة العليا، الطبقات الخفية والطبقة الناتجة. والاتصالات بين هذه الطبقات المختلفة تتكون من معلمات.

الطبقة الإدخال: الطبقة الإدخال هي الطبقة الأولى في الشبكة العصبية وتتولى استقبال البيانات الخارجية المدخلة. يتوافق كل عقدة في الطبقة الإدخال مع سمة من البيانات المدخلة. على سبيل المثال، في معالجة الصور، قد تتوافق كل عقدة مع قيمة بكسل في الصورة.

الطبقات المخفية: تقوم طبقة الإدخال بمعالجة البيانات وتمريرها إلى طبقات أعمق داخل الشبكة. تعالج هذه الطبقات المخفية المعلومات على مستويات مختلفة ، وتعدل سلوكها عند تلقي معلومات جديدة. يمكن أن تحتوي شبكات التعلم العميق على مئات الطبقات المخفية ، مما يسمح لها بتحليل المشكلات من وجهات نظر مختلفة متعددة. على سبيل المثال ، إذا تم إعطاؤك صورة لحيوان غير معروف تحتاج إلى تصنيفه ، فيمكنك مقارنته بالحيوانات التي تعرفها بالفعل. على سبيل المثال ، يمكنك معرفة نوع من خلال شكل أذنيه وعدد الأرجل وحجم تلاميذه. تعمل الطبقات المخفية في الشبكات العصبية العميقة بطريقة مماثلة. إذا كانت خوارزمية التعلم العميق تحاول تصنيف صورة لحيوان ، فستقوم كل طبقة مخفية بمعالجة ميزات مختلفة للحيوانات ومحاولة تصنيفها بدقة.

الطبقة الناتجة: الطبقة الناتجة هي الطبقة الأخيرة في الشبكة العصبية وتكون مسؤولة عن توليد الناتج للشبكة. كل خلية عصبية في الطبقة الناتجة تمثل فئة أو قيمة ناتجة محتملة. على سبيل المثال، في مشكلة التصنيف، قد تتوافق كل خلية عصبية في الطبقة الناتجة مع فئة، بينما في مشكلة الانحدار، قد تحتوي الطبقة الناتجة على خلية عصبية واحدة فقط يمثل قيمتها الناتج المتوقع؛

المعلمات: في الشبكات العصبية، يتم تمثيل الاتصالات بين الطبقات المختلفة بواسطة الأوزان والانحيازات، التي يتم تحسينها خلال عملية التدريب لتمكين الشبكة من تحديد الأنماط بدقة في البيانات وإجراء توقعات. يمكن أن يؤدي زيادة المعلمات إلى تحسين سعة النموذج في الشبكة العصبية، أي قدرة النموذج على تعلم وتمثيل الأنماط المعقدة في البيانات. ولكن بالمقابل، ستزيد الزيادة المقابلة في المعلمات من الطلب على قوة الحوسبة.

بيانات ضخمة

من أجل أن تكون مدربة بشكل فعال، تحتاج الشبكات العصبونية عادة إلى بيانات كبيرة ومتنوعة وعالية الجودة من مصادر متعددة. تعتبر هذه البيانات أساس تدريب وتحقق نموذج التعلم الآلي. من خلال تحليل البيانات الكبيرة، يمكن لنماذج التعلم الآلي أن تتعلم الأنماط والعلاقات داخل البيانات، مما يتيح لها أن تقوم بالتنبؤ أو التصنيف.

قوة الحوسبة الضخمة

ينشأ الطلب على قوة الحوسبة الكبيرة من عدة جوانب للشبكات العصبية: الهياكل المعقدة متعددة الطبقات ، وعدد كبير من المعلمات ، والحاجة إلى معالجة كميات هائلة من البيانات ، وطرق التدريب التكرارية (خلال مرحلة التدريب ، يجب أن يتكرر النموذج بشكل متكرر ، وإجراء حسابات الانتشار الأمامي والخلفي لكل طبقة ، بما في ذلك حسابات وظائف التنشيط ، وظائف الخسارة والتدرجات وتحديثات الوزن) ، و NEND للحسابات عالية الدقة ، وقدرات الحوسبة المتوازية ، وتقنيات التحسين والتنظيم ، وعمليات تقييم النموذج والتحقق منه. مع تقدم التعلم العميق ، تزداد متطلبات قوة الحوسبة الهائلة ل AGI بنحو 10 مرات كل عام. يحتوي أحدث طراز حتى الآن ، GPT-4 ، على 1.8 تريليون معلمة ، بتكلفة تدريب واحدة تزيد عن 60 مليون دولار ومتطلبات طاقة حوسبة تبلغ 2.15e25 FLOPS (21.5 كوينتيليون عمليات الفاصلة العائمة). لا يزال الطلب على قوة الحوسبة للتدريب على النماذج المستقبلية يتوسع ، ويتم تطوير نماذج جديدة بمعدل متزايد.

اقتصاد قوة الحوسبة الذكية

حجم سوق المستقبل

وفقًا لأكثر التقديرات موثوقيةً، يتوقع أن يزيد حجم سوق الحوسبة العالمية للذكاء الاصطناعي من 19.5 مليار دولار في عام 2022 إلى 34.66 مليار دولار في عام 2026، حسبما جاء في "تقرير تقييم مؤشر قوة الحوسبة العالمية 2022-2023" الذي تم إعداده بالتعاون بين الشركة الدولية لتقدير البيانات (IDC) وشركة إنسبور للمعلومات ومعهد أبحاث الصناعة العالمية في جامعة تسينغهوا. من المتوقع أن ينمو حجم سوق الحوسبة الاصطناعية الإنشائية من 820 مليون دولار في عام 2022 إلى 10.99 مليار دولار في عام 2026. ومن المتوقع أن ترتفع حصة الحوسبة الاصطناعية الإنشائية في سوق الحوسبة الإجمالي للذكاء الاصطناعي من 4.2% إلى 31.7%.

احتكار في اقتصاد القوة الحاسوبية

تم احتكار إنتاج وحدات معالجة الرسومات الذكاء الاصطناعي حصريا من قبل NVIDIA وهي باهظة الثمن (تم بيع أحدث H100 مقابل 40,000 ألف دولار لكل وحدة). بمجرد إصدار وحدات معالجة الرسومات ، يتم التقاطها من قبل عمالقة التكنولوجيا في وادي السيليكون. تستخدم بعض هذه الأجهزة لتدريب نماذجها الجديدة. يتم تأجير الباقي لمطوري الذكاء الاصطناعي من خلال المنصات السحابية ، مثل تلك المملوكة لشركة Google و Amazon و Microsoft ، والتي تتحكم في كمية هائلة من موارد الحوسبة مثل الخوادم ووحدات معالجة الرسومات ووحدات TPU. أصبحت قوة الحوسبة موردا جديدا يحتكره هؤلاء العمالقة. لا يمكن للعديد من مطوري الذكاء الاصطناعي شراء وحدة معالجة رسومات مخصصة بدون ترميز. من أجل استخدام أحدث المعدات ، يتعين على المطورين استئجار خوادم سحابية AWS أو Microsoft. تشير التقارير المالية إلى أن هذا العمل يحقق أرباحا عالية للغاية. مع الخدمات السحابية من AWS التي تفتخر بهامش ربح إجمالي يبلغ 61٪ ، في حين أن هامش الربح الإجمالي لشركة Microsoft أعلى بنسبة 72٪.

هل علينا أن نقبل هذه السلطة المركزية والتحكم، وندفع هامش ربح بنسبة 72٪ عن موارد الحوسبة؟ هل العمالقة الذين استبدلوا الويب 2 سيهيمنون أيضًا على العصر القادم؟

تحديات القوة الحوسبة AGI المتمركزة

عندما يتعلق الأمر بمكافحة الاحتكار، يُعتبر اللامركزية عادة الحل الأمثل. نظرًا للمشاريع القائمة، هل يمكننا تحقيق القوة الضخمة للحوسبة المتطلبة للذكاء الاصطناعي من خلال مشاريع تخزين DePIN المدمجة مع بروتوكولات مثل RDNR لاستخدام وحدات معالجة الرسومات الشاغرة؟ الجواب لا. الطريق إلى قتل التنين ليس بهذه البساطة. لم تكن المشاريع الأولية مصممة خصيصًا لقوة الحوسبة AGI وليست جدوى. جلب القوة الحاسوبية إلى سلسلة الكتل يواجه على الأقل التحديات الخمسة التالية على الأقل:

  1. التحقق من العمل: لبناء شبكة حوسبة لا تعتمد على الثقة توفر حوافز اقتصادية للمشاركين، يجب أن تكون للشبكة وسيلة للتحقق مما إذا كانت عمليات التعلم العميق تمت فعليا. المشكلة الأساسية هنا هي اعتماد حالة النماذج الخاصة بالتعلم العميق؛ في هذه النماذج، يعتمد مدخل كل طبقة على مخرج الطبقة السابقة. وهذا يعني أنه لا يمكنك فقط التحقق من طبقة واحدة في نموذج دون مراعاة جميع الطبقات التي تسبقها. تعتمد عملية كل طبقة على نتائج جميع الطبقات السابقة. لذلك، من أجل التحقق من العمل المكتمل في نقطة معينة (مثل طبقة معينة)، يجب تنفيذ كل العمل من بداية النموذج حتى تلك النقطة المحددة.

  2. السوق: كسوق ناشئ، يخضع سوق قوة الحوسبة الذكية لمشاكل العرض والطلب، مثل مشكلة بدء التشغيل البارد. تحتاج السيولة في العرض والطلب إلى أن تكون متطابقة تقريبًا من البداية حتى يمكن للسوق أن ينمو بنجاح. ومن أجل الاستفادة من العرض المحتمل لقوة الحوسبة، يجب توفير حوافز واضحة للمشاركين مقابل مواردهم الحسابية. يحتاج السوق إلى آلية لتتبع الحسابات المكتملة ودفع المزودين وفقًا لذلك في الوقت المناسب. في الأسواق التقليدية، يتولى الوسطاء مهام مثل الإدارة والتوجيه، مع تقليل تكاليف التشغيل من خلال تحديد حدود الدفع الدنيا. ومع ذلك، تكون هذه الطريقة مكلفة عند توسيع حجم السوق. يمكن فقط الاستيلاء اقتصاديًا على جزء صغير من العرض، مما يؤدي إلى حالة توازن حدية يمكن للسوق فيها فقط الاستيلاء على إمداد محدود دون أن تتمكن من النمو بشكل أكبر؛

  3. مشكلة التوقف: مشكلة التوقف هي قضية أساسية في نظرية الحوسبة، تتضمن تحديد ما إذا كانت مهمة الحوسبة المعطاة ستنتهي في فترة زمنية محددة أم ستستمر بشكل لا نهائي. هذه المشكلة لا يمكن حلها، مما يعني عدم وجود خوارزمية عالمية يمكنها التنبؤ بما إذا كانت أي عملية حسابية معطاة ستتوقف في وقت محدد. على سبيل المثال، تواجه تنفيذ العقود الذكية على إيثيريوم مشكلة توقف مماثلة. من المستحيل تحديد مسبقًا كم موارد الحوسبة ستتطلب تنفيذ عقد ذكي، أو ما إذا كان سيكتمل في وقت معقول.

(في سياق التعلم العميق، سيكون هذا المشكلة أكثر تعقيدًا حيث ستنتقل النماذج والأطر الزمنية من بناء الرسم البياني الثابت إلى البناء الديناميكي والتنفيذ.)

  1. الخصوصية: التصميم والتطوير بوعي الخصوصية ضروري لفرق المشاريع. على الرغم من أن يمكن إجراء العديد من أبحاث تعلم الآلة على مجموعات بيانات عامة، إلا أنه من الضروري عادةً ضبط النموذج على بيانات المستخدم الممتلكة لتحسين أداء النموذج والتكيف مع التطبيقات الخاصة. قد تتضمن عملية ضبط النموذج هذه معالجة البيانات الشخصية، لذا يجب مراعاة متطلبات حماية الخصوصية.

  2. التوازي: هذا هو عامل رئيسي في عدم قابلية تنفيذ المشاريع الحالية. يتم تدريب نماذج التعلم العميق عادةً بشكل متوازي على مجموعات عتاد كبيرة ذات تركيبات ممتلكات وبدنه منخفضة للغاية، وستتسبب وحدات المعالجة الرسومية في شبكات الحوسبة الموزعة في تكبد التأخير بسبب التبادل المتكرر للبيانات وستكون محدودة بأداء أبطأ وحدة معالجة رسومية. عندما تكون مصادر الحوسبة غير موثوقة وغير موثوقة، كيفية تحقيق التوازي الغير متجانس هو مشكلة يجب حلها. الطريقة القابلة للتنفيذ حاليًا هي تحقيق التوازي من خلال نماذج المحولات، مثل محولات الانتقال، التي تتمتع الآن بخصائص موازية بشكل كبير.

الحلول: على الرغم من أن محاولات الحالية في سوق قوة الحوسبة AGI المتميزة لا تزال في مراحلها الأولية، إلا أن هناك مشروعين قاما في البداية بحل تصميم الاتفاق في الشبكات المتميزة وتنفيذ شبكات قوة الحوسبة المتممة في تدريب النماذج والاستدلال. سيستخدم ما يلي Gensyn و Together كأمثلة لتحليل أساليب التصميم والمشاكل في سوق قوة الحوسبة AGI المتميزة.

Gensyn

جينسين هو سوق قوة الحوسبة AGI الذي لا يزال في مرحلة الإنشاء، بهدف حل التحديات المختلفة للحوسبة العميقة اللامركزية وتقليل التكاليف المرتبطة بالتعلم العميق الحالي. جينسين في الأساس بروتوكول دليل الحصة الأولى يعتمد على شبكة بولكادوت، الذي يكافأ مباشرة الحلول (أولئك الذين يحلون المهام الحسابية) من خلال العقود الذكية مقابل أجهزة GPU الخاملة لديهم للحوسبة وأداء مهام تعلم الآلة.

عند العودة إلى السؤال السابق، يكمن جوهر بناء شبكة حوسبة غير قابلة للثقة حقًا في التحقق من العمل الجاهز لتعلم الآلة. هذه مسألة معقدة للغاية تتطلب إيجاد توازن بين تقاطع نظرية الاتساق، ونظرية الألعاب، وعلم التشفير، والتحسين.

يقترح Gensyn حلا بسيطا حيث يقدم المحللون نتائج مهام التعلم الآلي التي أكملوها. للتحقق من دقة هذه النتائج ، يحاول مدقق مستقل آخر إعادة أداء نفس العمل. يمكن تسمية هذا الأسلوب بالنسخ المتماثل الفردي لأن مدققا واحدا فقط سيعيد تنفيذ المهمة. هذا يعني أن هناك عملا إضافيا واحدا فقط للتحقق من دقة العمل الأصلي. ومع ذلك ، إذا لم يكن الشخص الذي يتحقق من العمل هو مقدم الطلب الأصلي ، فستظل مشكلة الثقة قائمة. قد لا يكون المحققون أنفسهم صادقين ، ويجب التحقق من عملهم. يؤدي هذا إلى مشكلة محتملة حيث إذا لم يكن الشخص الذي يتحقق من العمل هو مقدم الطلب الأصلي ، فستكون هناك حاجة إلى مدقق آخر للتحقق من عمله. ولكن قد لا يكون هذا المدقق الجديد موثوقا به أيضا ، لذلك هناك حاجة إلى مدقق آخر للتحقق من عملهم ، والذي يمكن أن يستمر إلى الأبد ، مما يؤدي إلى إنشاء سلسلة نسخ متماثل لا نهائية. هنا نحتاج إلى تقديم ثلاثة مفاهيم أساسية ونسجها لبناء نظام مشارك بأربعة أدوار لحل مشكلة السلسلة اللانهائية.

إثباتات التعلم الاحتمالي: ينشئ شهادات عمل مكتملة باستخدام البيانات الوصفية من عملية التحسين القائمة على التدرج. من خلال تكرار مراحل معينة، يمكن التحقق بسرعة من هذه الشهادات لضمان أن العمل تم كما هو متوقع.

بروتوكول تحديد المواقع الدقيقة القائم على الرسوم البيانية: باستخدام بروتوكولات تحديد المواقع الدقيقة القائمة على الرسوم البيانية متعددة الحبيبية وتنفيذ متسق للمقارنات العابرة. وهذا يتيح إعادة تشغيل العملية ومقارنتها لضمان الاتساق، الذي يتم تأكيده في نهاية المطاف من قبل سلسلة الكتل ذاتها.

لعبة حافزية بنمط Truebit: استخدم الرهانات والتقطيع لإنشاء لعبة حافزية تضمن أن كل مشارك يعقل اقتصاديًا سيتصرف بصدق ويؤدي مهامه المتوقعة.

يتكون نظام المشاركين من المرسلين، والحلول، والتحقق، والمبلغين.

المقدمون:

المُقدمون هم مستخدمو النظام النهائيين الذين يقدمون المهام التي يتعين حسابها ويدفعون ثمن وحدات العمل المكتملة؛

المحللون:

الحلول هي العمال الأساسيين في النظام، يقومون بتدريب النماذج وإنشاء الأدلة التي يتم التحقق منها من قبل المحقق؛

المحققون:

المحققون هم العنصر الرئيسي في ربط عملية التدريب غير القطعية مع الحوسبات الخطية الحاسمة، حيث يقومون بتكرار أجزاء من دليل المحلل ومقارنة المسافات مع الحدود المتوقعة؛

المبلغون الذين يكشفون عن المخالفات:

المُبْلغون هم الخط الأخير للدفاع، يُفحصون عمل المُدققين ويثيرون تحديات على أمل الحصول على مدفوعات مكافأة سخية.

عملية النظام

يعمل نظام اللعبة الذي صممه البروتوكول من خلال ثماني مراحل، تغطي أربعة أدوار أساسية للمشاركين، لاستكمال العملية بأكملها من تقديم المهمة إلى التحقق النهائي.

تقديم المهمة: تتكون المهام من ثلاث قطع محددة من المعلومات:

البيانات الوصفية التي تصف المهمة والمعلمات الفائقة؛

ملف ثنائي نموذجي (أو الهندسة المعمارية الأساسية)؛

البيانات التدريبية المعالجة مسبقًا والمتاحة للجمهور.

لتقديم مهمة، يحدد المقدم تفاصيل المهمة في تنسيق قابل للقراءة من قبل الآلة ويقدمها إلى السلسلة مع ملف النموذج الثنائي (أو البنية قابلة للقراءة من قبل الآلة) وموقع عام للبيانات التدريب المعالجة مسبقًا. يمكن تخزين البيانات العامة في تخزين الكائنات البسيط مثل S3 لدي AWS، أو في تخزين متمركز مثل IPFS، Arweave، أو Subspace.

التوصيف: يقوم عملية التوصيف بتحديد عتبة المسافة الأساسية للتحقق من دليل التعلم. سيقوم المحققون بجلب مهام التوصيف بانتظام وتوليد عتبات التحور لمقارنة دلائل التعلم. لتوليد العتبة، سيقوم المحقق بتشغيل أجزاء من التدريب بشكل حتمي وإعادة تشغيلها باستخدام بذور عشوائية مختلفة، وتوليد وفحص دلائلهم الخاصة. خلال هذه العملية، سيقوم المحقق بتحديد عتبة المسافة المتوقعة عمومًا للعمل غير الحتمي للحل الذي يمكن استخدامه للتحقق.

التدريب: بعد تحليل الأداء، تدخل المهام في بركة المهام العامة (مماثلة لبركة الذاكرة في إيثيريوم). حدد محللًا لتنفيذ المهمة وقم بإزالة المهمة من بركة المهام. يقوم المحللون بأداء المهمة بناءً على البيانات الوصفية التي تم تقديمها من قبل المقدم والنموذج والبيانات التدريبية المقدمة. عند تنفيذ مهام التدريب، يقوم المحللون أيضًا بإنشاء دلائل على التعلم من خلال التحقق من نقاط بانتظام وتخزين البيانات الوصفية (بما في ذلك المعلمات) خلال عملية التدريب، بحيث يمكن للمحققين تكرار خطوات الأمثلية التالية بدقة قدر الإمكان.

توليد الإثبات: يقوم المحللون بشكل دوري بتخزين أوزان النموذج أو التحديثات والمؤشرات المقابلة لها لمجموعة بيانات التدريب لتحديد العينات المستخدمة لإنشاء تحديثات الوزن. يمكن تعديل تردد نقطة التفتيش لتوفير ضمانات أقوى أو لتوفير مساحة التخزين. يمكن أن تكون البراهين "مكدسة" ، مما يعني أنها يمكن أن تبدأ من توزيع عشوائي يستخدم لتهيئة الأوزان ، أو من الأوزان المدربة مسبقا التي تم إنشاؤها باستخدام البراهين الخاصة بها. يتيح ذلك للبروتوكول إنشاء مجموعة من النماذج الأساسية المثبتة والمدربة مسبقا والتي يمكن ضبطها لمهام أكثر تحديدا.

التحقق من البرهان: بعد إكمال المهمة، يسجل حلو الألغاز إتمام المهمة على السلسلة ويعرضون برهان تعلمهم في موقع يمكن الوصول إليه علنًا للمدققين للوصول إليه. يستخرج المدققون مهام التحقق من الجدوى من حوض العمليات العامة ويقومون بعمل حسابي لإعادة تشغيل جزء من البرهان وتنفيذ حسابات المسافة. تستخدم السلسلة، جنبًا إلى جنب مع الحد الذي تم حسابه خلال مرحلة تحديد الملامح، بعد ذلك المسافة الناتجة لتحديد ما إذا كان التحقق مطابقًا للبرهان.

التحدي الدقيق المستند إلى الرسم البياني: بعد التحقق من إثبات التعلم ، يمكن للمبلغين عن المخالفات تكرار عمل المدققين للتحقق مما إذا كان قد تم تنفيذ أعمال التحقق نفسها بشكل صحيح. إذا اعتقد المبلغون عن المخالفات أن التحقق قد تم تنفيذه بشكل غير صحيح (بشكل ضار أم لا) ، فيمكنهم الطعن فيه للتعاقد على التحكيم للحصول على مكافأة. يمكن أن تأتي هذه المكافأة من ودائع الحل والمدقق (في حالة إيجابية حقيقية) ، أو من مكافأة مجمع اليانصيب (في حالة الإيجابية الخاطئة) ، مع إجراء التحكيم باستخدام السلسلة نفسها. لن يقوم المبلغون عن المخالفات (الذين يعملون كمدققين في حالتهم) بالتحقق من العمل والطعن فيه إلا إذا كانوا يتوقعون الحصول على تعويض مناسب. في الممارسة العملية ، هذا يعني أنه من المتوقع أن ينضم المبلغون عن المخالفات ويغادرون الشبكة بناء على عدد المبلغين النشطين الآخرين (أي مع الودائع الحية والتحديات). لذلك ، فإن الإستراتيجية الافتراضية المتوقعة لأي مبلغ عن المخالفات هي الانضمام إلى الشبكة عندما يكون هناك عدد أقل من المبلغين الآخرين ، ونشر إيداع ، وتحديد مهمة نشطة بشكل عشوائي ، وبدء عملية التحقق الخاصة بهم. بعد مهمة واحدة ، سيحصلون على مهمة نشطة عشوائية أخرى ويكررونها حتى يتجاوز عدد المبلغين عن المخالفات حد الدفع المحدد ، وعند هذه النقطة سيغادرون الشبكة (أو على الأرجح ، يتحولون إلى دور آخر في الشبكة - المدقق أو الحل - بناء على قدرات أجهزتهم) حتى ينعكس الموقف مرة أخرى.

عندما يتم تحدي الموثقين من قبل المبلغين، يدخلون في عملية مع السلسلة لمعرفة موقع العملية أو الإدخال المتنازع عليه، وفي النهاية ستقوم السلسلة بأداء العملية الأساسية النهائية وتحديد ما إذا كان التحدي مبررًا. للحفاظ على نزاهة المبلغين والتغلب على مأزق الموثق، يتم هنا إدخال أخطاء مجبرة دورية ودفعات جائزة كبيرة.

التسوية: خلال عملية التسوية، يتم دفع المشاركين استنادًا إلى استنتاجات الفحوص الاحتمالية والحتمية. تظهر سيناريوهات دفع مختلفة اعتمادًا على نتائج التحققات والتحديات السابقة. إذا تم اعتبار العمل قد تم تنفيذه بشكل صحيح وقد نجحت جميع الفحوص، يتم مكافأة مقدمي الحلول والتحقق استنادًا إلى العمليات التي تم تنفيذها.

مراجعة موجزة للمشروع

قد صمم Gensyn نظامًا لعلم الألعاب معقدًا على طبقة التحقق والطبقات المحفزة، مما يسمح بالتعرف السريع والتصحيح للأخطاء عن طريق تحديد التباينات داخل الشبكة. ومع ذلك، هناك العديد من التفاصيل المفقودة في النظام الحالي. على سبيل المثال، كيف يتم تعيين المعلمات لضمان أن تكون المكافآت والعقوبات معقولة دون تحديد الحد الأعلى بشكل كبير؟ هل قمت بالنظر في السيناريوهات المتطرفة والقدرة الحسابية المختلفة لحل المشكلات في جوانب علم الألعاب؟ لا يوجد وصف مفصل للتنفيذ المتوازي غير المتجانس في الإصدار الحالي من الورقة البيضاء. لا يزال لدى Gensyn طريق طويل للسير عليه.

Together.ai

Together.ai هي شركة تركز على حلول الذكاء الاصطناعي المفتوحة المصدر والمتمركزة للنماذج الكبيرة. تهدف إلى تحقيق أن يمكن لأي شخص الوصول إلى الذكاء الاصطناعي في أي مكان. صارما، لا يعتبر Together مشروعًا للبلوكشين، لكنه حل بشكل أولي مشكلات التأخير في شبكات الحوسبة AGI المتمركزة. لذلك، يحلل المقال التالي فقط حلول Together ولا يقيم المشروع نفسه.

كيفية تحقيق تدريب واستنتاج النماذج الكبيرة عندما تكون الشبكات اللامركزية أبطأ بمقدار 100 مرة من مراكز البيانات؟

دعونا نتخيل توزيع وحدات معالجة الرسومات المشاركة في شبكة لامركزية. ستنتشر هذه الأجهزة عبر قارات ومدن مختلفة، حيث سيحتاج كل منها إلى الاتصال بسرعات وعرض نطاق ترددي متفاوتة. كما هو موضح في الشكل أدناه، يظهر سيناريو موزع محاكي يوضح الأجهزة الموجودة في أمريكا الشمالية وأوروبا وآسيا، مع اختلاف في عرض النطاق الترددي والتأخير بينهم. ما الذي يجب القيام به لربطها معًا بفعالية؟

التدريب الموزع على النمذجة الحسابية: يوضح الرسم البياني أدناه وضع تدريب نموذج أساسي عبر أجهزة متعددة، مع ثلاثة أنواع من التواصل: تنشيط إلى الأمام، تدرج إلى الخلف، وتواصل جانبي.

من خلال جمع عرض النطاق الترددي والتأخير، يجب أن تُراعى نوعين من التوازي: توازي الأنابيب وتوازي البيانات، مما يقابل الأنواع الثلاثة للاتصال في سيناريو الأجهزة المتعددة:

في التوازي في خط الأنابيب، يتم تقسيم جميع طبقات النموذج إلى عدة مراحل، حيث يقوم كل جهاز بمعالجة مرحلة واحدة، والتي هي تسلسل من الطبقات المتتالية، مثل عدة كتل محول. خلال انتشار إلى الأمام، تمر النشاطات إلى المرحلة التالية، وخلال الانتشار الخلفي، تمر تدرجات النشاطات إلى المرحلة السابقة.

في التوازي البياني للبيانات، تقوم الأجهزة بحساب التدرجات بشكل مستقل لدفعات فرعية مختلفة ولكنها بحاجة إلى مزامنة هذه التدرجات من خلال التواصل.

تحسين الجدولة:

في بحيطة غير مركزية، يكون عملية التدريب غالبًا ما تقتصر بواسطة التواصل. تعمل خوارزميات الجدولة عمومًا على تعيين المهام التي تتطلب تواصلًا واسعًا إلى الأجهزة ذات الاتصالات الأسرع. نظرًا للتبعيات بين المهام وتشتت الشبكة، من الضروري أولاً تصميم تكلفة استراتيجيات الجدولة المحددة. من أجل التقاط تكلفة التواصل المعقدة لتدريب النماذج القاعدية، تقترح Together صياغة جديدة وتقسم نموذج التكلفة إلى مستويين باستخدام نظرية الرسوم البيانية:

نظرية الرسم البياني هي فرع من فروع الرياضيات التي تدرس الخصائص والهياكل الخاصة بالرسوم البيانية (الشبكات). يتكون الرسم البياني من الفراغات (العقد) والحواف (الخطوط التي تربط العقد). الغرض الرئيسي من نظرية الرسم البياني هو دراسة مختلف الخصائص الخاصة بالرسوم البيانية، مثل الاتصال، التلوين، وطبيعة المسارات والدورات في الرسوم البيانية.

المستوى الأول هو مشكلة تقسيم الرسم البياني المتوازنة (تقسيم مجموعة الفروع في الرسم البياني إلى عدة مجموعات من حجم متساوي أو مقارب بينما يتم تقليل عدد الحواف بين المجموعات). في هذا التقسيم، يمثل كل مجموعة تقسيمًا، وتتم تقليل تكاليف الاتصال عن طريق تقليل الحواف بين التقسيمات، مما يتوافق مع تكاليف الاتصال للتوازي البيانات.

المستوى الثاني يتضمن مشكلة مطابقة الرسم البياني المشتركة ومشكلة بائع المسافات (مشكلة تحسين مجموعي تجميعية تجمع بين عناصر مطابقة الرسم البياني ومشكلة بائع المسافات). مشكلة مطابقة الرسم البياني تتضمن البحث عن تطابق في الرسم الذي يقلل أو يزيد من بعض التكاليف. مشكلة بائع المسافات تسعى إلى إيجاد المسار الأقصر الذي يزور جميع العقد في الرسم الذي يتوافق مع تكاليف الاتصال من التوازيية الخطية.

الشكل أعلاه هو مخطط للعملية. نظرًا للحسابات المعقدة المشمولة في التنفيذ الفعلي، تم تبسيط العملية الموصوفة في الرسم التخطيطي لفهم أسهل. للحصول على تنفيذ مفصل، يمكن للشخص الرجوع إلى الوثائق الخاصة بموقع Together الرسمي.

لنفترض أن هناك مجموعة من أجهزة NN ، DD ، مع تأخيرات اتصال غير مؤكدة (matrix AA) وعرض النطاق الترددي (matrix BB) ، بناء على مجموعة الجهاز DD ، نقوم أولا بإنشاء قسم رسم بياني متوازن. يحتوي كل قسم أو مجموعة من الأجهزة على عدد متساو تقريبا من الأجهزة ، وكلها تتعامل مع نفس مرحلة خط الأنابيب. هذا يضمن أنه أثناء توازي البيانات ، تؤدي كل مجموعة أجهزة قدرا مماثلا من العمل. وفقا لتأخيرات الاتصال وعرض النطاق الترددي ، يمكن للصيغة حساب "تكلفة" نقل البيانات بين مجموعات الأجهزة. يتم دمج كل مجموعة متوازنة لإنشاء رسم بياني خشن متصل بالكامل ، حيث تمثل كل عقدة مرحلة خط أنابيب ، وتمثل الحواف تكلفة الاتصال بين مرحلتين. لتقليل تكاليف الاتصال ، يتم استخدام خوارزمية مطابقة لتحديد مجموعات الأجهزة التي يجب أن تعمل معا.

للحصول على أمثلية إضافية، يمكن أيضًا تصميم هذه المشكلة كمشكلة عمليات بائرة للبائع المتجول (الحلقة المفتوحة تعني عدم الحاجة للعودة إلى نقطة البداية للمسار) للعثور على مسار أمثل لنقل البيانات عبر جميع الأجهزة. وأخيرًا، يستخدم Together خوارزمية جدولة مبتكرة للعثور على استراتيجية تخصيص أمثل لنموذج التكلفة المعطى، مما يقلل من تكاليف الاتصال ويزيد من كمية تدريب البيانات. ووفقًا للاختبارات، حتى إذا كان الشبكة بطيئة بنسبة 100 مرة تحت هذا الأسلوب المحسن لجدولة، فإن كمية تدريب البيانات من البداية إلى النهاية لا تتباطأ سوى بنسبة تتراوح بين 1.7 إلى 2.3 مرة.

أفضلية ضغط الاتصال وتحسينه:

لتحسين ضغط الاتصالات ، قدم Together خوارزمية AQ-SGD (للحصول على عملية حساب مفصلة ، يرجى الرجوع إلى الورقة "ضبط نماذج اللغة عبر الشبكات البطيئة باستخدام ضغط التنشيط مع الضمانات"). خوارزمية AQ-SGD هي تقنية ضغط تنشيط جديدة مصممة لمعالجة مشكلات كفاءة الاتصال أثناء التدريب الموازي لخطوط الأنابيب عبر الشبكات البطيئة. يختلف عن الطرق السابقة لضغط قيم التنشيط مباشرة ، يركز AQ-SGD على ضغط التغييرات في قيم التنشيط لنفس عينة التدريب في فترات مختلفة. تقدم هذه الطريقة الفريدة ديناميكية "ذاتية التنفيذ" مثيرة للاهتمام ، حيث من المتوقع أن يتحسن أداء الخوارزمية تدريجيا مع استقرار التدريب. تم تحليل خوارزمية AQ-SGD نظريا بدقة وثبت أن لديها معدلات تقارب جيدة في ظل ظروف فنية معينة ووظائف تكميم خطأ محدودة. يمكن تنفيذ الخوارزمية بشكل فعال دون إضافة نفقات إضافية لوقت التشغيل من طرف إلى طرف ، على الرغم من أنها تتطلب استخدام المزيد من الذاكرة و SSD لتخزين قيم التنشيط. من خلال التجارب المكثفة على تصنيف التسلسل ومجموعات بيانات نمذجة اللغة ، ثبت أن AQ-SGD يضغط قيم التنشيط إلى 2-4 بت دون التضحية بأداء التقارب. علاوة على ذلك ، يمكن دمج AQ-SGD مع خوارزميات ضغط التدرج الحديثة لتحقيق "ضغط الاتصال من طرف إلى طرف" ، مما يعني أن تبادل البيانات بين جميع الأجهزة ، بما في ذلك تدرجات النموذج وقيم التنشيط الأمامي والتدرجات الخلفية ، يتم ضغطها بدقة منخفضة ، وبالتالي تحسين كفاءة الاتصال بشكل كبير للتدريب الموزع. مقارنة بأداء التدريب الشامل في شبكة حوسبة مركزية (مثل 10 جيجابت في الثانية) بدون ضغط ، فهو حاليا أبطأ بنسبة 31٪ فقط. إلى جانب البيانات المتعلقة بتحسين الجدولة ، على الرغم من أنه لا تزال هناك فجوة معينة بين شبكات الحوسبة المركزية ، إلا أن هناك أملا كبيرا في اللحاق بالركب في المستقبل.

استنتاج

في الفترة الناتجة عن موجة الذكاء الاصطناعي، يعتبر سوق قوة الحوسبة AGI من دون شك السوق الذي يمتلك أكبر إمكانات وأكبر طلب بين أسواق القوة الحوسبية المختلفة. ومع ذلك، فإن أعلى مستويات الصعوبة في التطوير، ومتطلبات الأجهزة، والمطالبات الرأسمالية تجلب تحديات لهذه الصناعة. من خلال دمج المشاريع الاثنين المقدمة أعلاه، لا يزال هناك بعض الوقت قبل أن يتم إطلاق سوق قوة الحوسبة AGI. الشبكة اللامركزية الحقيقية أيضًا أكثر تعقيدًا بكثير من السيناريو المثالي. حاليًا، ليس كافيًا للتنافس مع عمالقة السحاب.

في وقت كتابة هذا التقرير ، لاحظت أيضا أن بعض المشاريع الصغيرة التي لا تزال في مهدها (مرحلة PPT) قد بدأت في استكشاف بعض نقاط الدخول الجديدة ، مثل التركيز على مرحلة الاستدلال AGI الأقل تحديا بدلا من مرحلة التدريب. ومع ذلك ، على المدى الطويل ، فإن أهمية اللامركزية والأنظمة غير المسموح بها عميقة. لا ينبغي أن يتركز الحق في الوصول إلى قوة الحوسبة AGI وتدريبها في أيدي عدد قليل من العمالقة المركزيين. لا تحتاج البشرية إلى "ثيوقراطية" جديدة أو "بابا" جديد ، ولا ينبغي لها أن تدفع رسوم عضوية باهظة الثمن.

إخلاء المسؤولية:

  1. تمت إعادة طبع هذه المقالة من [رأس المال YBB]. جميع حقوق النشر تنتمي إلى الكاتب الأصلي [يتم الترجمةZeke]. إذا كانت هناك اعتراضات على هذا النقل، يرجى الاتصال بالبوابة تعلمالفريق، وسيتولون بالأمر على الفور.
  2. إخلاء المسؤولية عن المسؤولية: الآراء والآراء التي تم التعبير عنها في هذه المقالة هي فقط تلك التي يعبر عنها الكاتب ولا تشكل أي نصيحة استثمارية.
  3. يتم إجراء ترجمات المقال إلى لغات أخرى من قبل فريق Gate Learn. ما لم يذكر غير ذلك، فإن نسخ أو توزيع أو ارتكاب السرقة الأدبية للمقالات المترجمة ممنوع.
即刻开始交易
注册并交易即可获得
$100
和价值
$5500
理财体验金奖励!