أداء النموذج الكبير 20B يمكن مقارنته بـ Llama2-70B! مفتوح المصدر بالكامل، كل شيء بدءًا من القاعدة وحتى الأدوات مرتب بشكل واضح.

** المصدر: ** شينزييوان

الآن، تم تحديث سجل معلمات النموذج المحلي مفتوح المصدر مرة أخرى!

في 20 سبتمبر، قام مختبر شنغهاي للذكاء الاصطناعي (مختبر شنغهاي للذكاء الاصطناعي) وSenseTime، بالتعاون مع الجامعة الصينية في هونغ كونغ وجامعة فودان، بفتح المصدر رسميًا لنموذج InternLM-20B الذي يحتوي على 20 مليار معلمة.

عنوان المشروع:

المجتمع السحري:

هذه المرة، يمكن القول أن الإصدار ذو 20 مليار معلمة من نموذج Shusheng·Puyu الكبير "يزيد الكمية دون زيادة السعر". عدد المعلمات أقل من الثلث، لكن أداءه يمكن أن ينافس المعيار الحالي نماذج مفتوحة المصدر - Llama2-70B. تم ترك نماذج 13B مفتوحة المصدر السائدة حاليًا بواسطة InternLM-20B في جميع الأبعاد.

ليس هذا فحسب، بل تمت أيضًا ترقية نظام الأدوات الكامل السلسلة لتطوير النماذج الكبيرة وتطبيقها في نفس الوقت.

من نموذج المصدر المفتوح نفسه إلى السلسلة الكاملة من الأدوات مفتوحة المصدر، هذه المرة، قام مختبر شنغهاي للذكاء الاصطناعي بإخراج جميع الكنوز التي تراكمت من أبحاثه وتطويره على نطاق واسع، على أمل مساعدة الباحثين والمؤسسات والممارسين الاجتماعيين يمكن للجميع المشاركة في الثورة التكنولوجية التي أحدثتها النماذج الكبيرة بتكلفة وعتبة منخفضة للغاية.

الأداء "رائد في فئته" والعتبة "جاهزة للاستخدام فور إخراجها من الصندوق". يعد InternLM-20B بمثابة المحفز ونقطة ارتكاز جديدة للنماذج الكبيرة للانتقال إلى آلاف الصناعات!

هذه الموجة من النماذج الكبيرة ستفيد الجميع.

كل ما نستخدمه مفتوح المصدر

كما نعلم جميعًا، في نظام البحث والتطوير بأكمله للنماذج الكبيرة، هناك روابط متعددة مرتبطة ببعضها البعض، وهي مجموعة معقدة جدًا من الحلقات المغلقة.

كيفية تنظيمها بطريقة أكثر توحيدا؟ كيفية استخدام النموذج الأساسي بعد الحصول عليه؟ ما هي الاحتياطات التي ينبغي اتخاذها أثناء عملية التنفيذ خطوة بخطوة؟ هناك مشاكل في كل مكان.

بعد الممارسة الحقيقية في العمل اليومي، اكتسب فريق مختبر شنغهاي للذكاء الاصطناعي مجموعة من الخبرات القيمة.

الآن، من أجل ازدهار النظام البيئي مفتوح المصدر، فإنهم ببساطة يفتحون المصدر لجميع الأدوات المشاركة في النموذج بدءًا من إعداد البيانات وحتى التدريب المسبق والنشر وحتى تطبيقات التقييم.

فك تشفير "الصيغة الحصرية"

إن أهمية البيانات بالنسبة للنماذج الكبيرة تشبه أهمية المواد الخام للإنتاج. فبدون مصدر للطاقة، لا يمكنها دفع تشغيل أنظمة الذكاء الاصطناعي الذكية. وعلى وجه الخصوص، تعد البيانات عالية الجودة أحد العناصر الأساسية لتصنيع النماذج الكبيرة.

فيما يتعلق بالتجميع، ليس من الضروري فقط تصفية وتنظيف المواد الأصلية التي تم الزحف إليها من قنوات مختلفة مثل صفحات الويب والكتب والتقارير المهنية والأوراق بشكل فعال، ولكن أيضًا الاستفادة الكاملة من التعليقات المقدمة من مستخدمي الاختبار الداخلي النموذجيين.

ومع ذلك، لكي يكتسب LLM القدرات الأساسية، مثل الفهم والبرمجة والتفكير المنطقي، ويصبح "محاربًا سداسيًا" حقيقيًا، فمن الأهم إنشاء البيانات بنفسه.

وفي هذا الصدد، فإن البحث الأكاديمي نشط للغاية أيضاً. على سبيل المثال، يستطيع برنامج "الكتب المدرسية هي كل ما تحتاج إليه" من شركة ميكروسوفت أن يحقق تقدماً نسبياً على المعيار المعياري من خلال بناء نموذج مدرب على البيانات phi-1.

وبقدر ما يتعلق الأمر بفريق مختبر شنغهاي للذكاء الاصطناعي، فإنهم لم يختاروا بناء البيانات من اتجاه واحد، ولكن من "البعد الكامل"، وفرز نظام المعرفة بأكمله وبناء المجموعة.

ولذلك فإن كثافة المعرفة والمنطق في هذه المجاميع عالية جدًا.

إن إضافة كمية صغيرة من "المحفز" إلى كمية كبيرة من المحتوى العادي لا يمكن أن يحفز القدرات الأساسية لـ LLM بشكل أفضل فحسب، بل يسمح أيضًا للنموذج باستيعاب المعلومات ذات الصلة وفهمها بشكل أفضل.

وعلى حد تعبير لين داهوا، العالم البارز في مختبر شنغهاي للذكاء الاصطناعي، "بمعنى ما، يمكن لرمز واحد هنا أن يعادل فعالية 10 أو حتى 100 رمز تقليدي."

فيما يتعلق بالقدرة الحاسوبية، باستثناء شركات الإنترنت الكبيرة التي لديها موارد وفيرة، فمن الصعب على معظم المطورين في مجتمع المصادر المفتوحة الحصول على المزيد من القوة الحاسوبية.

"آمل أن تكون هناك أدوات خفيفة الوزن يمكنها استخدام النموذج." هذه هي أكبر تعليقات المجتمع التي تلقاها مختبر شنغهاي للذكاء الاصطناعي.

من خلال أداة الضبط الدقيق خفيفة الوزن XTuner مفتوحة المصدر، يمكن للمستخدمين استخدام بياناتهم الخاصة لضبط النموذج مفتوح المصدر لمختبر شنغهاي للذكاء الاصطناعي على وحدة معالجة الرسومات المخصصة للمستهلك بسعة 8 جيجابايت.

بالإضافة إلى ذلك، فيما يتعلق بتطبيق النموذج، لا يزال "حوار الدردشة" جزءًا مهمًا جدًا من إمكانيات النموذج.

يريد مختبر شنغهاي للذكاء الاصطناعي أيضًا تسليط الضوء على أن النموذج الكبير يعمل كمركز مركزي ويستخدم الأدوات لحل المشكلات، على غرار الطريقة التي يستدعي بها Code Interpreter الأدوات.

وفي الوقت نفسه، خلال هذه العملية، يمكن للنموذج الكبير أيضًا أن يقوم بالتأمل الذاتي، وهذه هي الإمكانات الهائلة للعملاء الأذكياء بدعم من LLM.

يعتقد لين داهوا أن الوكيل سيكون اتجاهًا قيمًا للغاية للتنمية طويلة المدى التي يجب استكشافها.

في العالم النهائي للعملاء الأذكياء، سيستمر التقسيم التنظيمي للعمل بأكمله في الارتقاء والتطور. في المستقبل، سيكون هناك بالتأكيد الكثير من العملاء الأذكياء المتعايشين، ولكل منهم مجالات خبرته الخاصة، وسيكون هناك العديد من التقنيات التي يمكن أن تعزز التواصل بينهما.

إذن، أين هي الترقية المحددة لسلسلة الأدوات هذه؟

- البيانات: مجموعة OpenDataLab مفتوحة المصدر "Scholar·Ten Thousand Volumes" للتدريب المسبق

فيما يتعلق بالبيانات، تم فتح مجموعة التدريب متعدد الوسائط Scholar·Wanjuan 1.0 رسميًا في 14 أغسطس. ويتجاوز إجمالي حجم البيانات 2 تيرابايت، بما في ذلك مجموعة البيانات النصية ومجموعة البيانات الرسومية ومجموعة بيانات الفيديو.

من خلال "هضم" النصوص عالية الجودة، أظهرت نماذج سلسلة Shusheng أداءً ممتازًا في العديد من المهام التوليدية مثل الفهم الدلالي، والأسئلة والإجابة المعرفية، والفهم البصري، والسؤال والإجابة المرئية.

حتى الآن، كان هناك ما يقرب من 100،000 عملية تنزيل.

- التدريب المسبق: إطار التدريب المسبق الفعال لـ InternLM

في مرحلة ما قبل التدريب، يقوم مستودع InternLM أيضًا بفتح المصدر لإطار عمل ما قبل التدريب InternLM-Train.

من ناحية، فهو يدمج بعمق مشغلي نموذج المحولات لتحسين كفاءة التدريب. ومن ناحية أخرى، فهو يقترح تقنية Hybrid Zero الفريدة لتحقيق تداخل فعال بين الحوسبة والاتصالات، مما يقلل بشكل كبير من حركة الاتصالات عبر العقد أثناء عملية التدريب.

بفضل تحسين الأداء النهائي، يحقق هذا النظام مفتوح المصدر كفاءة عالية للحوسبة المتوازية لبطاقة كيلو، وقد وصل أداء التدريب الخاص به إلى المستوى الرائد في الصناعة.

- الضبط الدقيق: الضبط الدقيق لمعلمات InternLM الكاملة، الضبط الدقيق خفيف الوزن XTuner

تم أيضًا فتح مجموعة أدوات الضبط الدقيق للنماذج الكبيرة منخفضة التكلفة XTuner مؤخرًا، حيث تدعم مجموعة متنوعة من النماذج الكبيرة مفتوحة المصدر مثل Llama، بالإضافة إلى خوارزميات الضبط الدقيق مثل LoRA وQLoRA.

فيما يتعلق بمتطلبات الأجهزة، يحتاج XTuner فقط إلى ما لا يقل عن 8 جيجابايت من ذاكرة الفيديو لإجراء ضبط دقيق منخفض التكلفة للطراز 7B. ويمكن أيضًا إكمال الضبط الدقيق للطراز 20B على بطاقة رسومات من فئة المستهلك مع 24 جيجا بايت من الذاكرة. ذاكرة الفيديو.

يوفر XTuner مجموعة متنوعة من أطر الضبط الدقيق لمختلف النماذج مفتوحة المصدر

- النشر: يدعم LMDeploy الاستدلال الفعال لمليارات إلى مئات المليارات من نماذج لغة المعلمات

فيما يتعلق بالنشر، يغطي LMDeploy مجموعة كاملة من حلول النشر والخدمة والاستدلال خفيفة الوزن للنماذج الكبيرة.

وهو يدعم الاستدلال النموذجي الفعال من مليار إلى مائة مليار معلمة، ويتجاوز المشاريع مفتوحة المصدر السائدة في المجتمع FasterTransformer، وvLLM، وDeepspeed، وما إلى ذلك من حيث الإنتاجية والأداء الآخر.

- التقييم: منصة OpenCompass الشاملة لتقييم النماذج الكبيرة

في جزء التقييم، توفر منصة تقييم النماذج الكبيرة مفتوحة المصدر OpenCompass نظام تقييم في خمسة أبعاد: الموضوع واللغة والمعرفة والفهم والاستدلال.

وفي الوقت نفسه، يدعم أيضًا أكثر من 50 مجموعة بيانات تقييم، و300000 سؤال تقييم، ويدعم عينة صفرية وعينة صغيرة وتقييم سلسلة التفكير، وهو حاليًا منصة التقييم مفتوحة المصدر الأكثر شمولاً.

**-التطبيق: إطار وكيل مرن وخفيف الوزن **

في مرحلة التطبيق النهائية، ركز فريق مختبر شنغهاي للذكاء الاصطناعي على الوكيل، وقام بتطوير إطار عمل Lagent خفيف الوزن والمرن ومفتوح المصدر.

يمكنه دعم المستخدمين لتحويل نموذج لغة كبير بسرعة إلى أنواع متعددة من الوكلاء، وتوفير أدوات نموذجية لتمكين نماذج اللغة الكبيرة.

يدمج إطار العمل مفتوح المصدر هذا أنواعًا مختلفة من إمكانات الوكيل، بما في ذلك ReAct الكلاسيكية وAutoGPT وReWoo.

هيكل الكود لهذا الإطار ليس واضحًا فحسب، بل بسيط أيضًا. باستخدام أقل من 20 سطرًا من التعليمات البرمجية، يمكن للمطورين إنشاء وكيل خاص بهم.

بالإضافة إلى ذلك، يدعم Lagent العديد من النماذج الكبيرة بما في ذلك InternLM وLlama وChatGPT.

وبدعم من Lagent، يمكن لهؤلاء الوكلاء استدعاء نماذج لغوية كبيرة لتخطيط التفكير واستدعاء الأداة، ويمكنهم إجراء التفكير والتصحيح الذاتي في الوقت المناسب أثناء عملية التنفيذ.

أول سياق محلي بحجم 16 كيلو، و20 مليار معلمة مرتبطة بـ Llama2-70B

بالإضافة إلى مجموعة كاملة من سلاسل الأدوات النموذجية الكبيرة، يمتلك مختبر شنغهاي للذكاء الاصطناعي أيضًا InternLM-20B مفتوح المصدر مع ما يصل إلى 20 مليار معلمة.

تظهر نتائج التقييم أنه من بين النماذج مفتوحة المصدر ذات الحجم نفسه، فإن InternLM-20B يستحق أفضل أداء عام.

**- دعم السياق الطويل الإضافي **

أولاً، فيما يتعلق بطول السياق، يمكن لـ InternLM-20B دعم نوافذ السياق حتى 16 كيلو بايت.

كما هو موضح في الشكل أدناه، تمكن InternLM-20B من الإجابة بدقة على ثلاثة أسئلة بعد قراءة مقال إخباري طويل حول علامة تجارية مشهورة للقهوة.

بالنسبة للأوراق والتقارير الطويلة للغاية، يمكن لـ InternLM-20B أيضًا استخراج الملخصات بدقة.

على سبيل المثال، بعد إدخال ورقة ResNet الكلاسيكية، فإنه يكتب على الفور ملخصًا، ويلخص بدقة الأفكار الأساسية والنتائج التجريبية لـ ResNet.

- استخدم الأدوات وتعلم ذاتيًا

ثانيًا، بدعم من السياق الطويل، يتم توسيع قدرات النموذج بشكل كبير، وهناك مساحة أكبر لاستدعاء الأداة وشرح الكود والتفكير والتصحيح. وقد أصبحت هذه تقنية أساسية لبناء أجسام ذكية على InternLM-20B.

الآن، لا يستطيع InternLM-20B دعم إخراج المحتوى في عشرات الاتجاهات مثل التاريخ والطقس والسفر والرياضة وما إلى ذلك فحسب، بالإضافة إلى عشرات الآلاف من واجهات برمجة التطبيقات المختلفة، ولكن يمكنه أيضًا استدعاء الأدوات بطريقة مشابهة لـ Code Interpreter .

وفي الوقت نفسه، في هذه العملية، يمكنه أيضًا عكس المشاهد الحقيقية ومراجعتها والتواصل معها.

في ToolBench، وهو نموذج كبير لتقييم استدعاءات الأدوات تم إصداره بشكل مشترك من قبل جامعة تسينغهوا ومؤسسات أخرى، حقق InternLM-20B معدل فوز قدره 63.5% مقارنة بـ ChatGPT، محققًا أفضل نتيجة في القائمة.

علاوة على ذلك، يُظهر نموذج InternLM-20B أيضًا بعض إمكانيات تعميم العينة الصفرية. حتى لو لم يتعلم النموذج بعض الأدوات أثناء عملية التدريب، فلا يزال بإمكانه استدعاء الأدوات بناءً على أوصاف الأداة وأسئلة المستخدم.

كما هو موضح في الشكل أدناه، إذا زودته ببعض أدوات الذكاء الاصطناعي، فيمكنه التخطيط والتفكير بنفسه وإكمال مشاكل المستخدم.

**- الرصاص الشامل في نفس فئة الوزن **

في مجموعة التقييم السائدة التي تضم ما يصل إلى 50 نموذجًا بأبعاد مختلفة، حقق InternLM-20B أيضًا أفضل أداء عام لنماذج مفتوحة المصدر بنفس الحجم.

وفي الوقت نفسه، تجاوزت أيضًا Llama-33B الأكبر حجمًا من حيث متوسط الأداء، بل وتفوقت بفارق ضئيل على Llama2-70B في بعض التقييمات.

على وجه التحديد، يتمتع InternLM-20B بنتائج ممتازة في التقييمات الشاملة للموضوعات MMLU وC- وAGI، وهو في مكانة رائدة بين النماذج مفتوحة المصدر ذات الحجم نفسه.

وخاصة في C- وAGI، والتي تشمل اختبار الموضوع الصيني، تجاوز الأداء بشكل ملحوظ Llama2-70B.

في التقييم الذي يختبر المعرفة الواقعية، يتفوق InternLM-20B بشكل شامل على نموذج 13B ويمكنه التنافس مع Llama-33B.

ولكن لا تزال هناك فجوة معينة مقارنة بـ Llama-65B أو Llama2-70B.

فيما يتعلق بالقدرة على الفهم، فإن أداء InternLM-20B أكثر تميزًا، حيث يتجاوز جميع النماذج مفتوحة المصدر بما في ذلك Llama2-70B.

الاستدلال هو "حجر العثرة" الذي فشل العديد من النماذج، فهو يختبر قدرة النماذج الكبيرة على تحقيق أموال حقيقية، كما أنه يحدد إلى حد كبير ما إذا كان النموذج يمكنه دعم التطبيقات العملية.

في مجموعات تقييم الاستدلال الأربع التالية، تجاوزت نتائج InternLM-20B نموذج المصدر المفتوح السائد 13B، واقتربت حتى من قدرة الاستدلال لـ Llama-65B.

فيما يتعلق بقدرات البرمجة، تم أيضًا تحسين InternLM-20B بشكل ملحوظ. في مجموعتي التقييم النموذجيتين Human وMBPP، فهو قريب من Llama2-70B.

ملاحظة: الخطوط الغامقة في لقطات الشاشة أعلاه هي أفضل النتائج في نطاق 13B-33B.

في أحدث قائمة تقييم Open LLM Leaderboard الصادرة عن HuggingFace، يتصدر InternLM-20B متوسط الدرجات بين النماذج الأساسية بمعلمات أقل من 60B، ويتفوق أيضًا على Llama-65B.

- نموذج مفتوح المصدر أكثر أمانًا

أخيرًا، فيما يتعلق بمواءمة القيمة، يعد InternLM-20B أيضًا أكثر اكتمالًا وأمانًا.

إذا طرحت عليه سؤالاً متحيزًا، فسوف يحدد على الفور العوامل غير الآمنة ويقدم إرشادات القيمة الصحيحة.

لم تكن النماذج الكبيرة أبدًا حكرًا حصريًا على الشركات المصنعة الكبرى.

بعد أن بدأت موجة النماذج الكبيرة، ما نحتاج إلى التركيز عليه ليس فقط أن تتصدر قائمة التقييم، بل أيضًا كيفية صنع نماذج كبيرة من "جوهرة التاج للذكاء الاصطناعي" إلى "إنتاجية جديدة" يمكن استخدامها في الآلاف من الصناعات.

على مر التاريخ، لم تكن التقنيات التي تقود العصر حقًا مجرد ابتكارات مدمرة، ولكن الأهم من ذلك أنها منخفضة التكلفة، ومنخفضة العتبة، ومتاحة للجميع. لكن الشركات الكبرى مثل OpenAI وGoogle لن تعلن أبدًا عن التفاصيل المحددة.

وهذا هو الهدف الأصلي لمختبر شنغهاي للذكاء الاصطناعي.

منذ إطلاقها في يونيو، أكملت Shusheng Puyu جولات متعددة من التحديثات وكان لها تأثير واسع على مجتمع المصادر المفتوحة والصناعة.

علاوة على ذلك، بالإضافة إلى فتح الكود على GitHub ووضع النماذج على مجتمعات HuggingFace وModa، يرسل مختبر شنغهاي للذكاء الاصطناعي موظفين متخصصين لقراءة التعليقات من المجتمع كل يوم والإجابة على أسئلة المستخدمين بعناية.

في السابق، كان نموذج LLaMA الخاص بـ Meta مفتوح المصدر، مما أدى إلى موجة من الاستبدال لـ ChatGPT وإيذانًا بلحظة نشر مستقر لنماذج النصوص الكبيرة.

تمامًا مثل النظام البيئي المزدهر لعائلة الألبكة اليوم، فإن الجهود مفتوحة المصدر التي يبذلها مختبر شنغهاي للذكاء الاصطناعي ستجلب بالتأكيد قيمة لا تقدر بثمن للمجتمع.

بالنسبة للمطورين والباحثين النشطين حول العالم، ستوفر Shusheng Puyu قاعدة متوسطة الحجم ولكن بقدرات قوية جدًا.

على الرغم من أن معظم الشركات، وخاصة الشركات الصغيرة والمتوسطة الحجم، قد شهدت اتجاه النماذج الكبيرة، فمن غير المرجح أن تنفق الكثير من المال لشراء الطاقة الحاسوبية وجذب أفضل المواهب مثل الشركات المصنعة الكبرى.

في الواقع، بدءًا من مؤتمر الذكاء الاصطناعي في 6 يوليو، قام مختبر شنغهاي للذكاء الاصطناعي بتنفيذ المصادر المفتوحة في جميع أنحاء السلسلة بأكملها. على سبيل المثال، يسمح XTuner للمستخدمين بتدريب نماذجهم الخاصة باستخدام بعض البيانات الخاصة بهم فقط بطريقة خفيفة للغاية.

ليس هذا فحسب، فقد قام فريق بدمج الأسئلة والنصوص والمستندات ونموذج XTuner لمجتمع مفتوح المصدر لتدريب خدمة عملاء مجتمع مفتوح المصدر. هذه مساهمة حقيقية لمجتمع المصادر المفتوحة.

في الواقع، شارك مختبر شنغهاي للذكاء الاصطناعي نظامه الفني بالكامل مع المجتمع (أي نظام أدوات السلسلة الكاملة المذكور أعلاه).

هناك العديد من الصناعات والعديد من الشركات والعديد من المؤسسات والمطورين في المجتمع بأكمله، وإذا تمكنوا حقًا من إدراك قيمة النماذج الكبيرة، فستكون قوة مهمة للغاية.

لديهم إبداع لا نهاية له، والشيء الوحيد الذي يفتقرون إليه هو الموارد.

من المؤكد أن "المساعدة في أوقات الحاجة" التي يقدمها مختبر شنغهاي للذكاء الاصطناعي ستسمح للنماذج الكبيرة بممارسة قيمة كبيرة في مجال التنفيذ.

كما قال لين داهوا ——

كمختبر، يمكننا توفير النماذج الأساسية وسلسلة من الأدوات التي تدمج المعرفة الفنية لمختلف الصناعات في البيانات وقدرات النماذج، وتجعلها سهلة الاستخدام للغاية وتعليم المزيد من الأشخاص كيفية استخدامها، حتى يمكن استخدامها في مختلف الصناعات، فهناك الزهور والفواكه.

رابط نظام أدوات السلسلة الكامل مفتوح المصدر

مجموعة التدريب المسبق "الباحث·عشرة آلاف مجلد":

إطار التدريب المسبق لـ InterLM:

صندوق أدوات الضبط الدقيق XTuner:

سلسلة أدوات الاستدلال LMDeploy:

منصة تقييم النماذج الكبيرة OpenCompas:

إطار العامل الكامن: