الكشف عن المحول في iPhone: استنادًا إلى بنية GPT-2، تحتوي كلمة مجزأة على رموز تعبيرية، من إنتاج خريجي معهد ماساتشوستس للتكنولوجيا

المصدر الأصلي: Qubits

مصدر الصورة: تم إنشاؤها بواسطة Unbounded AI‌

تم الكشف عن "سر" محول Apple من قبل المتحمسين.

في موجة النماذج الكبيرة، حتى لو كنت محافظًا مثل Apple، يجب عليك ذكر "Transformer" في كل مؤتمر صحفي.

على سبيل المثال، في مؤتمر WWDC لهذا العام، أعلنت شركة Apple أن الإصدارات الجديدة من iOS وmacOS ستحتوي على نماذج لغة Transformer مدمجة لتوفير طرق إدخال مع إمكانات التنبؤ بالنص.

ولم يكشف مسؤولو شركة أبل عن أي معلومات أخرى، لكن عشاق التكنولوجيا لا يمكنهم الجلوس ساكنين.

قام شخص يُدعى Jack Cook بقلب الإصدار التجريبي من macOS Sonoma رأسًا على عقب واكتشف الكثير من المعلومات الجديدة:

• فيما يتعلق ببنية النموذج، يعتقد Brother Cook أن نموذج لغة Apple يعتمد بشكل أكبر على GPT-2.
• فيما يتعلق بالرمز المميز، الرموز بارزة جدًا بينها.

دعونا نلقي نظرة على مزيد من التفاصيل.

استنادًا إلى بنية GPT-2

أولاً، دعونا نراجع الوظائف التي يمكن لنموذج اللغة المستند إلى Transformer من Apple تنفيذها على iPhone وMacBook والأجهزة الأخرى.

ينعكس بشكل رئيسي في طريقة الإدخال. يمكن لطريقة الإدخال الخاصة بشركة Apple، المدعومة بنموذج اللغة، تحقيق وظائف التنبؤ بالكلمات وتصحيح الأخطاء.

اختبرها الأخ جاك كوك على وجه التحديد ووجد أن هذه الوظيفة تنفذ بشكل أساسي التنبؤ بالكلمات المفردة.

** **### △المصدر: منشور مدونة جاك كوك

يتنبأ النموذج أحيانًا بعدة كلمات قادمة، لكن هذا يقتصر على المواقف التي تكون فيها دلالات الجملة واضحة جدًا، على غرار وظيفة الإكمال التلقائي في Gmail.

** **### △المصدر: منشور مدونة جاك كوك

فأين تم تثبيت هذا النموذج بالضبط؟ وبعد إجراء بعض البحث المتعمق، قرر الأخ كوك:

لقد وجدت نموذج النص التنبؤي في //Library/LinguisticData/RequiredAssets_en.bundle/AssetData/en.lm/unilm.bundle.

لأن:

1. العديد من الملفات الموجودة في unilm.bundle غير موجودة في macOS Ventura (13.5) وتظهر فقط في الإصدار الجديد من macOS Sonoma beta (14.0).
2. يوجد ملف sp.dat في unilm.bundle، والذي يمكن العثور عليه في الإصدارين التجريبيين من Ventura وSonoma، ولكن تم تحديث الإصدار التجريبي من Sonoma بمجموعة من الرموز المميزة التي تبدو بوضوح وكأنها أداة رمزية.
3. يمكن أن يتطابق عدد الرموز المميزة في sp.dat مع الملفين الموجودين في unilm.bundle - unilm_joint_cpu.espresso.shape وunilm_joint_ane.espresso.shape. يصف هذان الملفان شكل كل طبقة في نموذج Espresso/CoreML.

علاوة على ذلك، استنادًا إلى بنية الشبكة الموضحة في unilm_joint_cpu، توقعت أن نموذج Apple يعتمد على بنية GPT-2:

يتضمن بشكل أساسي تضمينات الرمز المميز وترميز الموضع وكتلة وحدة فك التشفير وطبقة الإخراج. تحتوي كل كتلة وحدة فك ترميز على كلمات مثل gpt2_transformer_layer_3d.

** **### △المصدر: منشور مدونة جاك كوك

بناءً على حجم كل طبقة، توقعت أيضًا أن نموذج Apple يحتوي على ما يقرب من 34 مليون معلمة وأن حجم الطبقة المخفية هو 512. أي أنه أصغر من أصغر نسخة من GPT-2.

أعتقد أن السبب الرئيسي وراء ذلك هو أن شركة Apple تريد نموذجًا يستهلك طاقة أقل ولكن يمكن تشغيله بسرعة وبشكل متكرر.

بيان Apple الرسمي في WWDC هو أنه "في كل مرة يتم النقر فوق مفتاح، سيقوم iPhone بتشغيل النموذج مرة واحدة."

ومع ذلك، فهذا يعني أيضًا أن نموذج توقع النص هذا ليس جيدًا جدًا في متابعة الجمل أو الفقرات بشكل كامل.

** **### △المصدر: منشور مدونة جاك كوك

بالإضافة إلى بنية النموذج، قام كوك أيضًا بالتنقيب عن معلومات حول أداة الرمز المميز.

لقد عثر على مجموعة مكونة من 15000 رمز مميز في unilm.bundle/sp.dat، ومن الجدير بالذكر أنها تحتوي على 100 رمز تعبيري.

الطبخ يكشف عن الطباخ

على الرغم من أن هذا الطباخ ليس طباخًا، إلا أن منشور مدونتي لا يزال يجذب الكثير من الاهتمام بمجرد نشره.

وبناءً على النتائج التي توصل إليها، ناقش مستخدمو الإنترنت بحماس نهج شركة Apple في تحقيق التوازن بين تجربة المستخدم وتطبيقات التكنولوجيا المتطورة.

وبالعودة إلى جاك كوك نفسه، فقد تخرج من معهد ماساتشوستس للتكنولوجيا بدرجة البكالوريوس والماجستير في علوم الكمبيوتر، ويدرس حاليًا للحصول على درجة الماجستير في العلوم الاجتماعية على الإنترنت من جامعة أكسفورد.

في السابق، تدرب في NVIDIA، مع التركيز على البحث في نماذج اللغة مثل BERT. وهو أيضًا أحد كبار مهندسي البحث والتطوير لمعالجة اللغات الطبيعية في صحيفة نيويورك تايمز.

إذًا، هل أثار إعلانه أيضًا بعض الأفكار فيك؟ مرحبًا بكم في مشاركة آرائكم في منطقة التعليقات~

الرابط الأصلي: