أصدرت Google ورقة بحثية بعنوان TurboQuant، وخلال 24 ساعة فقط، قام المجتمع بنقلها إلى llama.cpp

ماذا فعلت TurboQuant؟ قامت بضغط ذاكرة التخزين المؤقت (KV) للنموذج الكبير إلى 3-بت، مما قلل استهلاك الذاكرة بمقدار 6 مرات، وسرعة الاستنتاج على H100 زادت بمقدار 8 مرات
الأهم من ذلك — لا حاجة لإعادة التدريب، ولا للتعديل الدقيق، ولا فقدان الدقة. هذا هو أحد الأسباب التي أدت إلى الانخفاض الحاد في أسهم الشركات المصنعة للرقاقات.
انخفضت أسهم Samsung و SK Hynix في سول بنسبة أكثر من 6%، وانخفض سهم Micron في السوق الأمريكية بنسبة 6.9%.
ما يخشاه السوق هو — إذا استطاع كل نموذج تقليل استهلاك الذاكرة بمقدار 6 مرات، ألن تتراجع طلبات HBM؟
لكن أعتقد أن رد فعل السوق مبالغ فيه. السبب بسيط جدًا. الذاكرة التي تم توفيرها لن تظل غير مستخدمة. ذاكرة التخزين المؤقت (KV) الأصغر تعني أن البطاقة يمكنها تشغيل سياق أكبر، ومعالجة طلبات أكثر تزامنًا. الطلب لن يتراجع، بل سيتم إعادة توجيهه.
هذا الأمر تكرر مرارًا في تاريخ التقنية — مع زيادة سرعة المعالجات، استهلكت البرمجيات كل هامش أداء. مع زيادة عرض النطاق الترددي، استهلكت تدفقات الفيديو كل عرض النطاق. مع تقليل استهلاك الذاكرة، ستصبح النماذج أكبر وأكثر تطلبًا.
لقد أصبح هناك تنفيذ قابل للتشغيل على CPU (بلغة C خالصة وبدون تبعيات) وKernel لـ CUDA في مناقشة llama.cpp #20969.
وقد نجح شخص ما في تشغيله على Apple Silicon باستخدام Metal. هذا يعني أن عتبة تشغيل النماذج محليًا قد انخفضت مرة أخرى.
TurboQuant في المدى القصير يسبب حالة من التشاؤم في أسهم الرقائق، وفي المدى المتوسط هو عائدات كفاءة لصناعة الذكاء الاصطناعي بأكملها. من يستخدم النماذج محليًا يربح — نفس جهاز Mac يمكنه استيعاب نماذج أكبر. لا تقلق شركات الرقائق — الطلب لن يتلاشى، بل سيتم استخدامه بكفاءة أعلى.