Mengungkap Transformer di iPhone: Berdasarkan arsitektur GPT-2, kata segmenter berisi emoji, diproduksi oleh alumni MIT

Sumber asli: Qubit

Sumber gambar: Dihasilkan oleh AI Tanpa Batas‌

"Rahasia" Transformer Apple telah diungkap oleh para peminat.

Di tengah banyaknya model besar, meskipun Anda konservatif seperti Apple, Anda harus menyebut "Transformer" di setiap konferensi pers.

Misalnya, pada WWDC tahun ini, Apple mengumumkan bahwa versi baru iOS dan macOS akan memiliki model bahasa Transformer bawaan untuk menyediakan metode masukan dengan kemampuan prediksi teks.

Pejabat Apple tidak mengungkapkan informasi lebih lanjut, namun para pecinta teknologi tidak bisa tinggal diam.

Seorang pria bernama Jack Cook membalikkan macOS Sonoma beta dan menemukan banyak informasi baru:

• Dalam hal arsitektur model, Brother Cook yakin bahwa model bahasa Apple lebih didasarkan pada GPT-2.
• Dalam hal tokenizer, emotikon sangat menonjol di antara mereka.

Mari kita lihat lebih detailnya.

Berdasarkan arsitektur GPT-2

Pertama, mari kita tinjau fungsi apa saja yang dapat diterapkan oleh model bahasa berbasis Transformer Apple di iPhone, MacBook, dan perangkat lainnya.

Terutama tercermin dalam metode input. Metode masukan Apple sendiri, yang didukung oleh model bahasa, dapat mencapai fungsi prediksi kata dan koreksi kesalahan.

Saudara Jack Cook mengujinya secara khusus dan menemukan bahwa fungsi ini terutama mengimplementasikan prediksi kata-kata tunggal.

** **### △Sumber: postingan blog Jack Cook

Model ini terkadang memprediksi beberapa kata yang akan datang, namun hal ini terbatas pada situasi ketika semantik kalimatnya sangat jelas, mirip dengan fungsi pelengkapan otomatis di Gmail.

** **### △Sumber: postingan blog Jack Cook

Jadi di mana tepatnya model ini dipasang? Setelah menggali lebih dalam, Saudara Cook memutuskan:

Saya menemukan model teks prediktif di //Library/LinguisticData/RequiredAssets_en.bundle/AssetData/en.lm/unilm.bundle.

Karena:

1. Banyak file di unilm.bundle tidak ada di macOS Ventura (13.5) dan hanya muncul di versi baru macOS Sonoma beta (14.0).
2. Ada file sp.dat di unilm.bundle, yang dapat ditemukan di Ventura dan Sonoma beta, tetapi versi beta Sonoma telah diperbarui dengan sekumpulan token yang jelas terlihat seperti tokenizer.
3. Jumlah token di sp.dat bisa cocok dengan dua file di unilm.bundle - unilm_joint_cpu.espresso.shape dan unilm_joint_ane.espresso.shape. Kedua file ini menjelaskan bentuk setiap lapisan dalam model Espresso/CoreML.

Selain itu, berdasarkan struktur jaringan yang dijelaskan di unilm_joint_cpu, saya berspekulasi bahwa model Apple didasarkan pada arsitektur GPT-2:

Ini terutama mencakup penyematan token, pengkodean posisi, blok decoder dan lapisan keluaran. Setiap blok decoder memiliki kata-kata seperti gpt2_transformer_layer_3d.

** **### △Sumber: postingan blog Jack Cook

Berdasarkan ukuran tiap lapisan, saya juga berspekulasi bahwa model Apple memiliki sekitar 34 juta parameter dan ukuran lapisan tersembunyi adalah 512. Artinya, lebih kecil dari versi terkecil GPT-2.

Saya yakin hal ini terutama karena Apple menginginkan model yang mengonsumsi lebih sedikit daya namun dapat berjalan dengan cepat dan sering.

Pernyataan resmi Apple di WWDC adalah "setiap kali tombol diklik, iPhone akan menjalankan model tersebut satu kali."

Namun hal ini juga berarti bahwa model prediksi teks ini kurang baik dalam melanjutkan kalimat atau paragraf secara lengkap.

** **### △Sumber: postingan blog Jack Cook

Selain arsitektur model, Cook juga menggali informasi mengenai tokenizer.

Dia menemukan satu set 15.000 token di unilm.bundle/sp.dat. Perlu dicatat bahwa itu berisi 100 emoji.

Masak mengungkap Juru Masak

Meski si juru masak ini bukan seorang juru masak, namun postingan blog saya tetap menarik banyak perhatian setelah dipublikasikan.

Berdasarkan temuannya, netizen dengan antusias mendiskusikan pendekatan Apple dalam menyeimbangkan pengalaman pengguna dan aplikasi teknologi mutakhir.

Kembali ke Jack Cook sendiri, ia lulus dari MIT dengan gelar sarjana dan master di bidang ilmu komputer, dan saat ini sedang menempuh studi master di bidang ilmu sosial Internet dari Universitas Oxford.

Sebelumnya, beliau magang di NVIDIA dengan fokus pada penelitian model bahasa seperti BERT. Ia juga merupakan insinyur penelitian dan pengembangan senior untuk pemrosesan bahasa alami di The New York Times.

Jadi, apakah wahyu tersebut juga memicu beberapa pemikiran dalam diri Anda? Selamat berbagi pandangan Anda di area komentar~

Tautan asli: