iPhone'daki Transformer'ı Ortaya Çıkarıyoruz: GPT-2 mimarisini temel alan segmenter kelimesi, MIT mezunları tarafından üretilen emojileri içeriyor

Orijinal kaynak: Qubits

Resim kaynağı: Sınırsız Yapay Zeka tarafından oluşturulmuştur

Apple'ın Transformer ürününün "sırrı" meraklılar tarafından ortaya çıktı.

Büyük model dalgasında, Apple kadar muhafazakar olsanız bile her basın toplantısında "Transformer"dan bahsetmelisiniz.

Örneğin, bu yılki WWDC'de Apple, iOS ve macOS'un yeni sürümlerinin, metin tahmin yeteneklerine sahip giriş yöntemleri sağlamak için yerleşik Transformer dil modellerine sahip olacağını duyurdu.

Apple yetkilileri daha fazla bilgi açıklamadı ancak teknoloji meraklıları yerinde duramıyor.

Jack Cook adında bir adam, macOS Sonoma beta'yı alt üst etti ve pek çok yeni bilgi keşfetti:

• Model mimarisi açısından Brother Cook, Apple'ın dil modelinin daha çok GPT-2'ye dayalı olduğuna inanıyor.
• Tokenizer açısından ifadeler bunlar arasında çok öne çıkıyor.

Daha fazla ayrıntıya göz atalım.

GPT-2 mimarisine dayalıdır

Öncelikle Apple’ın Transformer tabanlı dil modelinin iPhone, MacBook ve diğer cihazlarda hangi işlevleri gerçekleştirebileceğine bakalım.

Esas olarak giriş yöntemine yansır. Dil modeli tarafından desteklenen Apple'ın kendi giriş yöntemi, kelime tahmini ve hata düzeltme işlevlerini gerçekleştirebilir.

Kardeş Jack Cook bunu özel olarak test etti ve bu işlevin çoğunlukla tek sözcüklerin tahminini uyguladığını buldu.

** **### △Kaynak: Jack Cook blog yazısı

Model bazen birden fazla yaklaşan kelimeyi tahmin eder, ancak bu, Gmail'deki otomatik tamamlama işlevine benzer şekilde, cümlenin anlambiliminin çok açık olduğu durumlarla sınırlıdır.

** **### △Kaynak: Jack Cook blog yazısı

Peki bu model tam olarak nereye kurulu? Biraz derinlemesine araştırma yaptıktan sonra Cook Kardeş şunu belirledi:

Tahminli metin modelini //Library/LinguisticData/RequiredAssets_en.bundle/AssetData/en.lm/unilm.bundle'da buldum.

Çünkü:

1. unilm.bundle'daki birçok dosya macOS Ventura'da (13.5) mevcut değildir ve yalnızca macOS Sonoma beta'nın (14.0) yeni sürümünde görünür.
2. unilm.bundle'da hem Ventura hem de Sonoma beta'da bulunabilen bir sp.dat dosyası var, ancak Sonoma beta sürümü açıkça bir tokenizer'a benzeyen bir dizi token ile güncellendi.
3. sp.dat'taki belirteçlerin sayısı, unilm.bundle'daki iki dosyayla eşleşebilir - unilm_joint_cpu.espresso.shape ve unilm_joint_ane.espresso.shape. Bu iki dosya Espresso/CoreML modelindeki her katmanın şeklini açıklar.

Ayrıca unilm_joint_cpu'da açıklanan ağ yapısına dayanarak Apple modelinin GPT-2 mimarisini temel aldığını tahmin ettim:

Temel olarak belirteç yerleştirmeleri, konum kodlamayı, kod çözücü bloğunu ve çıktı katmanını içerir.Her kod çözücü bloğunda gpt2_transformer_layer_3d gibi kelimeler bulunur.

** **### △Kaynak: Jack Cook blog yazısı

Her katmanın boyutuna göre Apple modelinin yaklaşık 34 milyon parametreye sahip olduğunu ve gizli katman boyutunun 512 olduğunu tahmin ettim. Yani GPT-2'nin en küçük versiyonundan daha küçüktür.

Bunun esas olarak Apple'ın daha az güç tüketen ancak hızlı ve sık çalışabilen bir model istemesinden kaynaklandığına inanıyorum.

Apple'ın WWDC'deki resmi açıklaması şöyle: "Bir tuşa her tıklandığında, iPhone modeli bir kez çalıştıracaktır."

Ancak bu aynı zamanda bu metin tahmin modelinin cümleleri veya paragrafları tamamen devam ettirme konusunda pek iyi olmadığı anlamına da gelir.

** **### △Kaynak: Jack Cook blog yazısı

Cook, model mimarisine ek olarak tokenizer hakkında da bilgi topladı.

unilm.bundle/sp.dat adresinde 15.000 token içeren bir set buldu. Bu setin 100 emoji içerdiğini belirtmekte fayda var.

Aşçı, Aşçı'yı ortaya çıkarır

Bu Aşçı aşçı olmasa da blog yazım yayınlanır yayınlanmaz yine de oldukça ilgi gördü.

Onun bulgularına dayanarak netizenler, Apple'ın kullanıcı deneyimi ile ileri teknoloji uygulamalarını dengeleme yaklaşımını coşkuyla tartıştı.

Jack Cook'a dönersek, kendisi MIT'den lisans derecesi ve bilgisayar bilimleri alanında yüksek lisans derecesiyle mezun oldu ve şu anda Oxford Üniversitesi'nde İnternet sosyal bilimleri alanında yüksek lisans derecesi için eğitim görüyor.

Daha önce NVIDIA'da staj yaparak BERT gibi dil modellerinin araştırılmasına odaklanmıştı. Aynı zamanda The New York Times'ta doğal dil işleme alanında kıdemli araştırma ve geliştirme mühendisidir.

Peki onun bu vahiy sizde de bazı düşünceleri tetikledi mi? Görüşlerinizi yorum alanında paylaşmaya hoş geldiniz~

Orijinal bağlantı: