Büyük Modeller Yarışması'nın Yeni Gündemi: Metin Uzunluğu 4k'dan 400k token'a Sıçrama

Büyük model teknolojisi inanılmaz bir hızla gelişiyor, metin işleme yeteneği ilk başta 4k token'dan 400k token'a sıçradı, uzun metin yeteneği büyük model üreticilerinin yeni standartı haline geliyor.

Yurt dışında, OpenAI, GPT-3.5 ve GPT-4'ün bağlam uzunluğunu sırasıyla 16k ve 32k token'a yükseltmek için birden fazla güncelleme gerçekleştirdi. Rakibi Anthropic, bağlam uzunluğunu 100k token'a kadar genişletti. LongLLaMA ise bağlam uzunluğunu 256k token'a veya daha fazlasına genişletti.

Yerli olarak, bir başlangıç şirketi tarafından piyasaya sürülen akıllı asistan ürünü yaklaşık 400k token uzunluğundaki metinleri destekleyebiliyor. Hong Kong Çincisi ve MIT tarafından geliştirilen LongLoRA teknolojisi, 7B modelinin metin uzunluğunu 100k token'a, 70B modelini ise 32k token'a genişletebiliyor.

Şu anda, hem yurtiçinde hem de yurtdışında birçok üst düzey büyük model şirketi ve araştırma kurumu, bağlam uzunluğunu genişletmeyi önemli bir yükseltme yönü olarak belirliyor. Bu şirketlerin çoğu, sermaye piyasalarının gözdesi olan yıldız işletmelerdir ve finansman miktarları ile değerlemeleri sürekli olarak yeni zirvelere ulaşmaktadır.

Büyük model şirketlerinin uzun metin teknolojisine odaklanması ne anlama geliyor? Yüzeyde, metin uzunluğu ve okuma yeteneğinde bir artış olduğu görülüyor, bir kısa yazıdan bir uzun romana kadar. Daha derin bir anlamı ise, büyük modellerin finans, adalet, bilimsel araştırmalar gibi uzmanlık alanlarında uygulanmasını teşvik etmek ve bu alanların uzun belge işleme taleplerini karşılamaktır.

Ancak, metin uzunluğu her zaman daha iyi değildir. Araştırmalar, modelin daha uzun bağlam girişi ile performans artışı arasında doğrudan bir eşitlik olmadığını göstermektedir, anahtar, modelin bağlam içeriğini nasıl kullandığıdır. Ancak şu anda endüstride metin uzunluğuna yapılan keşifler henüz sınırlarına ulaşmamıştır, 400 bin token belki de sadece bir başlangıçtır.

Uzun metin teknolojisinin dikkat çekmesinin nedeni, sanal karakter sahnelerinde önemli bilgilerin unutulması, uzmanlık alanı analizlerinin sınırlı bir şekilde üretilmesi gibi büyük modellerin erken dönemlerindeki bazı sorunları çözebilmesidir. Aynı zamanda, uzun metinler gelecekteki Agent ve AI yerel uygulama geliştirmelerinin anahtar teknolojisidir.

Uzun metinler, modele anlamı daha doğru bir şekilde anlaması, belirsizliği azaltması ve çıkarım doğruluğunu artırması için daha fazla bağlam ve ayrıntı bilgisi sağlayarak yardımcı olabilir. Bu, büyük modellerin LLM'den Long LLM'ye geçişinin yeni bir aşamasını işaret ediyor.

Uzun metin teknolojisi, pratik uygulamalarda çok yönlü avantajlar sunmaktadır: uzun makalelerin ana noktalarını hızlıca analiz edebilir, mali raporların anahtar bilgilerini çıkarabilir ve bir kitabın tamamı hakkında soru-cevap yapabilir; kodlama açısından ise, makaleleri doğrudan koda dönüştürebilir; ayrıca rol oynama gibi kişiselleştirilmiş uzun diyalog fonksiyonlarını da gerçekleştirebilir. Bu fonksiyonlar, sohbet robotlarının daha profesyonel, kişisel ve derin bir yönde gelişimini teşvik etmektedir.

Ancak, uzun metin teknolojisi "imkansız üçgen" sıkıntısıyla karşı karşıyadır: metin uzunluğu, dikkat ve hesaplama gücü arasında karşılıklı bir kısıtlama vardır. Metin ne kadar uzunsa, dikkati odaklamak o kadar zorlaşır ve uzun metinleri işlemek daha fazla hesaplama gücü gerektirir. Bu sıkıntı, çoğu modelin benimsediği Transformer yapısından kaynaklanmaktadır; kendi dikkat mekanizmasının hesaplama yükü, bağlam uzunluğuyla kare şeklinde artmaktadır.

Şu anda üç ana çözüm bulunmaktadır: dış araçları kullanarak destekleme, kendine dikkat mekanizmasının hesaplamalarını optimize etme ve modeli optimize etme. Her çözümün kendi avantajları ve dezavantajları vardır; metin uzunluğu, dikkat ve hesaplama gücü arasında en iyi dengeyi bulmak, büyük model üreticilerinin karşılaştığı bir zorluktur.

Uzun metin teknolojisinin hala optimize edilmesi gereken alanları olsa da, bu, büyük modellerin daha yüksek seviyelere gelişim trendini temsil ediyor ve AI'nın daha fazla uzmanlık alanında çığır açan uygulamalar gerçekleştirmesini teşvik etme umudu taşıyor.