Yapay zekanın en kötü şöhretli hatası nedir? Kod çökmesi değil, "halüsinasyon" - modelin gerçekleri kendine güvenle uydurması, senin de doğru ile yanlışı ayırt etmeni zorlaştırıyor. Bu temel zorluk, yapay zekaya tamamen güvenmemizi engelleyen ana engeldir.
Büyük modellerin yanılsamalar yaşayacağı neredeyse bir genel bilgi haline geldi ve büyük modelleri ciddiyetle kullanan herkesin dikkatli olmasını gerektiriyor. OpenAI de şunu belirtti: "ChatGPT de yanılsamalar üretebilir. GPT-5'in yanılsamaları belirgin şekilde daha az, özellikle akıl yürütme yaparken, ama yine de yanılsamalar meydana gelebilir. Yanılsamalar, tüm büyük dil modellerinin karşılaştığı temel bir zorluk olmaya devam ediyor."
Günümüzde akademik çevreler, model yanılsamalarını azaltmak için çeşitli yöntemler önermiş olsa da, henüz model yanılsamalarını tamamen "çözebilecek" etkili bir tedavi ortaya çıkmamıştır.
Peki, büyük modeller neden halüsinasyonlar üretiyor? Bugün, OpenAI nadiren bir makale yayımlayarak halüsinasyonların kökünü sistematik bir şekilde ortaya koydu.
Öncelikle, halüsinasyonu tanımlayalım. OpenAI'nın verdiği basit tanım: "Modelin kendinden emin bir şekilde gerçek dışı yanıtlar üretmesi durumu."
Sebebi basitçe şöyle: Standart eğitim ve değerlendirme prosedürleri, modelin belirsizliği kabul ettiğinde ödüllendirmek yerine tahminleri ödüllendirmeye daha yatkındır.
Makale Başlığı: Neden Dil Modelleri Halüsinasyon Görüyor
Makale adresi:
Aşağıda OpenAI'nin ne keşfettiğine daha yakından bakalım.
Hayal ne demektir?
Hülya, dil modelinin ürettiği mantıklı görünen ancak yanlış olan ifadelerdir.
Görünüşte basit olan sorular bile beklenmedik şekillerde ortaya çıkabilir. OpenAI, Adam Tauman Kalai'nin (makalenin birinci yazarı) doktora tezinin başlığı hakkında farklı yaygın olarak kullanılan sohbet robotlarına sorulduğunda, bunların üç farklı yanıt verdiğini ancak hiçbirinin doğru olmadığını örnek olarak gösterdi.
Doğum günü sorulduğunda, üç farklı tarih verdi, hepsi de yanlıştı.
Test etmek için öğrenmek
OpenAI, yanılsamaların devam ettiğini ve bunun kısmen mevcut değerlendirme yöntemlerinin yanlış teşvik mekanizmaları oluşturmasından kaynaklandığını belirtiyor. Değerlendirmenin kendisi doğrudan yanılsamalara neden olmasa da, çoğu değerlendirme modelinin performansını ölçme yöntemi, modelleri belirsizlikle yüzleşmek yerine tahminde bulunmaya teşvik ediyor.
Bunu çoktan seçmeli bir test olarak düşünebilirsiniz. Eğer cevabı bilmiyorsanız ama rastgele tahmin ediyorsanız, şansınız yaver gidebilir. Boş bırakmak ise kesinlikle sıfır puan almanıza neden olur. Aynı şekilde, model yalnızca doğruluk (yani soruları tamamen doğru cevaplama yüzdesi) üzerinden değerlendirildiğinde, "bilmiyorum" demek yerine tahminde bulunmaya teşvik edilirler.
Bir örnek daha verelim; bir dil modeli birinin doğum gününü sorulduğunda bilmiyor. Eğer "10 Eylül" diye tahmin ederse, doğru tahmin etme olasılığı 1/365'tir. "Bilmiyorum" demek kesinlikle sıfır puan alır. Binlerce test sorusunda, tahmin eden modeller nihayetinde puan tablosunda, dikkatli olan ve belirsizliği kabul eden modellerden daha iyi bir performans gösterir.
Sadece bir "doğru cevap" olan sorular için üç tür cevap düşünülebilir: doğru cevap, yanlış cevap ve modelin risk almaktan kaçındığı feragat cevabı.
OpenAI, feragat cevaplarının alçakgönüllülük (humility) göstergelerinden biri olduğunu ve alçakgönüllülüğün OpenAI'nin temel değerlerinden biri olduğunu belirtti.
Çoğu skor göstergesi, doğruluk temelinde modelleri önceliklendirir, ancak yanlış cevaplar, terk edilen cevaplardan daha kötüdür. OpenAI’nin model standartları, belirsizlikleri belirtmenin veya netlik istemenin, muhtemelen yanlış bilgiler sunmaktan daha iyi olduğunu belirtmektedir.
GPT5 sistem kartındaki SimpleQA değerlendirmesi örneği olarak.
Doğruluk açısından, daha önceki OpenAI o4-mini modeli biraz daha iyi performans gösteriyor. Ancak, hata oranı (yani yanılsama oranı) belirgin şekilde daha yüksek. Belirsiz durumlarda stratejik tahminlerde bulunmak doğruluğu artırabilir, ancak aynı zamanda hataları ve yanılsamaları da artıracaktır.
On değerlendirme sonuçlarının ortalamasını alırken, çoğu kıyaslama doğruluk göstergesini hariç tutar, ancak bu doğru ile yanlış arasında yanlış bir ikilem yaratır.
SimpleQA gibi basit değerlendirmelerde bazı modellerin doğruluk oranı %100'e yakın olup bu da yanılsamaları ortadan kaldırmaktadır. Ancak daha zorlu değerlendirmelerde ve gerçek kullanımlarda doğruluk oranı %100'ün altında sabitlenir; çünkü bazı soruların cevapları çeşitli nedenlerle (örneğin bilgi eksikliği, küçük modellerin düşünme yeteneklerinin sınırlı olması veya açıklama gerektiren belirsizlikler) belirlenememektedir.
Buna rağmen, yalnızca doğruluk kriteri ile yapılan değerlendirme metrikleri, sıralamaları ve model kartlarını hâlâ domine etmektedir, bu da geliştiricileri geri çekilmek yerine tahmin yapabilen modeller inşa etmeye teşvik etmektedir.
Bu nedenle, modeller daha gelişmiş hale gelse bile hâlâ yanıltıcı sonuçlar üreteceklerdir. Bunun nedenlerinden biri, belirsizliği kabul etmek yerine yanlış cevaplar vermekte ısrarcı olmalarıdır.
daha iyi değerlendirme yöntemi
Buna karşılık, OpenAI basit bir çözüm önerdi: kendine güvenen hatalar (confidential error) için ceza, belirsizliklere verilen cezadan daha büyük olmalı ve belirsizliği uygun bir şekilde ifade etme davranışına kısmi puan verilmelidir.
Bu fikir yeni değil. Bazı standart testler, kör tahminleri önlemek için uzun zamandır yanlış cevaplara negatif puan verme veya boş bırakılan sorulara kısmi puan verme yöntemini kullanıyor. Bazı araştırma ekipleri de belirsizlik ve kalibrasyonu dikkate alan değerlendirme yöntemlerini araştırdı.
Ancak OpenAI, yalnızca bazı yeni belirsizlik algı testleri eklemenin yeterli olmadığını belirtiyor. Yaygın olarak kullanılan, doğruluk temelli değerlendirme yöntemlerinin güncellenmesi gerekiyor, böylece puanlamaları tahminleri engelleyebilsin.
Eğer ana değerlendirme ölçütü hâlâ modelin şanslı tahminlerine ödül vermeye devam ederse, model tahmin yapmayı öğrenmeye devam edecektir. Değerlendirme ölçütlerini değiştirmek, yanılsama tekniklerinin benimsenme kapsamını genişletebilir; bu, yeni geliştirilen ve önceki araştırmalardaki teknikleri içerir.
Halüsinasyonlar bir sonraki kelimenin tahmininden nasıl ortaya çıkar
Daha önce yanılsamaların neden bu kadar zor kurtulunulduğu tartışılmıştı, ancak bu son derece spesifik gerçeklik hataları nereden geliyor?
Sonuçta, büyük önceden eğitilmiş modellerin diğer hata türlerini, örneğin yazım hatalarını ve parantez eşleşmelerini nadiren yaptığını görüyoruz.
OpenAI, verilerde hangi desenlerin bulunduğu konusunda bir fark olacağını belirtti.
Dil modelleri öncelikle ön eğitim yoluyla öğrenir, bu, büyük bir metin yığınında bir sonraki kelimeyi tahmin etme sürecidir.
Geleneksel makine öğrenimi problemlerinin aksine, her ifade için "doğru / yanlış" etiketi yoktur. Model yalnızca akıcı dilin olumlu örneklerini görür ve genel dağılıma yakınsamak zorundadır.
Geçersiz olarak işaretlenmiş hiçbir örnek olmadığında, geçerli ifadeleri geçersiz ifadelerden ayırmak daha zor olacaktır. Ancak etiketler olsa bile, bazı hatalar kaçınılmazdır.
Sebebini anlamak için daha basit bir analoji düşünmek faydalı olabilir. Görüntü tanımada, eğer milyonlarca kedi ve köpek fotoğrafı "kedi" veya "köpek" olarak etiketlenirse, algoritma bunları güvenilir bir şekilde sınıflandırmayı öğrenebilir. Ama hayvanların doğum günleriyle her bir evcil hayvan fotoğrafını etiketlediğimizi hayal edin. Doğum günleri doğası gereği rastgele olduğu için, algoritmanın ne kadar gelişmiş olursa olsun, bu görev her zaman hatalar üretecektir.
Aynı ilke, önceden eğitilmiş modeller için de geçerlidir. Yazım ve parantezler tutarlı bir düzeni takip eder, bu nedenle bu hatalar ölçek büyüdükçe kaybolur. Ancak, bir evcil hayvanın doğum günü gibi rastgele düşük frekanslı gerçekler yalnızca desenlere dayanarak tahmin edilemez, bu da yanılsamalara yol açar.
OpenAI'nın analizi, hangi tür yanılsamaların bir sonraki kelime tahmininden kaynaklanacağını açıkladı. İdeal olarak, önceden eğitilmiş sonraki aşamanın bu yanılsamaları ortadan kaldırabilmesi gerekir, ancak önceki bölümde açıklanan nedenlerden dolayı bu tam olarak gerçekleşmedi.
Özet
OpenAI, "Bu makaledeki istatistiksel bakış açısının yanılsamanın doğasını aydınlatmasını ve bazı yaygın yanlış anlamaları çürütmesini umuyoruz" dedi:
Bazıları şunu iddia ediyor: Yanılsamalar, doğruluğu artırarak ortadan kaldırılabilir çünkü %100 doğru bir model asla yanılsama üretmez.
Keşif: Doğruluk asla %100'e ulaşmayacaktır çünkü modelin boyutu, arama ve akıl yürütme yeteneği ne olursa olsun, bazı gerçek dünya problemleri esasen yanıtlanamaz.
Birisi ilan etti: halüsinasyonlar kaçınılmazdır.
Keşif: Hayaller kaçınılmaz değildir, çünkü dil modelleri belirsiz olduğunda yanıt vermekten vazgeçebilir.
Bazıları şunu iddia ediyor: Hayal kırıklıklarını önlemek belli bir zeka seviyesini gerektirir ve bu yalnızca büyük modellerle mümkün olabilir.
Keşif: Küçük modeller kendi sınırlılıklarını daha kolay anlayabilir. Örneğin, Maori dilindeki bir soruya yanıt vermesi istendiğinde, Maori dilini bilmeyen bir küçük model doğrudan "Bilmiyorum" şeklinde yanıt verebilirken, biraz Maori dili bilen bir model güven düzeyini belirlemek zorundadır. Makalede tartışıldığı gibi, "kalibrasyon" için gereken hesaplama miktarı, doğru kalmaktan çok daha azdır.
Bazıları iddia ediyor ki: Halüsinasyon, modern dil modellerinin gizemli bir kusurudur.
Keşfet: Hayallerin nasıl oluştuğunu ve değerlendirmelerde ödül kazanmanın istatistiksel mekanizmasını anlayabiliriz.
Bazıları iddia ediyor: İllüzyonları ölçmek için sadece iyi bir illüzyon değerlendirmesine ihtiyacımız var.
Keşif: Bazı araştırmacılar halüsinasyon değerlendirmeleri yayınlamıştır. Ancak, iyi bir halüsinasyon değerlendirmesi, yüzlerce geleneksel doğruluk tabanlı değerlendirmeye göre neredeyse hiçbir etkiye sahip değildir; bu değerlendirmeler alçakgönüllülüğü cezalandırır ve tahmin yapmayı ödüllendirir. Aksine, tüm ana değerlendirme kriterleri, belirsizliğin ifadesini ödüllendirmek için yeniden tasarlanmalıdır.
OpenAI, "En son modelimizin yanılsama oranının daha düşük olduğunu ve dil modellerinin çıktılarındaki güven hata oranını daha da azaltmak için çalışmalarımıza devam edeceğimizi" belirtti.
Bu arada, TechCrunch'a göre, OpenAI model davranışı (Model Behavior) ekibini yeniden yapılandırıyor. Bu, şirketin AI modellerinin insanlarla etkileşim biçimini belirleyen küçük ama etkili bir araştırmacı ekibidir. Artık bu ekip, OpenAI'nin ileri eğitim müdürü Max Schwarzer'a rapor verecek.
Ve ekibin kurucu lideri Joanne Jang, şirkette oai Labs adında yeni bir proje başlatacak. Onun tweet'ine göre: "Bu, insanların AI ile işbirliği yapabileceği yeni arayüz prototiplerini icat etmeye ve tasarlamaya odaklanan araştırma odaklı bir ekip."
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
OpenAI nadir bir makale yayımladı: AI hayal gücünün suçlularını bulduk
Yapay zekanın en kötü şöhretli hatası nedir? Kod çökmesi değil, "halüsinasyon" - modelin gerçekleri kendine güvenle uydurması, senin de doğru ile yanlışı ayırt etmeni zorlaştırıyor. Bu temel zorluk, yapay zekaya tamamen güvenmemizi engelleyen ana engeldir.
Büyük modellerin yanılsamalar yaşayacağı neredeyse bir genel bilgi haline geldi ve büyük modelleri ciddiyetle kullanan herkesin dikkatli olmasını gerektiriyor. OpenAI de şunu belirtti: "ChatGPT de yanılsamalar üretebilir. GPT-5'in yanılsamaları belirgin şekilde daha az, özellikle akıl yürütme yaparken, ama yine de yanılsamalar meydana gelebilir. Yanılsamalar, tüm büyük dil modellerinin karşılaştığı temel bir zorluk olmaya devam ediyor."
Günümüzde akademik çevreler, model yanılsamalarını azaltmak için çeşitli yöntemler önermiş olsa da, henüz model yanılsamalarını tamamen "çözebilecek" etkili bir tedavi ortaya çıkmamıştır.
Peki, büyük modeller neden halüsinasyonlar üretiyor? Bugün, OpenAI nadiren bir makale yayımlayarak halüsinasyonların kökünü sistematik bir şekilde ortaya koydu.
Öncelikle, halüsinasyonu tanımlayalım. OpenAI'nın verdiği basit tanım: "Modelin kendinden emin bir şekilde gerçek dışı yanıtlar üretmesi durumu."
Sebebi basitçe şöyle: Standart eğitim ve değerlendirme prosedürleri, modelin belirsizliği kabul ettiğinde ödüllendirmek yerine tahminleri ödüllendirmeye daha yatkındır.
Aşağıda OpenAI'nin ne keşfettiğine daha yakından bakalım.
Hayal ne demektir?
Hülya, dil modelinin ürettiği mantıklı görünen ancak yanlış olan ifadelerdir.
Görünüşte basit olan sorular bile beklenmedik şekillerde ortaya çıkabilir. OpenAI, Adam Tauman Kalai'nin (makalenin birinci yazarı) doktora tezinin başlığı hakkında farklı yaygın olarak kullanılan sohbet robotlarına sorulduğunda, bunların üç farklı yanıt verdiğini ancak hiçbirinin doğru olmadığını örnek olarak gösterdi.
Doğum günü sorulduğunda, üç farklı tarih verdi, hepsi de yanlıştı.
Test etmek için öğrenmek
OpenAI, yanılsamaların devam ettiğini ve bunun kısmen mevcut değerlendirme yöntemlerinin yanlış teşvik mekanizmaları oluşturmasından kaynaklandığını belirtiyor. Değerlendirmenin kendisi doğrudan yanılsamalara neden olmasa da, çoğu değerlendirme modelinin performansını ölçme yöntemi, modelleri belirsizlikle yüzleşmek yerine tahminde bulunmaya teşvik ediyor.
Bunu çoktan seçmeli bir test olarak düşünebilirsiniz. Eğer cevabı bilmiyorsanız ama rastgele tahmin ediyorsanız, şansınız yaver gidebilir. Boş bırakmak ise kesinlikle sıfır puan almanıza neden olur. Aynı şekilde, model yalnızca doğruluk (yani soruları tamamen doğru cevaplama yüzdesi) üzerinden değerlendirildiğinde, "bilmiyorum" demek yerine tahminde bulunmaya teşvik edilirler.
Bir örnek daha verelim; bir dil modeli birinin doğum gününü sorulduğunda bilmiyor. Eğer "10 Eylül" diye tahmin ederse, doğru tahmin etme olasılığı 1/365'tir. "Bilmiyorum" demek kesinlikle sıfır puan alır. Binlerce test sorusunda, tahmin eden modeller nihayetinde puan tablosunda, dikkatli olan ve belirsizliği kabul eden modellerden daha iyi bir performans gösterir.
Sadece bir "doğru cevap" olan sorular için üç tür cevap düşünülebilir: doğru cevap, yanlış cevap ve modelin risk almaktan kaçındığı feragat cevabı.
OpenAI, feragat cevaplarının alçakgönüllülük (humility) göstergelerinden biri olduğunu ve alçakgönüllülüğün OpenAI'nin temel değerlerinden biri olduğunu belirtti.
Çoğu skor göstergesi, doğruluk temelinde modelleri önceliklendirir, ancak yanlış cevaplar, terk edilen cevaplardan daha kötüdür. OpenAI’nin model standartları, belirsizlikleri belirtmenin veya netlik istemenin, muhtemelen yanlış bilgiler sunmaktan daha iyi olduğunu belirtmektedir.
GPT5 sistem kartındaki SimpleQA değerlendirmesi örneği olarak.
Doğruluk açısından, daha önceki OpenAI o4-mini modeli biraz daha iyi performans gösteriyor. Ancak, hata oranı (yani yanılsama oranı) belirgin şekilde daha yüksek. Belirsiz durumlarda stratejik tahminlerde bulunmak doğruluğu artırabilir, ancak aynı zamanda hataları ve yanılsamaları da artıracaktır.
On değerlendirme sonuçlarının ortalamasını alırken, çoğu kıyaslama doğruluk göstergesini hariç tutar, ancak bu doğru ile yanlış arasında yanlış bir ikilem yaratır.
SimpleQA gibi basit değerlendirmelerde bazı modellerin doğruluk oranı %100'e yakın olup bu da yanılsamaları ortadan kaldırmaktadır. Ancak daha zorlu değerlendirmelerde ve gerçek kullanımlarda doğruluk oranı %100'ün altında sabitlenir; çünkü bazı soruların cevapları çeşitli nedenlerle (örneğin bilgi eksikliği, küçük modellerin düşünme yeteneklerinin sınırlı olması veya açıklama gerektiren belirsizlikler) belirlenememektedir.
Buna rağmen, yalnızca doğruluk kriteri ile yapılan değerlendirme metrikleri, sıralamaları ve model kartlarını hâlâ domine etmektedir, bu da geliştiricileri geri çekilmek yerine tahmin yapabilen modeller inşa etmeye teşvik etmektedir.
Bu nedenle, modeller daha gelişmiş hale gelse bile hâlâ yanıltıcı sonuçlar üreteceklerdir. Bunun nedenlerinden biri, belirsizliği kabul etmek yerine yanlış cevaplar vermekte ısrarcı olmalarıdır.
daha iyi değerlendirme yöntemi
Buna karşılık, OpenAI basit bir çözüm önerdi: kendine güvenen hatalar (confidential error) için ceza, belirsizliklere verilen cezadan daha büyük olmalı ve belirsizliği uygun bir şekilde ifade etme davranışına kısmi puan verilmelidir.
Bu fikir yeni değil. Bazı standart testler, kör tahminleri önlemek için uzun zamandır yanlış cevaplara negatif puan verme veya boş bırakılan sorulara kısmi puan verme yöntemini kullanıyor. Bazı araştırma ekipleri de belirsizlik ve kalibrasyonu dikkate alan değerlendirme yöntemlerini araştırdı.
Ancak OpenAI, yalnızca bazı yeni belirsizlik algı testleri eklemenin yeterli olmadığını belirtiyor. Yaygın olarak kullanılan, doğruluk temelli değerlendirme yöntemlerinin güncellenmesi gerekiyor, böylece puanlamaları tahminleri engelleyebilsin.
Eğer ana değerlendirme ölçütü hâlâ modelin şanslı tahminlerine ödül vermeye devam ederse, model tahmin yapmayı öğrenmeye devam edecektir. Değerlendirme ölçütlerini değiştirmek, yanılsama tekniklerinin benimsenme kapsamını genişletebilir; bu, yeni geliştirilen ve önceki araştırmalardaki teknikleri içerir.
Halüsinasyonlar bir sonraki kelimenin tahmininden nasıl ortaya çıkar
Daha önce yanılsamaların neden bu kadar zor kurtulunulduğu tartışılmıştı, ancak bu son derece spesifik gerçeklik hataları nereden geliyor?
Sonuçta, büyük önceden eğitilmiş modellerin diğer hata türlerini, örneğin yazım hatalarını ve parantez eşleşmelerini nadiren yaptığını görüyoruz.
OpenAI, verilerde hangi desenlerin bulunduğu konusunda bir fark olacağını belirtti.
Dil modelleri öncelikle ön eğitim yoluyla öğrenir, bu, büyük bir metin yığınında bir sonraki kelimeyi tahmin etme sürecidir.
Geleneksel makine öğrenimi problemlerinin aksine, her ifade için "doğru / yanlış" etiketi yoktur. Model yalnızca akıcı dilin olumlu örneklerini görür ve genel dağılıma yakınsamak zorundadır.
Geçersiz olarak işaretlenmiş hiçbir örnek olmadığında, geçerli ifadeleri geçersiz ifadelerden ayırmak daha zor olacaktır. Ancak etiketler olsa bile, bazı hatalar kaçınılmazdır.
Sebebini anlamak için daha basit bir analoji düşünmek faydalı olabilir. Görüntü tanımada, eğer milyonlarca kedi ve köpek fotoğrafı "kedi" veya "köpek" olarak etiketlenirse, algoritma bunları güvenilir bir şekilde sınıflandırmayı öğrenebilir. Ama hayvanların doğum günleriyle her bir evcil hayvan fotoğrafını etiketlediğimizi hayal edin. Doğum günleri doğası gereği rastgele olduğu için, algoritmanın ne kadar gelişmiş olursa olsun, bu görev her zaman hatalar üretecektir.
Aynı ilke, önceden eğitilmiş modeller için de geçerlidir. Yazım ve parantezler tutarlı bir düzeni takip eder, bu nedenle bu hatalar ölçek büyüdükçe kaybolur. Ancak, bir evcil hayvanın doğum günü gibi rastgele düşük frekanslı gerçekler yalnızca desenlere dayanarak tahmin edilemez, bu da yanılsamalara yol açar.
OpenAI'nın analizi, hangi tür yanılsamaların bir sonraki kelime tahmininden kaynaklanacağını açıkladı. İdeal olarak, önceden eğitilmiş sonraki aşamanın bu yanılsamaları ortadan kaldırabilmesi gerekir, ancak önceki bölümde açıklanan nedenlerden dolayı bu tam olarak gerçekleşmedi.
Özet
OpenAI, "Bu makaledeki istatistiksel bakış açısının yanılsamanın doğasını aydınlatmasını ve bazı yaygın yanlış anlamaları çürütmesini umuyoruz" dedi:
Bazıları şunu iddia ediyor: Yanılsamalar, doğruluğu artırarak ortadan kaldırılabilir çünkü %100 doğru bir model asla yanılsama üretmez.
Keşif: Doğruluk asla %100'e ulaşmayacaktır çünkü modelin boyutu, arama ve akıl yürütme yeteneği ne olursa olsun, bazı gerçek dünya problemleri esasen yanıtlanamaz.
Birisi ilan etti: halüsinasyonlar kaçınılmazdır.
Keşif: Hayaller kaçınılmaz değildir, çünkü dil modelleri belirsiz olduğunda yanıt vermekten vazgeçebilir.
Bazıları şunu iddia ediyor: Hayal kırıklıklarını önlemek belli bir zeka seviyesini gerektirir ve bu yalnızca büyük modellerle mümkün olabilir.
Keşif: Küçük modeller kendi sınırlılıklarını daha kolay anlayabilir. Örneğin, Maori dilindeki bir soruya yanıt vermesi istendiğinde, Maori dilini bilmeyen bir küçük model doğrudan "Bilmiyorum" şeklinde yanıt verebilirken, biraz Maori dili bilen bir model güven düzeyini belirlemek zorundadır. Makalede tartışıldığı gibi, "kalibrasyon" için gereken hesaplama miktarı, doğru kalmaktan çok daha azdır.
Bazıları iddia ediyor ki: Halüsinasyon, modern dil modellerinin gizemli bir kusurudur.
Keşfet: Hayallerin nasıl oluştuğunu ve değerlendirmelerde ödül kazanmanın istatistiksel mekanizmasını anlayabiliriz.
Bazıları iddia ediyor: İllüzyonları ölçmek için sadece iyi bir illüzyon değerlendirmesine ihtiyacımız var.
Keşif: Bazı araştırmacılar halüsinasyon değerlendirmeleri yayınlamıştır. Ancak, iyi bir halüsinasyon değerlendirmesi, yüzlerce geleneksel doğruluk tabanlı değerlendirmeye göre neredeyse hiçbir etkiye sahip değildir; bu değerlendirmeler alçakgönüllülüğü cezalandırır ve tahmin yapmayı ödüllendirir. Aksine, tüm ana değerlendirme kriterleri, belirsizliğin ifadesini ödüllendirmek için yeniden tasarlanmalıdır.
OpenAI, "En son modelimizin yanılsama oranının daha düşük olduğunu ve dil modellerinin çıktılarındaki güven hata oranını daha da azaltmak için çalışmalarımıza devam edeceğimizi" belirtti.
Bu arada, TechCrunch'a göre, OpenAI model davranışı (Model Behavior) ekibini yeniden yapılandırıyor. Bu, şirketin AI modellerinin insanlarla etkileşim biçimini belirleyen küçük ama etkili bir araştırmacı ekibidir. Artık bu ekip, OpenAI'nin ileri eğitim müdürü Max Schwarzer'a rapor verecek.
Ve ekibin kurucu lideri Joanne Jang, şirkette oai Labs adında yeni bir proje başlatacak. Onun tweet'ine göre: "Bu, insanların AI ile işbirliği yapabileceği yeni arayüz prototiplerini icat etmeye ve tasarlamaya odaklanan araştırma odaklı bir ekip."