Model bahasa besar akan menyisipkan preferensi mereka sendiri selama distilasi

Berita dari Caijing Mars 16 April, sebuah studi yang diterbitkan di Nature pada tanggal 15 menunjukkan bahwa model bahasa besar (LLM) mungkin menyisipkan preferensi pribadi mereka sendiri ke dalam algoritma lain, bahkan setelah fitur asli dihapus dari data pelatihan, fitur yang sebenarnya tidak diperlukan tetap dapat bertahan. Dalam satu kasus, sebuah model tampaknya menyampaikan preferensinya terhadap burung hantu kepada model lain melalui sinyal tersembunyi dalam data. Hasil studi ini menunjukkan bahwa saat mengembangkan LLM, perlu dilakukan pemeriksaan keamanan yang lebih menyeluruh. (Laporan Teknologi)