Performa model besar 20B sebanding dengan Llama2-70B! Sepenuhnya open source, mulai dari dasar hingga alatnya diatur dengan jelas.

**Sumber:**Xinzhiyuan

Baru saja, catatan parameter model sumber terbuka domestik telah disegarkan kembali!

Pada tanggal 20 September, Laboratorium Kecerdasan Buatan Shanghai (Laboratorium AI Shanghai) dan SenseTime, bekerja sama dengan Universitas China di Hong Kong dan Universitas Fudan, secara resmi membuka sumber model InternLM-20B dengan 20 miliar parameter.

alamat proyek:

Komunitas Sihir:

Kali ini, versi 20 miliar parameter model besar Shusheng·Puyu dapat dikatakan "menambah kuantitas tanpa menaikkan harga". Jumlah parameternya kurang dari sepertiga, namun kinerjanya dapat menyaingi tolok ukur saat ini. model sumber terbuka - Llama2-70B. Model 13B open source mainstream saat ini tertinggal oleh InternLM-20B di semua dimensi.

Tidak hanya itu, sistem alat rantai lengkap untuk pengembangan dan aplikasi model besar juga telah ditingkatkan pada saat yang bersamaan.

Dari model sumber terbuka itu sendiri hingga seluruh rangkaian alat sumber terbuka, kali ini, Laboratorium AI Shanghai telah mengeluarkan semua harta karun yang dikumpulkan dari penelitian dan pengembangan model berskala besar miliknya, dengan harapan dapat membantu para peneliti, institusi, dan praktisi sosial. Setiap orang dapat berpartisipasi dalam revolusi teknologi yang dihasilkan oleh model-model besar dengan biaya dan ambang batas yang sangat rendah.

Performanya "terdepan di kelasnya" dan ambang batasnya "siap digunakan langsung". InternLM-20B adalah katalis dan titik tumpu baru bagi model-model besar untuk memasuki ribuan industri!

Gelombang model besar ini akan menguntungkan semua orang.

Semua yang kami gunakan adalah open source

Seperti yang kita ketahui bersama, di seluruh sistem penelitian dan pengembangan model besar, terdapat banyak tautan yang dirangkai, yang merupakan kumpulan loop tertutup yang sangat kompleks.

Bagaimana cara mengaturnya dengan cara yang lebih terstandar? Bagaimana cara menggunakan model dasar setelah mendapatkannya? Tindakan pencegahan apa yang harus diambil selama proses penerapan langkah demi langkah? Ada masalah dimana-mana.

Setelah praktik nyata dalam pekerjaan sehari-hari, tim Laboratorium AI Shanghai telah mengumpulkan serangkaian pengalaman berharga.

Kini, untuk memakmurkan ekosistem open source, mereka cukup membuka semua alat yang terlibat dalam model mulai dari persiapan data, pra-pelatihan, penerapan, hingga evaluasi aplikasi.

Dekripsi "Formula Eksklusif"

Pentingnya data bagi model besar ibarat bahan mentah produksi, tanpa sumber daya, data tidak dapat menggerakkan pengoperasian sistem AI yang cerdas. Secara khusus, data berkualitas tinggi merupakan salah satu elemen kunci untuk industrialisasi model besar.

Dalam hal pengumpulan, tidak hanya perlu menyaring dan membersihkan materi asli secara efektif dari berbagai saluran seperti halaman web, buku, laporan profesional, dan makalah, tetapi juga memanfaatkan sepenuhnya umpan balik yang diberikan oleh pengguna pengujian internal model.

Namun, agar LLM memperoleh kemampuan utama, seperti pemahaman, pemrograman, dan penalaran logis, dan menjadi "pejuang segi enam" sejati, yang lebih penting adalah membangun data sendiri.

Dalam hal ini, penelitian akademis juga sangat aktif, misalnya, "Buku Teks Adalah Semua yang Anda Butuhkan" dari Microsoft dapat mencapai keunggulan relatif pada tolok ukur dengan membangun model data terlatih phi-1.

Sejauh menyangkut tim Laboratorium AI Shanghai, mereka tidak memilih untuk membangun data dari satu arah, tetapi dari "dimensi penuh", memilah seluruh sistem pengetahuan dan membangun korpus.

Oleh karena itu, kepadatan pengetahuan dan logika di korpora ini sangat tinggi.

Menambahkan sejumlah kecil "katalis" ke sejumlah besar konten reguler tidak hanya dapat merangsang kemampuan utama LLM dengan lebih baik, tetapi juga memungkinkan model untuk menyerap dan memahami informasi yang relevan dengan lebih baik.

Lin Dahua, ilmuwan terkemuka di Laboratorium AI Shanghai, mengatakan, "Dalam arti tertentu, satu token di sini setara dengan efektivitas 10 atau bahkan 100 token tradisional."

Dalam hal daya komputasi, kecuali perusahaan Internet besar yang memiliki sumber daya melimpah, sulit bagi sebagian besar pengembang di komunitas open source untuk memperoleh daya komputasi lebih besar.

“Saya berharap akan ada alat ringan yang bisa menggunakan model tersebut.” Ini adalah masukan komunitas terbanyak yang diterima Shanghai AI Lab.

Melalui alat penyempurnaan ringan XTuner yang bersifat open source, pengguna dapat menggunakan data mereka sendiri untuk menyempurnakan model sumber terbuka Shanghai AI Laboratory pada GPU kelas konsumen sebesar 8 GB.

Selain itu, dalam hal penerapan model, "dialog obrolan" masih menjadi bagian yang sangat penting dari kemampuan model.

Shanghai AI Laboratory juga ingin menyoroti bahwa model besar berfungsi sebagai pusat pusat dan menggunakan alat untuk memecahkan masalah, serupa dengan cara Penerjemah Kode memanggil alat.

Pada saat yang sama, selama proses ini, model besar juga dapat melakukan refleksi diri, inilah potensi besar agen cerdas dengan dukungan LLM.

Lin Dahua percaya bahwa Agen akan menjadi arah yang sangat berharga untuk pembangunan jangka panjang yang perlu dijajaki.

Di dunia terakhir agen cerdas, seluruh pembagian kerja organisasi akan terus meningkat dan berkembang.Di masa depan, pasti akan ada banyak agen cerdas yang hidup berdampingan, masing-masing dengan bidang keahliannya sendiri, dan akan ada banyak teknologi. yang dapat meningkatkan komunikasi di antara mereka. .

Jadi, di manakah peningkatan spesifik dari rantai alat ini?

- Data: korpus pra-pelatihan OpenDataLab open source "Cendekiawan·Sepuluh Ribu Volume"

Dalam hal data, korpus pelatihan multi-modal Scholar·Wanjuan 1.0 secara resmi menjadi sumber terbuka pada tanggal 14 Agustus. Total volume data melebihi 2 TB, termasuk kumpulan data teks, kumpulan data grafik, dan kumpulan data video.

Melalui "pencernaan" korpus berkualitas tinggi, model seri Shusheng telah menunjukkan kinerja luar biasa dalam berbagai tugas generatif seperti pemahaman semantik, tanya jawab pengetahuan, pemahaman visual, dan tanya jawab visual.

Sejauh ini, sudah ada hampir 100.000 unduhan.

- Pra-pelatihan: Kerangka kerja pra-pelatihan InternLM yang efisien

Pada tahap pra-pelatihan, gudang InternLM juga membuka sumber kerangka kerja pra-pelatihan InternLM-Train.

Di satu sisi, ia mengintegrasikan operator model Transformer secara mendalam untuk meningkatkan efisiensi pelatihan, dan di sisi lain, ia mengusulkan teknologi Hybrid Zero yang unik untuk mencapai tumpang tindih komputasi dan komunikasi yang efisien, sehingga sangat mengurangi lalu lintas komunikasi lintas node selama proses pelatihan.

Berkat optimalisasi kinerja terbaik, sistem sumber terbuka ini mencapai efisiensi tinggi komputasi paralel kilo-card, dan kinerja pelatihannya telah mencapai tingkat terdepan di industri.

- Penyempurnaan: penyempurnaan parameter penuh InternLM, penyempurnaan ringan XTuner

Toolbox fine-tuning model besar berbiaya rendah XTuner juga telah menjadi open source baru-baru ini, mendukung berbagai model besar open source seperti Llama, serta algoritma fine-tuning seperti LoRA dan QLoRA.

Dalam hal persyaratan perangkat keras, XTuner hanya memerlukan minimal memori video 8 GB untuk melakukan penyempurnaan berbiaya rendah pada model 7B. Penyempurnaan model 20B juga dapat diselesaikan pada kartu grafis tingkat konsumen dengan 24G. memori video.

XTuner menyediakan berbagai kerangka penyesuaian untuk berbagai model sumber terbuka

- Penerapan: LMDeploy mendukung inferensi efisien miliaran hingga ratusan miliar model bahasa parameter

Dalam hal penerapan, LMDeploy mencakup serangkaian solusi penerapan dan layanan inferensi yang ringan untuk model besar.

Ini mendukung inferensi model yang efisien dari satu miliar hingga seratus miliar parameter, dan melampaui proyek sumber terbuka utama komunitas FasterTransformer, vLLM, Deepspeed, dll. dalam hal throughput dan kinerja lainnya.

- Evaluasi: Platform evaluasi model besar terpadu dan terpadu OpenCompass

Pada bagian evaluasi, platform evaluasi model besar open source OpenCompass menyediakan sistem evaluasi dalam lima dimensi: subjek, bahasa, pengetahuan, pemahaman, dan penalaran.

Pada saat yang sama, ia juga mendukung 50+ kumpulan data evaluasi, 300.000 pertanyaan evaluasi, dan mendukung evaluasi nol sampel, sampel kecil, dan rantai pemikiran. Saat ini platform ini merupakan platform evaluasi sumber terbuka paling komprehensif.

-Aplikasi: Kerangka kerja agen yang ringan dan fleksibel

Pada fase aplikasi akhir, tim Shanghai AI Laboratory fokus pada agen, mengembangkan dan membuka kerangka kerja agen Lagent yang ringan dan fleksibel.

Ini dapat mendukung pengguna untuk dengan cepat mengubah model bahasa besar menjadi beberapa jenis agen, dan menyediakan alat khusus untuk memberdayakan model bahasa besar.

Kerangka kerja sumber terbuka ini mengintegrasikan berbagai jenis kemampuan agen, termasuk ReAct klasik, AutoGPT, dan ReWoo.

Struktur kode framework ini tidak hanya jelas, tetapi juga sederhana. Dengan kurang dari 20 baris kode, pengembang dapat membuat agennya sendiri.

Selain itu, Lagent mendukung beberapa model besar termasuk InternLM, Llama, ChatGPT.

Dengan dukungan Lagent, agen ini dapat memanggil model bahasa besar untuk penalaran perencanaan dan pemanggilan alat, serta dapat melakukan refleksi dan koreksi diri secara tepat waktu selama proses eksekusi.

Konteks 16k pertama dalam negeri, 20 miliar parameter diikat dengan Llama2-70B

Selain rangkaian lengkap rantai alat model besar, Shanghai AI Laboratory juga memiliki InternLM-20B open source baru dengan hingga 20 miliar parameter.

Hasil evaluasi menunjukkan bahwa di antara model open source dengan skala yang sama, InternLM-20B layak mendapatkan performa terbaik secara keseluruhan.

- Dukungan konteks ekstra panjang

Pertama, dalam hal panjang konteks, InternLM-20B dapat mendukung jendela konteks hingga 16K.

Seperti terlihat pada gambar di bawah, InternLM-20B mampu menjawab tiga pertanyaan dengan akurat setelah membaca artikel berita panjang tentang merek kopi ternama.

Untuk makalah dan laporan yang sangat panjang, InternLM-20B juga dapat mengekstraksi abstrak secara akurat.

Misalnya, setelah memasukkan makalah ResNet klasik, ia langsung menulis ringkasan, yang secara akurat merangkum ide inti dan hasil eksperimen ResNet.

- Panggil alatnya dan jadilah otodidak

Kedua, dengan dukungan konteks yang panjang, kemampuan model diperluas secara signifikan, dan ada lebih banyak ruang untuk pemanggilan alat, penjelasan kode, serta refleksi dan koreksi. Dan ini telah menjadi teknologi kunci untuk membangun badan cerdas di InternLM-20B.

Sekarang, InternLM-20B tidak hanya dapat mendukung keluaran konten dalam berbagai arah seperti tanggal, cuaca, perjalanan, olahraga, dll., serta puluhan ribu API yang berbeda, tetapi juga dapat memanggil alat dengan cara yang mirip dengan Penerjemah Kode .

Pada saat yang sama, dalam proses ini juga dapat merefleksikan dan merevisi serta menghubungkan dengan pemandangan nyata.

Di ToolBench, kumpulan evaluasi panggilan alat model besar yang dirilis bersama oleh Universitas Tsinghua dan institusi lain, InternLM-20B mencapai tingkat kemenangan sebesar 63,5% dibandingkan dengan ChatGPT, mencapai hasil terbaik dalam daftar.

Selain itu, model InternLM-20B juga menunjukkan kemampuan generalisasi tanpa sampel tertentu. Meskipun model belum mempelajari beberapa alat selama proses pelatihan, model masih dapat memanggil alat berdasarkan deskripsi alat dan pertanyaan pengguna.

Seperti yang ditunjukkan pada gambar di bawah, jika Anda menyediakan beberapa alat AI, ia dapat merencanakan dan mempertimbangkan sendiri serta menyelesaikan masalah pengguna.

- Keunggulan komprehensif di kelas berat yang sama

Dalam rangkaian evaluasi arus utama yang mencakup hingga 50 model dalam berbagai dimensi, InternLM-20B juga telah mencapai kinerja keseluruhan terbaik dari model sumber terbuka dengan besaran yang sama.

Pada saat yang sama, ia juga jelas melampaui Llama-33B yang lebih besar dalam hal kinerja rata-rata, dan bahkan mengalahkan Llama2-70B dalam beberapa evaluasi.

Secara khusus, InternLM-20B memiliki hasil yang sangat baik dalam evaluasi mata pelajaran komprehensif MMLU, C-, dan AGI, dan berada dalam posisi terdepan di antara model sumber terbuka dengan besaran yang sama.

Khususnya pada C- dan AGI, yang mencakup ujian mata pelajaran bahasa Mandarin, kinerjanya jauh melebihi Llama2-70B.

Dalam evaluasi yang menguji pengetahuan faktual, InternLM-20B secara komprehensif mengungguli model 13B dan mampu bersaing dengan Llama-33B.

Namun masih ada celah tertentu dibandingkan Llama-65B atau Llama2-70B.

Dalam hal kemampuan pemahaman, kinerja InternLM-20B bahkan lebih luar biasa, melampaui semua model open source termasuk Llama2-70B.

Penalaran adalah "batu sandungan" yang telah mengecewakan banyak model. Ini menguji kemampuan model besar untuk menghasilkan uang nyata, dan juga sangat menentukan apakah model tersebut dapat mendukung penerapan praktis.

Dalam empat rangkaian evaluasi inferensi berikutnya, hasil InternLM-20B telah melampaui model sumber terbuka 13B arus utama, dan bahkan mendekati kemampuan inferensi Llama-65B.

Dalam hal kemampuan pemrograman, InternLM-20B juga telah ditingkatkan secara signifikan. Pada dua set evaluasi khas Manusia dan MBPP, ini mendekati Llama2-70B.

Catatan: Font tebal pada tangkapan layar di atas adalah hasil terbaik dalam kisaran 13B-33B.

Dalam daftar evaluasi Open LLM Leaderboard terbaru yang dirilis oleh HuggingFace, InternLM-20B memimpin skor rata-rata di antara model dasar dengan parameter kurang dari 60B, dan juga melampaui Llama-65B.

- Model sumber terbuka yang lebih aman

Terakhir, dari segi penyelarasan nilai, InternLM-20B juga lebih lengkap dan aman.

Jika Anda menanyakan pertanyaan yang bias, maka akan segera mengidentifikasi faktor-faktor yang tidak aman dan memberikan panduan nilai yang benar.

Model besar tidak pernah menjadi milik eksklusif produsen besar.

Setelah gelombang model besar dimulai, yang perlu kita fokuskan bukan hanya menjadi yang teratas dalam daftar evaluasi, namun juga bagaimana menjadikan model besar dari "permata utama AI" menjadi "produktivitas baru" yang dapat digunakan dalam ribuan industri.

Sepanjang sejarah, teknologi yang benar-benar memimpin zaman bukan hanya inovasi yang disruptif, namun yang lebih penting, teknologi ini berbiaya rendah, memiliki ambang batas rendah, dan tersedia bagi semua orang. Namun perusahaan besar seperti OpenAI dan Google tidak akan pernah mempublikasikan detail spesifiknya.

Dan inilah niat awal dari Shanghai AI Laboratory.

Sejak diluncurkan pada bulan Juni, Shusheng Puyu telah menyelesaikan beberapa putaran peningkatan dan memberikan dampak luas pada komunitas dan industri open source.

Selain itu, selain membuka kode di GitHub dan menempatkan modelnya di komunitas HuggingFace dan Moda, Shanghai AI Laboratory bahkan mengirimkan personel khusus untuk membaca masukan dari komunitas setiap hari dan menjawab pertanyaan pengguna dengan cermat.

Sebelumnya, model LLaMA Meta bersifat open source, memicu hiruk-pikuk penggantian ChatGPT dan mengantarkan momen Difusi Stabil untuk model teks berukuran besar.

Sama seperti ekosistem keluarga alpaka yang makmur saat ini, upaya open source dari Shanghai AI Laboratory pasti akan membawa nilai yang tak terukur bagi masyarakat.

Untuk pengembang dan peneliti aktif di seluruh dunia, Shusheng Puyu akan menyediakan basis berukuran sedang namun memiliki kemampuan yang sangat kuat.

Meskipun sebagian besar perusahaan, terutama perusahaan kecil dan menengah, telah melihat tren model besar, kecil kemungkinannya mereka akan mengeluarkan banyak uang untuk membeli daya komputasi dan menarik talenta terbaik seperti produsen besar.

Faktanya, mulai dari Konferensi Kecerdasan Buatan pada tanggal 6 Juli, Laboratorium AI Shanghai telah melakukan open source di seluruh rantai. Misalnya, XTuner memungkinkan pengguna untuk melatih model mereka sendiri hanya dengan menggunakan sebagian data mereka sendiri dengan cara yang sangat ringan.

Tidak hanya itu, tim menggabungkan pertanyaan, korpus, dokumen, dan model XTuner komunitas open source untuk melatih layanan pelanggan komunitas open source. Ini merupakan kontribusi nyata bagi komunitas open source.

Faktanya, Laboratorium AI Shanghai telah membagikan seluruh sistem teknisnya kepada komunitas (yaitu, sistem alat rantai lengkap yang disebutkan di atas).

Ada begitu banyak industri, begitu banyak perusahaan, begitu banyak institusi dan pengembang di seluruh masyarakat, jika mereka benar-benar dapat menyadari nilai dari model besar, itu akan menjadi kekuatan yang sangat penting.

Mereka memiliki kreativitas yang tiada habisnya, satu-satunya kekurangan mereka adalah sumber daya.

"Bantuan pada saat dibutuhkan" dari Laboratorium AI Shanghai pasti akan memungkinkan model besar memberikan nilai besar dalam bidang implementasi.

Seperti yang dikatakan Lin Dahua——

Sebagai laboratorium, kami dapat menyediakan model dasar dan serangkaian alat yang mengintegrasikan pengetahuan berbagai industri ke dalam data dan kemampuan model, dan membuatnya sangat mudah digunakan serta mengajari lebih banyak orang untuk menggunakannya, sehingga dapat digunakan. di berbagai industri, ada bunga dan buah-buahan.

Tautan sumber terbuka sistem alat rantai lengkap

Korpus pra-pelatihan "Cendekiawan · Sepuluh Ribu Volume":

Kerangka kerja pra-pelatihan InternLM:

Kotak alat penyempurnaan XTuner:

Rantai alat inferensi LMDeploy:

Platform evaluasi model besar OpenCompas:

Kerangka agen Lagent: