Daya Komputasi layanan menjadi model bisnis baru, bagaimana cara beralih setelah gelombang "rafinasi" model besar?

Baru-baru ini, menggunakan data cuaca global selama 40 tahun, dengan 200 kartu GPU untuk pelatihan pra-latihan selama sekitar 2 bulan, sebuah model cuaca besar dengan jumlah parameter mencapai miliaran telah lahir. Ini adalah pengalaman seorang pemuda yang lulus dari Universitas Tsinghua 3 tahun yang lalu dalam melatih model besar.

Dari perspektif biaya, dengan menghitung biaya GPU sebesar 7,8 yuan/jam, biaya pelatihan model besar meteorologi ini mungkin melebihi 2 juta yuan. Namun, jika yang dilatih adalah model besar umum, biayanya bisa meningkat seratus kali lipat.

Data menunjukkan, China saat ini telah memiliki lebih dari 100 model besar dengan skala 10 miliar parameter. Namun, "penyulingan" model besar yang diambil alih oleh industri menghadapi tantangan kekurangan GPU kelas atas. Biaya Daya Komputasi yang tinggi, kekurangan Daya Komputasi dan dana telah menjadi masalah paling jelas yang dihadapi industri.

Situasi Kekurangan GPU Kelas Atas

"Memang sangat kekurangan, tetapi kami juga tidak bisa berbuat apa-apa." Sebuah eksekutif perusahaan besar menjawab masalah kekurangan GPU.

Ini tampaknya telah menjadi masalah yang diakui di industri. Pada puncaknya, harga satu unit NVIDIA A100 telah melonjak hingga 200.000-300.000 yuan, dan sewa bulanan untuk satu server A100 juga meroket hingga 50.000-70.000 yuan. Meskipun demikian, harga tinggi belum tentu menjamin mendapatkan chip, beberapa penyedia daya komputasi bahkan mengalami kejadian langka seperti pelanggaran kontrak dari pemasok.

Seorang eksekutif senior di industri cloud computing juga menyatakan: "Daya Komputasi yang terbatas memang ada. Banyak pelanggan menginginkan sumber daya GPU kelas atas, tetapi kami saat ini tidak dapat sepenuhnya memenuhi permintaan pasar yang luas."

Dalam jangka pendek, kekurangan GPU kelas atas sulit untuk diatasi di seluruh industri. Gelombang model besar menyebabkan permintaan daya komputasi di pasar meningkat dengan cepat, tetapi laju pasokan jauh tertinggal. Meskipun dalam jangka panjang, pasokan daya komputasi pasti akan beralih dari pasar penjual ke pasar pembeli, tetapi berapa lama proses ini akan memakan waktu masih merupakan misteri.

Setiap perusahaan sedang menghitung berapa banyak GPU Nvidia yang mereka miliki, dan berdasarkan itu menilai pangsa pasar. Sumber yang mengetahui hal ini memberikan contoh, jika mereka memiliki hampir 10.000 kartu, sementara total pasar adalah 100.000 kartu, maka pangsa pasarnya adalah 10%. "Pada akhir tahun, jumlah yang dimiliki mungkin mencapai 40.000 kartu, jika total pasar adalah 200.000 kartu, maka itu mungkin mencakup 20% dari pangsa pasar."

Di satu sisi, tidak ada kartu GPU yang dapat dibeli, di sisi lain, ambang batas pelatihan model besar tidak semudah yang dipromosikan oleh industri. Biaya pelatihan model besar meteorologi yang disebutkan sebelumnya mungkin melebihi 2 juta yuan, tetapi perlu dicatat bahwa ini adalah model bidang vertikal yang dilatih berdasarkan model besar umum, dengan skala parameter mencapai miliaran. Jika ingin melatih model besar umum dengan skala satu miliar atau lebih, biayanya mungkin meningkat sepuluh kali lipat, seratus kali lipat.

Seorang eksekutif dari sebuah perusahaan teknologi mengungkapkan: "Saat ini, skala investasi terbesar adalah pelatihan model, tanpa investasi modal puluhan miliar, sangat sulit untuk terus mengembangkan model besar."

Seorang pengusaha menggambarkan situasi persaingan model besar saat ini: "Untuk bergerak cepat, setidaknya sebelum dana habis, harus ada hasil untuk mendapatkan 'pendanaan' putaran berikutnya. Jika tidak ada dukungan dana ratusan miliar atau bahkan triliunan, jalan ini akan sulit dilalui."

Dalam situasi ini, banyak yang percaya di industri bahwa seiring dengan persaingan di pasar model besar, pasar juga akan beralih dari euforia ke rasionalitas, dan perusahaan akan mengontrol biaya dan menyesuaikan strategi seiring dengan perubahan ekspektasi.

Langkah Proaktif untuk Mengatasi Daya Komputasi yang Kurang

Tidak ada syarat juga harus menciptakan syarat - ini tampaknya adalah sikap sebagian besar peserta model besar. Setiap perusahaan sedang mencari cara untuk menghadapi masalah yang ada.

Karena kekurangan chip GPU kelas atas, dan GPU yang tersedia di pasar China bukan generasi terbaru, kinerjanya biasanya lebih rendah, perusahaan perlu waktu lebih lama untuk melatih model besar. Perusahaan-perusahaan ini juga sedang mencari cara inovatif untuk mengatasi kekurangan Daya Komputasi.

Salah satu metode adalah menggunakan data berkualitas lebih tinggi untuk pelatihan, sehingga meningkatkan efisiensi pelatihan. Laporan industri yang baru dirilis menyarankan untuk memperkenalkan penandaan dan konfirmasi manual dalam hal kualitas data, dengan memilih proporsi tertentu dari data mentah untuk diberi label, guna membangun kumpulan data berkualitas tinggi.

Selain mengurangi biaya model besar melalui data berkualitas tinggi, meningkatkan kemampuan infrastruktur, dan mencapai stabilitas operasi di atas seribu kalori selama dua minggu tanpa terputus, juga merupakan salah satu tantangan teknis dan arah optimasi.

Seorang eksekutif dari penyedia layanan cloud menyatakan: "Sebagai penyedia layanan cloud, kami akan membantu klien membangun infrastruktur yang stabil dan dapat diandalkan. Karena stabilitas server GPU yang kurang baik, setiap kegagalan dapat menyebabkan gangguan pelatihan, meningkatkan total waktu pelatihan. Kluster komputasi berkinerja tinggi dapat memberikan layanan yang lebih stabil kepada klien, secara relatif memperpendek waktu pelatihan, dan menyelesaikan sebagian masalah Daya Komputasi."

Sementara itu, penjadwalan sumber daya kartu daya komputasi juga menguji kemampuan teknis penyedia layanan. Seorang kepala solusi internet mengatakan: "Memiliki sumber daya kartu daya komputasi hanyalah satu sisi, bagaimana cara menjadwalkan sumber daya kartu tersebut dan benar-benar memanfaatkannya adalah kemampuan inti dan kemampuan rekayasa yang lebih menantang. Membagi satu kartu menjadi beberapa kartu kecil, mewujudkan penjadwalan terperinci yang terdistribusi, dapat lebih lanjut mengurangi biaya daya komputasi."

Jaringan juga mempengaruhi kecepatan dan efisiensi pelatihan model besar. Pelatihan model besar sering kali membutuhkan ribuan kartu GPU, menghubungkan ratusan server GPU dengan tuntutan kecepatan jaringan yang sangat tinggi, kemacetan jaringan dapat secara serius mempengaruhi kecepatan dan efisiensi pelatihan.

Beberapa vendor mencari jalan lain, beralih dari arsitektur komputasi awan ke arsitektur superkomputer juga menjadi cara untuk mengurangi biaya. Sambil memenuhi kebutuhan pengguna, untuk tugas komputasi non-throughput tinggi dan skenario tugas paralel, harga superkomputer awan sekitar setengah dari komputasi awan, dan melalui optimasi kinerja, pemanfaatan sumber daya dapat ditingkatkan dari 30% menjadi 60%.

Selain itu, ada juga produsen yang memilih menggunakan platform domestik untuk pelatihan dan inferensi model besar, sebagai pengganti GPU Nvidia yang langka. Seorang eksekutif perusahaan menyatakan bahwa mereka telah merilis mesin all-in-one yang bekerja sama dengan Huawei, yang dapat melakukan pelatihan dan inferensi di platform domestik, dan kinerja GPU Huawei sudah dapat bersaing dengan Nvidia.

Setiap metode yang disebutkan di atas adalah proyek yang cukup besar, umumnya sulit bagi perusahaan untuk memenuhi kebutuhan melalui pembangunan pusat data sendiri, banyak tim algoritma memilih penyedia daya komputasi profesional untuk mendapatkan dukungan. Penyimpanan paralel juga merupakan tantangan biaya dan teknis yang besar, selain itu juga perlu mempertimbangkan biaya listrik di zona ketersediaan IDC, biaya platform perangkat lunak, biaya tenaga kerja, dan biaya operasional lainnya.

Kumpulan GPU tingkat ribuan kalori diperlukan untuk mencapai efisiensi skala, memilih penyedia layanan daya komputasi berarti biaya marjinal mendekati nol.

Seorang akademisi menunjukkan bahwa AIGC membawa ledakan industri kecerdasan buatan, sementara aplikasi skala teknologi cerdas memiliki masalah ekor panjang yang khas. Departemen, lembaga penelitian, dan perusahaan besar dan menengah yang memiliki kemampuan AI yang kuat hanya mencakup sekitar 20% dari permintaan Daya Komputasi, sedangkan 80% sisanya berasal dari perusahaan kecil dan menengah. Subjek-subjek ini terbatas oleh skala dan anggaran, sering kali sulit untuk mendapatkan sumber daya Daya Komputasi atau terhambat oleh harga yang tinggi, sehingga sulit untuk mendapatkan keuntungan dari perkembangan di era AI.

Oleh karena itu, untuk mewujudkan aplikasi teknologi cerdas secara skala, agar industri kecerdasan buatan "mendapat pujian" dan "menarik minat", dibutuhkan daya komputasi cerdas yang murah dan mudah digunakan, sehingga usaha kecil dan menengah juga dapat dengan mudah dan biaya rendah memanfaatkan daya komputasi.

Baik kebutuhan mendesak dari model besar terhadap Daya Komputasi, maupun berbagai tantangan yang perlu diatasi dalam proses aplikasi Daya Komputasi, semuanya mencerminkan perubahan baru: Daya Komputasi telah menjadi model layanan baru dalam permintaan pasar dan proses iterasi teknologi.

Menjelajahi Mode Layanan Daya Komputasi Baru

Apa sebenarnya daya komputasi dari model besar yang kita berebut? Untuk menjawab pertanyaan ini, kita perlu mulai dari layanan daya komputasi.

Daya Komputasi dibagi menjadi Daya Komputasi Umum, Daya Komputasi Cerdas, dan Daya Komputasi Super, dan daya komputasi ini menjadi sebuah layanan, merupakan hasil dari dorongan ganda pasar dan teknologi.

Sebuah white paper industri mendefinisikan layanan Daya Komputasi sebagai: bidang baru industri Daya Komputasi yang didasarkan pada Daya Komputasi yang beragam, terhubung melalui jaringan Daya Komputasi, dengan tujuan menyediakan Daya Komputasi yang efektif.

Inti dari layanan Daya Komputasi adalah untuk mewujudkan output Daya Komputasi yang terintegrasi melalui teknologi komputasi yang baru, serta berinteraksi dan berintegrasi dengan teknologi seperti cloud, big data, dan AI. Layanan Daya Komputasi tidak hanya mencakup Daya Komputasi, tetapi juga merupakan pengemasan terintegrasi dari sumber daya seperti Daya Komputasi, penyimpanan, dan jaringan, yang disampaikan dalam bentuk layanan ( seperti API ).

Memahami hal ini akan membuat kita menyadari bahwa sebagian besar yang berebut chip Nvidia adalah penyedia layanan daya komputasi, yaitu produsen daya komputasi. Pengguna industri yang benar-benar memanggil API daya komputasi di depan hanya perlu mengajukan permintaan daya komputasi yang sesuai.

Dari perspektif perangkat lunak, semua interaksi perangkat lunak yang menghasilkan model besar dibagi menjadi tiga jenis: pertama, pemanggilan API model besar, setiap perusahaan memiliki harga, dibayar sesuai harga; kedua, model kecil milik sendiri, membeli Daya Komputasi sendiri, bahkan menerapkan sendiri; ketiga, produsen model besar bekerja sama dengan penyedia cloud, yaitu cloud khusus, dibayar bulanan. Seorang eksekutif perusahaan perangkat lunak kantor menyatakan bahwa mereka terutama menggunakan pemanggilan API, sementara model kecil internal dibangun di platform penjadwalan Daya Komputasi.

Dengan kata lain, dalam struktur rantai industri daya komputasi, perusahaan hulu terutama menyelesaikan penyediaan sumber daya pendukung layanan daya komputasi umum, daya komputasi cerdas, daya komputasi super, penyimpanan, dan jaringan. Misalnya, dalam pertempuran perebutan daya komputasi model besar, NVIDIA termasuk dalam penyedia sumber daya dasar daya komputasi hulu, yang menyediakan chip untuk industri.

Perusahaan menengah terutama terdiri dari penyedia layanan cloud dan penyedia layanan daya komputasi baru, mereka mewujudkan produksi daya komputasi melalui teknologi penyusunan, penjadwalan, dan perdagangan daya komputasi, serta menyelesaikan pasokan daya komputasi melalui cara seperti API. Semakin kuat kemampuan layanan perusahaan menengah dalam layanan daya komputasi, semakin rendah ambang batas bagi pihak aplikasi, yang semakin mendukung perkembangan daya komputasi yang inklusif dan merata.

Perusahaan hulu bergantung pada peran rantai industri yang memproduksi layanan nilai tambah menggunakan kemampuan komputasi yang disediakan oleh layanan daya komputasi, seperti pengguna industri. Pengguna ini hanya perlu mengajukan permintaan, sementara produsen daya komputasi akan mengonfigurasi daya komputasi yang sesuai berdasarkan permintaan untuk menyelesaikan "tugas daya komputasi" yang diberikan oleh pengguna.

Ini memiliki keunggulan biaya dan teknis yang lebih dibandingkan dengan membeli server secara mandiri untuk membangun lingkungan daya komputasi model besar.

Daya Komputasi Model Bisnis Iterasi

Sebagai contoh dari model besar umum yang diluncurkan lebih awal, menurut informasi yang dipublikasikan, ia menggunakan beberapa penyedia layanan Daya Komputasi AI utama di dalam negeri. Sumber yang mengetahui menyatakan, secara teoritis mungkin telah menggunakan semua penyedia Daya Komputasi/penyedia layanan cloud utama.

Penagihan berdasarkan penggunaan dan penagihan tahunan/bulanan adalah model utama layanan daya komputasi saat ini, dengan dua jenis kebutuhan penggunaan secara umum: pertama adalah memilih instance layanan daya komputasi yang sesuai, seperti penyedia layanan cloud tertentu yang menawarkan server GPU berkinerja tinggi yang dilengkapi dengan tiga kartu grafis utama, yaitu Nvidia A800, A100, dan V100; kedua adalah memilih platform layanan MaaS yang sesuai, yang memungkinkan penyesuaian model besar di dalam platform untuk industri.

Industri saat ini juga sedang mendorong "integrasi layanan daya komputasi dan jaringan", melalui penilaian komprehensif terhadap informasi tugas komputasi, status sumber daya jaringan, dan lainnya, membentuk rencana pengaturan daya komputasi yang mendukung penjadwalan lintas arsitektur, lintas lokasi, dan lintas penyedia layanan, serta menyelesaikan penempatan sumber daya terkait. Misalnya, cukup dengan menyimpan dana, Anda dapat memanggil secara acak di partisi dalam jaringan daya komputasi, memilih partisi yang paling sesuai, tercepat, atau paling ekonomis berdasarkan karakteristik aplikasi, dengan biaya yang dihitung berdasarkan durasi dan dikurangi dari dana yang telah disimpan.

Penyedia layanan cloud juga demikian, layanan daya komputasi sebagai produk unik dari layanan cloud, memungkinkan mereka untuk cepat terlibat dalam rantai industri daya komputasi.

Data dari Kementerian Perindustrian dan Teknologi Informasi menunjukkan bahwa pada tahun 2022, total Daya Komputasi China mencapai 180EFLOPS, menempati peringkat kedua di dunia. Hingga tahun 2022, skala industri Daya Komputasi China telah mencapai 1,8 triliun yuan. Daya Komputasi model besar sangat mempercepat perkembangan industri Daya Komputasi.

Ada pendapat yang menyatakan bahwa layanan daya komputasi saat ini sebenarnya adalah suatu model "penjualan listrik" yang baru. Hanya saja, tergantung pada pembagian kerja, beberapa penyedia layanan daya komputasi mungkin perlu memberikan lebih banyak dukungan pemeliharaan akhir milik pengguna, seperti penyesuaian kinerja sistem, instalasi perangkat lunak, pengawasan operasi skala besar, dan analisis karakteristik operasi.

Seiring dengan normalisasi permintaan komputasi tinggi dari model besar, layanan daya komputasi yang berasal dari layanan cloud dengan cepat memasuki pandangan publik, membentuk rantai industri dan model bisnis yang unik. Hanya saja, saat industri daya komputasi meledak karena model besar, kekurangan GPU kelas atas, biaya daya komputasi yang tinggi, dan perebutan chip membentuk pemandangan unik era ini.

Seorang sumber yang mengetahui situasi berkomentar: "Saat ini yang bersaing adalah siapa yang bisa mendapatkan kartu GPU di rantai pasokan, Nvidia adalah raja di seluruh industri saat ini, mengendalikan semua pasar, itulah keadaan saat ini." Dalam situasi permintaan yang melebihi pasokan, siapa pun yang bisa mendapatkan kartu GPU, mereka yang bisa memenuhi permintaan bisnis.

Namun tidak semua orang berebut kartu GPU, karena kekurangan ini bersifat sementara, masalah ini pada akhirnya akan teratasi. "Peneliti jangka panjang sebenarnya tidak terburu-buru untuk membeli, mereka bisa menunggu dengan normal, karena mereka tidak akan bangkrut. Sekarang, yang benar-benar berebut kartu GPU adalah sekelompok perusahaan rintisan, mereka perlu memastikan bisa bertahan hingga tahun depan," kata sumber tersebut.

Di tengah banyak ketidakpastian, Daya Komputasi menjadi layanan yang pasti, penyedia layanan Daya Komputasi perlu bersiap-siap untuk menghadapi kembalinya model besar yang rasional dan perubahan cepat dalam arah pasar.