Pendahuluan

Sejak kelahiran GPT-3, kecerdasan buatan generatif telah membawa titik balik yang meledak di bidang kecerdasan buatan dengan performa yang luar biasa dan berbagai skenario aplikasi. Hal ini menyebabkan raksasa teknologi berbondong-bondong masuk ke jalur kecerdasan buatan. Namun, lonjakan ini juga membawa berbagai masalah. Operasi pelatihan dan inferensi dari model bahasa besar (LLM) memerlukan banyak daya komputasi. Dengan peningkatan iteratif dari model-model ini, permintaan dan biaya untuk daya komputasi meningkat secara eksponensial. Mengambil contoh GPT-2 dan GPT-3, perbedaan jumlah parameter antara GPT-2 dan GPT-3 adalah 1166 kali lipat (GPT-2 memiliki 150 juta parameter sedangkan GPT-3 memiliki 175 miliar). Biaya untuk satu sesi pelatihan GPT-3 dihitung berdasarkan model harga awan GPU publik pada saat itu, yang mencapai hingga $12 juta. Ini adalah 200 kali lipat dari GPT-2. Dalam penggunaan praktis, setiap permintaan pengguna memerlukan komputasi inferensi. Berdasarkan 13 juta pengguna independen pada awal tahun ini, permintaan yang sesuai untuk chip akan lebih dari 30.000 GPU A100. Biaya investasi awal kemudian akan mencapai $800 juta, dengan perkiraan biaya inferensi model harian sebesar $700.000.

Daya komputasi yang kurang dan biaya tinggi telah menjadi tantangan serius yang dihadapi oleh seluruh industri AI. Secara mencolok, isu serupa tampaknya juga menghadang industri blockchain. Di satu sisi, halving Bitcoin keempat dan persetujuan ETF akan segera terjadi. Seiring dengan kenaikan harga di masa depan, permintaan para penambang akan perangkat keras komputasi akan meningkat secara signifikan. Di sisi lain, teknologi Zero-Knowledge Proof (ZKP) sedang booming, dan Vitalik telah menekankan berkali-kali bahwa dampak ZK terhadap ranah blockchain dalam sepuluh tahun mendatang akan sama pentingnya dengan blockchain itu sendiri. Meskipun teknologi ini menjanjikan bagi masa depan industri blockchain, ZK juga mengkonsumsi banyak daya komputasi dan waktu dalam menghasilkan bukti karena proses perhitungan yang kompleks, sama seperti AI.

Pada masa mendatang yang dapat diprediksi, kekurangan daya komputasi akan menjadi tak terhindarkan. Jadi, apakah pasar daya komputasi terdesentralisasi akan menjadi usaha bisnis yang menguntungkan?

Definisi Pasar Daya Komputasi Terdesentralisasi

Pasar daya komputasi terdesentralisasi sebenarnya setara dengan jalur komputasi awan terdesentralisasi, tetapi saya pribadi berpikir bahwa istilah ini lebih cocok untuk menjelaskan proyek-proyek baru yang akan dibahas nanti. Pasar daya komputasi terdesentralisasi seharusnya dianggap sebagai subset dari DePIN (Jaringan Infrastruktur Fisik Terdesentralisasi), yang tujuannya adalah menciptakan pasar daya komputasi terbuka, di mana siapa pun dengan sumber daya daya komputasi yang tidak terpakai dapat menawarkan sumber daya mereka yang didorong oleh token, terutama melayani klien B2B dan komunitas pengembang. Dalam hal proyek-proyek yang lebih dikenal, jaringan seperti Jaringan Render, yang berbasis pada solusi merender GPU terdesentralisasi, dan Jaringan Akash, pasar peer-to-peer terdistribusi untuk komputasi awan, keduanya termasuk dalam jalur ini.

Teks berikut akan dimulai dengan konsep dasar dan kemudian membahas tiga pasar yang sedang berkembang di bawah lintasan ini: pasar daya komputasi AGI, pasar daya komputasi Bitcoin, dan pasar daya komputasi AGI di pasar akselerasi perangkat keras ZK. Dua yang terakhir akan dibahas dalam "Prospek Lintasan yang Menjanjikan: Pasar Daya Komputasi Terdesentralisasi (Bagian 2)".

Gambaran Umum Daya Komputasi

Konsep daya komputasi dapat ditelusuri kembali ke penemuan komputer. Komputer asli menggunakan perangkat mekanik untuk menyelesaikan tugas komputasi, dan daya komputasi merujuk pada kemampuan komputasi dari perangkat mekanik tersebut. Dengan perkembangan teknologi komputer, konsep daya komputasi juga telah berkembang. Hari ini, daya komputasi biasanya merujuk pada kerja sama perangkat keras komputer (CPU, GPU, FPGA, dll.) dan perangkat lunak (sistem operasi, kompiler, aplikasi, dll.).

Definisi

Daya komputasi merujuk pada jumlah data yang dapat diproses oleh komputer atau perangkat komputasi lainnya dalam jangka waktu tertentu atau jumlah tugas komputasi yang dapat diselesaikan. Daya komputasi biasanya digunakan untuk mendeskripsikan kinerja komputer atau perangkat komputasi lainnya. Ini adalah metrik penting dari kemampuan pemrosesan suatu perangkat komputasi.

Metrik

Daya komputasi dapat diukur dengan berbagai cara, seperti kecepatan komputasi, konsumsi energi, akurasi komputasi, dan paralelisme. Di bidang komputasi, metrik daya komputasi yang umum digunakan termasuk FLOPS (operasi titik mengambang per detik), IPS (instruksi per detik), TPS (transaksi per detik), dll.

FLOPS mengukur kemampuan komputer dalam memproses operasi floating-point (operasi matematika dengan titik desimal yang memerlukan pertimbangan masalah presisi dan kesalahan pembulatan). FLOPS mengukur berapa banyak operasi floating-point yang dapat diselesaikan oleh komputer per detik. FLOPS adalah ukuran dari kemampuan komputasi tinggi komputer dan umumnya digunakan untuk mengukur kemampuan komputasi superkomputer, server komputasi berkinerja tinggi, unit pemrosesan grafis (GPU), dll. Sebagai contoh, jika suatu sistem komputer memiliki 1 TFLOPS (satu triliun operasi floating-point per detik), itu berarti bahwa dapat menyelesaikan 1 triliun operasi floating-point per detik.

IPS mengukur kecepatan di mana komputer memproses instruksi. Ini adalah ukuran dari berapa banyak instruksi yang bisa dieksekusi oleh komputer per detik dan merupakan ukuran dari kinerja instruksi tunggal komputer, biasanya digunakan untuk mengukur kinerja unit pemrosesan pusat (CPU). Sebagai contoh, CPU dengan IPS 3 GHz (3 miliar instruksi per detik) berarti dapat mengeksekusi 3 miliar instruksi per detik.

TPS mengukur kemampuan komputer untuk memproses transaksi. Ini mengukur berapa banyak transaksi yang dapat diselesaikan oleh komputer per detik, biasanya digunakan untuk mengukur kinerja server database. Sebagai contoh, server database memiliki TPS sebesar 1.000, artinya server tersebut dapat menangani 1.000 transaksi database per detik.

Selain itu, ada beberapa metrik daya komputasi untuk skenario aplikasi tertentu, seperti kecepatan inferensi, kecepatan pemrosesan gambar, dan akurasi pengenalan suara.

Jenis Daya Komputasi

Daya komputasi GPU merujuk pada kemampuan komputasi unit pemrosesan grafis (GPU). Tidak seperti unit pemrosesan pusat (CPU), GPU adalah perangkat keras yang dirancang khusus untuk memproses data grafis seperti gambar dan video. Mereka memiliki sejumlah besar unit pemrosesan dan kemampuan komputasi paralel yang efisien, dan dapat melakukan sejumlah besar operasi titik mengambang secara bersamaan. Karena GPU awalnya dirancang untuk pemrosesan grafis permainan, mereka biasanya memiliki kecepatan clock yang lebih tinggi dan bandwidth memori yang lebih besar dari CPU untuk mendukung perhitungan grafis kompleks.

Perbedaan antara CPU dan GPU

Arsitektur: CPU dan GPU memiliki arsitektur komputasi yang berbeda. CPU biasanya memiliki satu atau lebih inti, masing-masing merupakan prosesor serbaguna yang mampu melakukan berbagai operasi yang berbeda. GPU, di sisi lain, memiliki sejumlah besar Pemroses Aliran dan Shader, yang khusus digunakan untuk mengeksekusi perhitungan terkait pemrosesan gambar;

Komputasi Paralel: GPU umumnya memiliki kemampuan komputasi paralel yang lebih tinggi. CPU memiliki jumlah inti yang terbatas, dan setiap inti hanya dapat menjalankan satu instruksi, tetapi GPU dapat memiliki ribuan pengolah aliran yang dapat menjalankan beberapa instruksi dan operasi secara bersamaan. Oleh karena itu, GPU umumnya lebih cocok daripada CPU untuk melakukan tugas komputasi paralel, seperti pembelajaran mesin dan pembelajaran mendalam, yang memerlukan komputasi paralel yang ekstensif;

Desain Pemrograman: Pemrograman untuk GPU relatif lebih kompleks dibandingkan dengan CPU. Ini memerlukan penggunaan bahasa pemrograman tertentu (seperti CUDA atau OpenCL) dan teknik pemrograman khusus untuk memanfaatkan kemampuan komputasi paralel dari GPU. Sebaliknya, pemrograman CPU lebih sederhana dan dapat menggunakan bahasa pemrograman umum dan alat.

Pentingnya Daya Komputasi

Di era Revolusi Industri, minyak adalah darah kehidupan dunia dan merasuk ke dalam setiap industri. Di era AI yang akan datang, daya komputasi akan menjadi "minyak digital" dunia. Dari perburuan chip AI oleh perusahaan besar dan saham Nvidia yang melebihi satu triliun dolar, hingga blokade terbaru Amerika Serikat terhadap chip high-end dari China, termasuk kapasitas daya komputasi, ukuran chip, dan bahkan rencana untuk melarang GPU cloud, pentingnya daya komputasi jelas terlihat. Daya komputasi akan menjadi komoditas era mendatang.

Ikhtisar Kecerdasan Buatan Umum

Kecerdasan Buatan (AI) adalah ilmu teknis baru yang mempelajari, mengembangkan, dan mengaplikasikan teori, metode, teknologi untuk mensimulasikan, memperluas, dan memperluas kecerdasan manusia. Kecerdasan Buatan bermula pada tahun 1950-an dan 1960-an dan, setelah evolusi selama lebih dari setengah abad, mengalami perkembangan yang saling terkait melalui tiga gelombang: simbolisme, koneksiisme, dan pendekatan berbasis agen. Saat ini, sebagai teknologi umum yang sedang muncul, Kecerdasan Buatan mendorong perubahan mendalam dalam kehidupan sosial dan di seluruh industri. Definisi lebih spesifik dari Kecerdasan Buatan generatif saat ini adalah: Kecerdasan Buatan Umum (AGI), sistem kecerdasan buatan dengan berbagai kemampuan pemahaman yang dapat melakukan tugas dan beroperasi di berbagai domain dengan kecerdasan yang mirip atau melebihi tingkat manusia. AGI pada dasarnya memerlukan tiga elemen, yaitu pembelajaran mendalam (DL), big data, dan Daya Komputasi yang substansial.

Pembelajaran Mendalam

Deep learning adalah subbidang dari pembelajaran mesin (ML), dan algoritma deep learning adalah jaringan saraf yang dimodelkan setelah otak manusia. Misalnya, otak manusia mengandung jutaan neuron yang saling terhubung yang bekerja sama untuk belajar dan memproses informasi. Demikian pula, jaringan saraf deep learning (atau jaringan saraf buatan) terdiri dari beberapa lapisan neuron buatan yang bekerja sama dalam sebuah komputer. Neuron buatan ini, yang dikenal sebagai node, menggunakan komputasi matematika untuk memproses data. Algoritma deep learning jaringan saraf buatan menggunakan node ini untuk memecahkan masalah kompleks.

Jaringan saraf dapat dibagi menjadi lapisan input, lapisan tersembunyi, dan lapisan output. Koneksi antara lapisan-lapisan berbeda ini terdiri dari parameter.

Layer Input: Layer input adalah layer pertama dari jaringan saraf dan bertanggung jawab untuk menerima data input eksternal. Setiap neuron di layer input sesuai dengan fitur dari data input. Sebagai contoh, dalam pemrosesan gambar, setiap neuron mungkin sesuai dengan nilai dari sebuah piksel dalam gambar.

Lapisan Tersembunyi: Lapisan input memproses data dan meneruskannya ke lapisan lebih dalam dalam jaringan. Lapisan tersembunyi ini memproses informasi pada berbagai tingkat, menyesuaikan perilakunya saat menerima informasi baru. Jaringan pembelajaran mendalam dapat memiliki ratusan lapisan tersembunyi, yang memungkinkan mereka menganalisis masalah dari berbagai sudut pandang yang berbeda. Sebagai contoh, jika Anda diberi gambar hewan yang tidak dikenal yang perlu diklasifikasikan, Anda dapat membandingkannya dengan hewan yang sudah Anda kenal. Misalnya, Anda dapat mengetahui jenis hewan itu dari bentuk telinganya, jumlah kaki, dan ukuran pupilnya. Lapisan tersembunyi dalam jaringan saraf mendalam bekerja dengan cara yang serupa. Jika algoritma pembelajaran mendalam mencoba mengklasifikasikan gambar hewan, setiap lapisan tersembunyi akan memproses fitur-fitur yang berbeda dari hewan tersebut dan mencoba mengklasifikasikannya dengan akurat.

Layer Output: Layer output merupakan layer terakhir dari jaringan saraf dan bertanggung jawab untuk menghasilkan output dari jaringan. Setiap neuron di layer output mewakili kategori atau nilai output yang mungkin. Sebagai contoh, dalam sebuah masalah klasifikasi, setiap neuron di layer output mungkin sesuai dengan sebuah kategori, sementara dalam sebuah masalah regresi, layer output mungkin hanya memiliki satu neuron yang nilainya mewakili hasil prediksi;

Parameter: Dalam jaringan saraf, koneksi antara lapisan yang berbeda direpresentasikan oleh bobot dan bias, yang dioptimalkan selama proses pelatihan untuk memungkinkan jaringan mengidentifikasi pola secara akurat dalam data dan membuat prediksi. Peningkatan dalam parameter dapat meningkatkan kapasitas model dari jaringan saraf, yaitu, kemampuan model untuk belajar dan merepresentasikan pola kompleks dalam data. Namun sebaliknya, peningkatan dalam parameter akan meningkatkan permintaan untuk daya komputasi.

Data Besar

Untuk dilatih secara efektif, jaringan saraf biasanya memerlukan data yang besar, beragam, dan berkualitas tinggi dari berbagai sumber. Data ini menjadi dasar pelatihan dan validasi model pembelajaran mesin. Dengan menganalisis big data, model pembelajaran mesin dapat mempelajari pola dan hubungan dalam data, yang memungkinkan mereka untuk membuat prediksi atau klasifikasi.

Daya Komputasi Massal

Permintaan akan daya komputasi substansial timbul dari beberapa aspek jaringan saraf: struktur multi-lapis yang kompleks, jumlah parameter yang besar, kebutuhan untuk memproses jumlah data yang sangat besar, dan metode pelatihan secara iteratif (selama fase pelatihan, model harus melakukan iterasi secara berulang, melakukan perhitungan propagasi maju dan mundur untuk setiap lapisan, termasuk perhitungan untuk fungsi aktivasi, fungsi kerugian, gradien, dan pembaruan bobot), kebutuhan akan perhitungan presisi tinggi, kemampuan komputasi paralel, teknik optimisasi dan regularisasi, serta proses evaluasi dan verifikasi model. Seiring perkembangan pembelajaran mendalam, kebutuhan akan daya komputasi massif untuk AGI meningkat sekitar 10 kali setiap tahun. Model terbaru sejauh ini, GPT-4, mengandung 1,8 triliun parameter, dengan biaya pelatihan tunggal lebih dari $60 juta dan kebutuhan daya komputasi sebesar 2.15e25 FLOPS (21,5 kuintiliun operasi titik mengambang). Permintaan akan daya komputasi untuk pelatihan model masa depan masih terus berkembang, dan model-model baru sedang dikembangkan dengan laju yang meningkat.

Ekonomi Daya Komputasi AI

Ukuran Pasar Masa Depan

Menurut perkiraan paling berwibawa, "Laporan Penilaian Indeks Daya Komputasi Global 2022-2023" yang disusun oleh International Data Corporation (IDC), Inspur Information, dan Institut Riset Industri Global Universitas Tsinghua, ukuran pasar komputasi AI global diperkirakan akan meningkat dari $19.5 miliar pada tahun 2022 menjadi $34.66 miliar pada tahun 2026. Pasar komputasi AI generatif diperkirakan akan tumbuh dari $820 juta pada tahun 2022 menjadi $10.99 miliar pada tahun 2026. Pangsa komputasi AI generatif dalam pasar komputasi AI secara keseluruhan diperkirakan akan meningkat dari 4.2% menjadi 31.7%.

Monopoli dalam Ekonomi Daya Komputasi

Produksi GPU AI telah secara eksklusif dimonopoli oleh NVIDIA dan sangat mahal (H100 terbaru telah dijual seharga $40.000 per unit). Begitu GPU dirilis, mereka langsung diserbu oleh raksasa teknologi di Silicon Valley. Beberapa perangkat ini digunakan untuk melatih model-model baru mereka sendiri. Sisanya disewakan kepada pengembang AI melalui platform cloud, seperti yang dimiliki oleh Google, Amazon, dan Microsoft, yang mengendalikan sejumlah besar sumber daya komputasi seperti server, GPU, dan TPU. Daya komputasi telah menjadi sumber daya baru yang dimonopoli oleh para raksasa ini. Banyak pengembang AI bahkan tidak dapat membeli GPU khusus tanpa penambahan harga. Untuk menggunakan peralatan terbaru, pengembang harus menyewa server cloud AWS atau Microsoft. Laporan keuangan menunjukkan bahwa bisnis ini memiliki keuntungan yang sangat tinggi. Layanan cloud AWS membanggakan margin keuntungan kotor sebesar 61%, sementara margin keuntungan kotor Microsoft bahkan lebih tinggi, mencapai 72%.

Jadi apakah kita harus menerima otoritas dan kontrol terpusat ini, dan membayar margin keuntungan 72% untuk sumber daya komputasi? Akankah para raksasa yang memonopoli Web2 juga mendominasi era berikutnya?

Tantangan Daya Komputasi AGI Terdesentralisasi

Ketika berbicara tentang antitrust, desentralisasi biasanya dianggap sebagai solusi optimal. Melihat proyek-proyek yang ada, apakah kita bisa mencapai daya komputasi besar yang dibutuhkan untuk kecerdasan buatan melalui proyek-proyek penyimpanan DePIN yang dikombinasikan dengan protokol seperti RDNR untuk penggunaan GPU yang menganggur? Jawabannya tidak. Jalan untuk menjatuhkan naga tidak semudah itu. Proyek-proyek awal tidak dirancang khusus untuk daya komputasi AGI dan tidak layak. Membawa daya komputasi ke blockchain setidaknya menghadapi lima tantangan berikut:

1. Verifikasi kerja: Untuk membangun jaringan komputasi yang benar-benar tanpa kepercayaan yang memberikan insentif ekonomi kepada pesertanya, jaringan harus memiliki cara untuk memverifikasi apakah komputasi deep learning sebenarnya dilakukan. Masalah inti di sini adalah ketergantungan keadaan dari model deep learning; dalam model-model ini, input untuk setiap lapisan tergantung pada output dari lapisan sebelumnya. Ini berarti bahwa Anda tidak dapat hanya memvalidasi satu lapisan dalam sebuah model tanpa memperhatikan semua lapisan sebelumnya. Komputasi untuk setiap lapisan didasarkan pada hasil dari semua lapisan sebelumnya. Oleh karena itu, untuk memverifikasi pekerjaan yang selesai pada titik tertentu (seperti lapisan tertentu), semua pekerjaan dari awal model hingga titik tertentu tersebut harus dieksekusi;

2. Pasar: Sebagai pasar yang sedang berkembang, pasar daya komputasi AI ​​terkena dilema pasokan dan permintaan, seperti masalah awal yang dingin. Likuiditas pasokan dan permintaan perlu sekitar sejalan dari awal agar pasar dapat tumbuh dengan sukses. Untuk menangkap pasokan potensial daya komputasi, peserta harus diberikan insentif yang jelas sebagai imbalan atas sumber daya komputasi mereka. Pasar memerlukan mekanisme untuk melacak komputasi yang sudah selesai dan membayar penyedia secara tepat waktu. Di pasar tradisional, perantara menangani tugas seperti manajemen dan onboarding, sambil mengurangi biaya operasional dengan menetapkan ambang pembayaran minimum. Namun, pendekatan ini mahal saat memperluas ukuran pasar. Hanya sebagian kecil pasokan yang dapat ditangkap secara ekonomis, menyebabkan keadaan keseimbangan ambang batas di mana pasar hanya dapat menangkap dan mempertahankan pasokan terbatas tanpa dapat berkembang lebih jauh;

3. Masalah berhenti: Masalah berhenti adalah isu mendasar dalam teori komputasi, yang melibatkan penentuan apakah tugas komputasi yang diberikan akan selesai dalam jumlah waktu yang terbatas atau berjalan tanpa batas. Masalah ini tidak dapat diputuskan, yang berarti tidak ada algoritma universal yang dapat memprediksi apakah komputasi yang diberikan akan berhenti dalam waktu yang terbatas. Sebagai contoh, eksekusi kontrak pintar di Ethereum juga menghadapi masalah berhenti serupa. Tidak mungkin untuk menentukan sebelumnya berapa banyak sumber daya komputasi yang akan diperlukan untuk eksekusi kontrak pintar, atau apakah itu akan selesai dalam waktu yang wajar.

(Dalam konteks deep learning, masalah ini akan menjadi lebih kompleks karena model dan kerangka kerja akan beralih dari konstruksi grafik statis ke pembangunan dan eksekusi dinamis.)

1. Kerahasiaan: Desain dan pengembangan dengan kesadaran privasi adalah suatu keharusan bagi tim proyek. Meskipun sejumlah besar penelitian pembelajaran mesin dapat dilakukan pada dataset publik, untuk meningkatkan kinerja model dan beradaptasi dengan aplikasi khusus, model biasanya perlu disesuaikan dengan data pengguna properti. Proses penyesuaian ini mungkin melibatkan pemrosesan data pribadi, sehingga persyaratan perlindungan privasi perlu dipertimbangkan.

2. Paralelisasi: Ini adalah faktor kunci dalam kurangnya kelayakan proyek-proyek saat ini. Model pembelajaran mendalam biasanya dilatih secara paralel pada klaster perangkat keras besar dengan arsitektur propietari dan latensi yang sangat rendah, dan GPU dalam jaringan komputasi terdistribusi akan menimbulkan latensi akibat pertukaran data yang sering dan akan dibatasi oleh kinerja GPU terlambat. Ketika sumber daya komputasi tidak dapat dipercaya dan tidak dapat diandalkan, bagaimana cara mencapai paralelisasi heterogen adalah masalah yang harus dipecahkan. Metode yang layak saat ini adalah mencapai paralelisasi melalui model transformer, seperti Switch Transformers, yang sekarang memiliki karakteristik yang sangat terparalelisasi.

Solusi: Meskipun upaya saat ini untuk pasar daya komputasi AGI terdesentralisasi masih dalam tahap awal, ada dua proyek yang awalnya telah menyelesaikan desain konsensus dari jaringan terdesentralisasi dan implementasi jaringan daya komputasi terdesentralisasi dalam pelatihan model dan inferensi. Berikut akan menggunakan Gensyn dan Together sebagai contoh untuk menganalisis metode desain dan isu dari pasar daya komputasi AGI terdesentralisasi.

Gensyn

Gensyn adalah pasar daya komputasi AGI yang masih dalam tahap konstruksi, bertujuan untuk menyelesaikan berbagai tantangan komputasi pembelajaran mendalam terdesentralisasi dan mengurangi biaya yang terkait dengan pembelajaran mendalam saat ini. Gensyn pada dasarnya adalah protokol staking proof-of-stake lapis pertama berdasarkan jaringan Polkadot, yang langsung memberi imbalan kepada penyelesaian (mereka yang menyelesaikan tugas komputasi) melalui kontrak pintar sebagai imbalan atas perangkat GPU yang tidak digunakan untuk komputasi dan melakukan tugas pembelajaran mesin.

Kembali ke pertanyaan sebelumnya, inti dari membangun jaringan komputasi yang benar-benar tanpa kepercayaan terletak pada memverifikasi pekerjaan pembelajaran mesin yang telah selesai. Ini adalah masalah yang sangat kompleks yang membutuhkan menemukan keseimbangan antara perpotongan teori kompleksitas, teori permainan, kriptografi, dan optimisasi.

Gensyn mengusulkan solusi sederhana di mana solver mengirimkan hasil tugas pembelajaran mesin yang telah mereka selesaikan. Untuk memverifikasi bahwa hasil tersebut akurat, verifikator independen lainnya mencoba untuk melakukan ulang pekerjaan yang sama. Pendekatan ini dapat disebut sebagai replikasi tunggal karena hanya satu verifikator yang akan mengeksekusi ulang tugas tersebut. Ini berarti hanya ada satu tambahan pekerjaan untuk memverifikasi akurasi pekerjaan asli. Namun, jika orang yang memverifikasi pekerjaan tersebut bukan pemberi tugas asli, maka masalah kepercayaan masih ada. Verifikator itu sendiri mungkin tidak jujur, dan pekerjaan mereka perlu diverifikasi. Hal ini mengarah pada masalah potensial di mana jika orang yang memverifikasi pekerjaan tersebut bukan pemberi tugas asli, maka diperlukan verifikator lain untuk memverifikasi pekerjaan mereka. Tetapi verifikator baru ini mungkin juga tidak dipercaya, sehingga diperlukan verifikator lain untuk memverifikasi pekerjaan mereka, yang bisa berlanjut tanpa henti, menciptakan rantai replikasi tak terbatas. Di sini kita perlu memperkenalkan tiga konsep kunci dan mengaitkannya untuk membangun sistem partisipan dengan empat peran untuk memecahkan masalah rantai tak terbatas.

Bukti pembelajaran probabilitas: Membangun sertifikat pekerjaan yang selesai menggunakan metadata dari proses optimisasi berbasis gradien. Dengan menduplikasi tahap-tahap tertentu, sertifikat ini dapat diverifikasi dengan cepat untuk memastikan bahwa pekerjaan telah diselesaikan sesuai harapan.

Protokol Posisi Tepat Berbasis Graf: Menggunakan protokol posisi tepat berbasis graf multi-granularitas, dan eksekusi konsisten dari cross-evaluators. Hal ini memungkinkan untuk menjalankan ulang dan membandingkan pekerjaan verifikasi untuk memastikan konsistensi, yang akhirnya dikonfirmasi oleh blockchain itu sendiri.

Permainan insentif gaya Truebit: Gunakan taruhan dan pemotongan untuk membangun permainan insentif untuk memastikan setiap peserta yang ekonomis wajar akan bertindak jujur dan melakukan tugas yang diharapkan.

Sistem peserta terdiri dari pengirim, penyelesaian, verifikasi, dan pengadu.

Pengirim:

Pengirim adalah pengguna akhir sistem yang menyediakan tugas-tugas yang akan dihitung dan membayar untuk unit-unit pekerjaan yang sudah selesai;

Solvers:

Solvers adalah pekerja utama dari sistem, melakukan pelatihan model dan menghasilkan bukti yang diperiksa oleh verifier;

Verifikator:

Verifiers adalah kunci untuk menghubungkan proses pelatihan non-deterministik dengan komputasi linear deterministik, mereplikasi bagian dari bukti solver dan membandingkan jarak dengan ambang batas yang diharapkan;

Pemberi Informasi Rahasia:

Whistleblowers adalah garis pertahanan terakhir, memeriksa kerja verifiers dan menimbulkan tantangan dengan harapan menerima pembayaran hadiah yang besar.

Operasi Sistem

Sistem permainan yang dirancang oleh protokol beroperasi melalui delapan tahap, mencakup empat peran peserta utama, untuk menyelesaikan seluruh proses dari pengajuan tugas hingga verifikasi akhir.

Pengiriman Tugas: Tugas terdiri dari tiga informasi spesifik:

Metadata yang menggambarkan tugas dan hiperparameter;

Sebuah file biner model (atau arsitektur dasar);

Data pelatihan yang dapat diakses secara publik dan telah diproses sebelumnya.

Untuk mengirimkan tugas, pengirim menentukan detail tugas dalam format yang dapat dibaca mesin dan mengirimkannya ke rantai bersama dengan file biner model (atau arsitektur yang bisa dibaca mesin) dan lokasi yang dapat diakses publik dari data pelatihan yang sudah diproses. Data publik dapat disimpan di penyimpanan objek sederhana seperti S3 milik AWS, atau di penyimpanan terdesentralisasi seperti IPFS, Arweave, atau Subspace.

Profil: Proses profil menetapkan ambang batas jarak dasar untuk verifikasi bukti pembelajaran. Pengecek akan secara berkala mengambil tugas profil dan menghasilkan ambang mutasi untuk perbandingan bukti pembelajaran. Untuk menghasilkan ambang batas, pengecek akan mengeksekusi dan mengeksekusi bagian-bagian dari pelatihan secara deterministik menggunakan benih acak yang berbeda, menghasilkan dan memeriksa bukti mereka sendiri. Selama proses ini, pengecek menetapkan ambang batas jarak yang diharapkan secara keseluruhan untuk pekerjaan non-deterministik dari solusi yang dapat digunakan untuk verifikasi.

Pelatihan: Setelah profil, tugas masuk ke kolam tugas publik (mirip dengan Mempool Ethereum). Pilih solver untuk menjalankan tugas dan hapus tugas dari kolam tugas. Solver melakukan tugas berdasarkan metadata yang dikirimkan oleh pengirim dan model serta data pelatihan yang disediakan. Saat menjalankan tugas pelatihan, solver juga menghasilkan bukti pembelajaran dengan secara teratur memeriksa titik-titik dan menyimpan metadata (termasuk parameter) selama proses pelatihan, sehingga verifikator dapat mereplikasi langkah-langkah optimisasi berikutnya seakurat mungkin.

Generasi bukti: Solver secara berkala menyimpan bobot model atau pembaruan dan indeks yang sesuai dari dataset pelatihan untuk mengidentifikasi sampel yang digunakan untuk menghasilkan pembaruan bobot. Frekuensi checkpoint dapat disesuaikan untuk memberikan jaminan yang lebih kuat atau untuk menghemat ruang penyimpanan. Bukti dapat "ditumpuk," artinya mereka dapat dimulai dari distribusi acak yang digunakan untuk menginisialisasi bobot, atau dari bobot pra-pelatihan yang dihasilkan menggunakan bukti mereka sendiri. Ini memungkinkan protokol untuk membangun serangkaian model dasar terbukti, pra-terlatih yang dapat disesuaikan untuk tugas yang lebih spesifik.

Verifikasi bukti: Setelah tugas selesai, para penyelesaian mendaftarkan penyelesaian tugas di rantai dan menampilkan bukti pembelajaran mereka di lokasi yang dapat diakses publik untuk verifikator mengaksesnya. Verifikator menarik tugas verifikasi dari kolam tugas publik dan melakukan pekerjaan komputasi untuk menjalankan kembali bagian dari bukti dan menjalankan perhitungan jarak. Rantai, bersama dengan ambang batas yang dihitung selama tahap profil, kemudian menggunakan jarak yang dihasilkan untuk menentukan apakah verifikasi cocok dengan bukti.

Tantangan titik berbasis grafik: Setelah memverifikasi bukti pembelajaran, para pengungkap dapat mereplikasi pekerjaan verifikator untuk memeriksa apakah pekerjaan verifikasi itu sendiri dieksekusi dengan benar. Jika para pengungkap percaya bahwa verifikasi telah dieksekusi dengan tidak benar (dengan sengaja atau tidak), mereka dapat menantangnya untuk arbitrase kontrak sebagai imbalan. Imbalan ini dapat berasal dari deposit solver dan validator (dalam kasus positif nyata), atau dari bonus kolam lotre (dalam kasus positif palsu), dengan arbitrase yang dilakukan menggunakan rantai itu sendiri. Para pengungkap (yang bertindak sebagai verifikator dalam kasus mereka) hanya akan memverifikasi dan kemudian menantang pekerjaan hanya jika mereka mengharapkan menerima kompensasi yang sesuai. Dalam prakteknya, ini berarti bahwa para pengungkap diharapkan bergabung dan meninggalkan jaringan berdasarkan jumlah pengungkap aktif lainnya (yaitu, dengan deposit dan tantangan aktif). Oleh karena itu, strategi default yang diharapkan bagi para pengungkap adalah untuk bergabung dalam jaringan ketika ada sedikit pengungkap lainnya, memposting deposit, secara acak memilih tugas aktif, dan memulai proses verifikasinya. Setelah satu tugas, mereka akan mengambil tugas aktif acak lainnya dan mengulanginya hingga jumlah pengungkap melebihi ambang pembayaran yang ditentukan mereka, pada saat itu mereka akan meninggalkan jaringan (atau lebih mungkin, beralih ke peran lain dalam jaringan — verifikator atau solver — berdasarkan kemampuan perangkat keras mereka) sampai situasi berbalik lagi.

Arbitrasi kontrak: Ketika verifikator ditantang oleh para pengungkap, mereka memasuki proses dengan rantai untuk mengetahui lokasi operasi atau input yang diperselisihkan, dan pada akhirnya rantai akan melakukan operasi dasar akhir dan menentukan apakah tantangan tersebut benar. Untuk menjaga kejujuran para pengungkap dan mengatasi dilema verifikator, kesalahan paksa periodik dan pembayaran jackpot diperkenalkan di sini.

Penyelesaian: Selama proses penyelesaian, peserta dibayar berdasarkan kesimpulan dari pemeriksaan probabilitas dan deterministik. Berbagai skenario pembayaran muncul tergantung pada hasil verifikasi dan tantangan sebelumnya. Jika pekerjaan dianggap telah dilakukan dengan benar dan semua pemeriksaan telah lulus, baik penyedia solusi maupun pemeriksa akan mendapatkan imbalan berdasarkan operasi yang dilakukan.

Ulasan Singkat Proyek

Gensyn telah merancang sistem teori permainan yang canggih pada lapisan verifikasi dan lapisan insentif, yang memungkinkan identifikasi dan perbaikan kesalahan dengan cepat dengan memetakan perbedaan dalam jaringan. Namun, masih banyak detail yang hilang dalam sistem saat ini. Misalnya, bagaimana menetapkan parameter untuk memastikan bahwa imbalan dan hukuman wajar tanpa menetapkan ambang terlalu tinggi? Apakah Anda telah mempertimbangkan skenario ekstrim dan daya komputasi yang berbeda dari penyelesaian dalam aspek teori permainan? Tidak ada deskripsi rinci tentang eksekusi paralel heterogen dalam versi saat ini dari whitepaper. Gensyn masih memiliki jalan panjang untuk dilalui.

Together.ai

Together.ai adalah perusahaan yang berfokus pada solusi komputasi AI terdesentralisasi sumber terbuka untuk model-model besar. Tujuannya adalah mencapai agar siapapun dapat mengakses AI di mana saja. Secara ketat, Together bukan proyek blockchain, tetapi telah secara praliminier menyelesaikan isu latensi dalam jaringan komputasi AGI terdesentralisasi. Oleh karena itu, artikel berikut hanya menganalisis solusi-solusi Together dan tidak mengevaluasi proyek itu sendiri.

Bagaimana cara mencapai pelatihan dan inferensi model-model besar ketika jaringan terdesentralisasi 100 kali lebih lambat daripada pusat data?

Mari kita bayangkan distribusi GPU yang berpartisipasi dalam jaringan terdesentralisasi. Perangkat-perangkat ini akan tersebar di berbagai benua dan kota, masing-masing perlu terhubung dengan latensi dan bandwidth yang bervariasi. Seperti yang ditunjukkan dalam gambar di bawah, skenario terdistribusi yang disimulasikan menunjukkan perangkat yang berlokasi di Amerika Utara, Eropa, dan Asia, dengan bandwidth dan latensi yang berbeda di antara mereka. Apa yang perlu dilakukan untuk menghubungkan mereka secara efektif?

Pemodelan komputasi pelatihan terdistribusi: Diagram di bawah ini menunjukkan situasi pelatihan model dasar di sejumlah perangkat, yang menampilkan tiga jenis komunikasi: Aktivasi Maju, Gradien Mundur, dan Komunikasi Lateral.

Menggabungkan bandwidth komunikasi dan latensi, dua bentuk paralelisme perlu dipertimbangkan: paralelisme pipa dan paralelisme data, yang sesuai dengan tiga jenis komunikasi dalam skenario multi-perangkat:

Dalam paralelisme pipeline, semua lapisan model dibagi menjadi beberapa tahap, di mana setiap perangkat memproses satu tahap, yang merupakan urutan lapisan berurutan, seperti beberapa blok Transformer. Selama penyebaran ke depan, aktivasi diteruskan ke tahap berikutnya, dan selama penyebaran ke belakang, gradien aktivasi diteruskan kembali ke tahap sebelumnya.

Dalam paralelisme data, perangkat menghitung gradien secara independen untuk mikro-batch yang berbeda tetapi perlu menyinkronkan gradien tersebut melalui komunikasi.

Optimisasi Penjadwalan:

Dalam lingkungan terdesentralisasi, proses pelatihan sering dibatasi oleh komunikasi. Algoritma penjadwalan umumnya menugaskan tugas yang memerlukan komunikasi yang ekstensif ke perangkat dengan koneksi yang lebih cepat. Mengingat ketergantungan antara tugas dan heterogenitas jaringan, pertama-tama perlu memodelkan biaya strategi penjadwalan spesifik. Untuk menangkap biaya komunikasi kompleks dari model dasar pelatihan, Together mengusulkan formulasi baru dan memecah model biaya menjadi dua tingkat menggunakan teori graf:

Teori graf adalah cabang matematika yang mempelajari sifat dan struktur graf (jaringan). Sebuah graf terdiri dari simpul (node) dan sisi (garis yang menghubungkan node). Tujuan utama teori graf adalah untuk mempelajari berbagai sifat graf, seperti keterhubungan, pewarnaan, dan sifat jalur dan siklus dalam graf.

Tingkat pertama adalah masalah pembagian graf yang seimbang (membagi himpunan simpul graf menjadi beberapa subset dengan ukuran yang sama atau hampir sama sambil meminimalkan jumlah tepi antara subset). Dalam pembagian ini, setiap subset mewakili sebuah partisi, dan biaya komunikasi dikurangi dengan meminimalkan tepi antara partisi, sesuai dengan biaya komunikasi paralel data.

Level kedua melibatkan pencocokan graf bersama dan masalah pedagang keliling (masalah optimisasi kombinatorial yang menggabungkan elemen pencocokan graf dan masalah pedagang keliling). Masalah pencocokan graf melibatkan menemukan kecocokan dalam graf yang meminimalkan atau memaksimalkan beberapa biaya. Masalah pedagang keliling mencari jalur terpendek yang mengunjungi semua node dalam graf, sesuai dengan biaya komunikasi paralelisme pipa.

Diagram di atas adalah skematik dari proses tersebut. Karena kalkulasi yang kompleks terlibat dalam implementasi sebenarnya, proses yang dijelaskan dalam diagram tersebut disederhanakan untuk memudahkan pemahaman. Untuk implementasi yang lebih detail, seseorang dapat merujuk ke dokumentasi di situs web resmi Together.

Misalkan ada set perangkat NN, DD, dengan keterlambatan komunikasi yang tidak pasti (matriks AA) dan bandwidth (matriks BB), berdasarkan set perangkat DD, kita pertama-tama menghasilkan partisi graf yang seimbang. Setiap partisi atau kelompok perangkat berisi jumlah perangkat yang hampir sama, dan semuanya menangani tahap pipa yang sama. Hal ini memastikan bahwa selama paralelisme data, setiap kelompok perangkat melakukan jumlah pekerjaan yang serupa. Berdasarkan keterlambatan komunikasi dan bandwidth, sebuah rumus dapat menghitung “biaya” transfer data antara kelompok perangkat. Setiap kelompok seimbang digabungkan untuk membuat graf kasar yang sepenuhnya terhubung, di mana setiap node mewakili tahap pipa, dan tepi mewakili biaya komunikasi antara dua tahap. Untuk meminimalkan biaya komunikasi, algoritma pencocokan digunakan untuk menentukan kelompok perangkat mana yang harus bekerja bersama.

Untuk optimisasi lebih lanjut, masalah ini juga dapat dimodelkan sebagai masalah salesman bepergian open-loop (open-loop berarti tidak perlu kembali ke titik awal jalur) untuk menemukan jalur optimal untuk mentransmisikan data di semua perangkat. Terakhir, Together menggunakan algoritma penjadwalan inovatif untuk menemukan strategi alokasi optimal untuk model biaya yang diberikan, dengan demikian meminimalkan biaya komunikasi dan memaksimalkan throughput pelatihan. Menurut uji coba, bahkan jika jaringan 100 kali lebih lambat di bawah optimisasi penjadwalan ini, throughput pelatihan end-to-end hanya sekitar 1,7 hingga 2,3 kali lebih lambat.

Optimisasi Kompresi Komunikasi:

Untuk optimalisasi kompresi komunikasi, Bersama-sama memperkenalkan algoritma AQ-SGD (untuk proses perhitungan terperinci, silakan merujuk ke makalah "Fine-tuning Language Models over Slow Networks using Activation Compression with Guarantees"). Algoritma AQ-SGD adalah teknik kompresi aktivasi baru yang dirancang untuk mengatasi masalah efisiensi komunikasi selama pelatihan paralel pipa melalui jaringan yang lambat. Berbeda dari metode sebelumnya untuk mengompresi nilai aktivasi secara langsung, AQ-SGD berfokus pada kompresi perubahan nilai aktivasi dari sampel pelatihan yang sama dalam periode yang berbeda. Metode unik ini memperkenalkan dinamika "self-executing" yang menarik, di mana kinerja algoritma diharapkan meningkat secara bertahap saat pelatihan stabil. Algoritma AQ-SGD telah dianalisis secara teoritis secara ketat dan terbukti memiliki tingkat konvergensi yang baik dalam kondisi teknis tertentu dan fungsi kuantisasi kesalahan terbatas. Algoritma ini dapat diimplementasikan secara efektif tanpa menambahkan overhead runtime end-to-end tambahan, meskipun memerlukan penggunaan lebih banyak memori dan SSD untuk menyimpan nilai aktivasi. Melalui eksperimen ekstensif pada klasifikasi urutan dan dataset pemodelan bahasa, AQ-SGD telah terbukti memampatkan nilai aktivasi menjadi 2-4 bit tanpa mengorbankan kinerja konvergensi. Selanjutnya, AQ-SGD dapat diintegrasikan dengan algoritma kompresi gradien state-of-the-art untuk mencapai "kompresi komunikasi end-to-end," yang berarti bahwa pertukaran data antara semua mesin, termasuk gradien model, nilai aktivasi maju, dan gradien mundur, dikompresi ke presisi rendah, sehingga secara signifikan meningkatkan efisiensi komunikasi pelatihan terdistribusi. Dibandingkan dengan kinerja pelatihan end-to-end dalam jaringan komputasi terpusat (seperti 10 Gbps) tanpa kompresi, saat ini hanya 31% lebih lambat. Dikombinasikan dengan data tentang pengoptimalan penjadwalan, meskipun masih ada kesenjangan tertentu antara jaringan komputasi terpusat, ada harapan besar untuk mengejar ketinggalan di masa depan.

Kesimpulan

Dalam periode dividen yang dibawa oleh gelombang AI, pasar daya komputasi AGI adalah pasar dengan potensi terbesar dan permintaan terbesar di antara berbagai pasar daya komputasi. Namun, kesulitan pengembangan tertinggi, persyaratan perangkat keras, dan tuntutan modal membawa tantangan bagi industri ini. Menggabungkan kedua proyek yang diperkenalkan di atas, kita masih memerlukan waktu sebelum pasar daya komputasi AGI diluncurkan. Jaringan terdesentralisasi yang sebenarnya juga jauh lebih rumit daripada skenario ideal. Saat ini belum cukup untuk bersaing dengan raksasa awan.

Pada saat penulisan, saya juga mengamati bahwa beberapa proyek skala kecil yang masih dalam tahap awal (tahap PPT) telah mulai mengeksplorasi beberapa titik masuk baru, seperti berfokus pada tahap inferensi AGI yang kurang menantang daripada tahap pelatihan. Namun, dalam jangka panjang, pentingnya desentralisasi dan sistem tanpa izin sangat mendalam. Hak untuk mengakses dan melatih daya komputasi AGI tidak boleh terkonsentrasi di tangan beberapa raksasa terpusat. Umat manusia tidak membutuhkan "teokrasi" baru atau "paus" baru, juga tidak harus membayar biaya keanggotaan yang mahal.

Penyangkalan：

1. Artikel ini dicetak ulang dari [YBB Capital]. Semua hak cipta milik penulis asli [Zeke]. Jika ada keberatan terhadap pencetakan ulang ini, silakan hubungi Belajar Pintutim, dan mereka akan menanganinya dengan cepat.
2. Penafian Tanggung Jawab: Pandangan dan pendapat yang terdapat dalam artikel ini semata-mata milik penulis dan tidak merupakan nasihat investasi apa pun.
3. Terjemahan artikel ke dalam bahasa lain dilakukan oleh tim Gate Learn. Kecuali disebutkan, menyalin, mendistribusikan, atau menjiplak artikel yang diterjemahkan dilarang.