Evolusi Akses Data Web3: Analisis Indeks dan Proyek Terkait

Data adalah inti dari teknologi blockchain, dan merupakan dasar untuk mengembangkan aplikasi terdesentralisasi ( dApp ). Saat ini, sebagian besar diskusi terfokus pada ketersediaan data ( DA ), yaitu memastikan semua peserta jaringan dapat mengakses data transaksi terbaru untuk diverifikasi. Namun, satu aspek lain yang sama pentingnya tetapi sering diabaikan adalah aksesibilitas data.

Dalam era blockchain modular, solusi DA telah menjadi bagian yang tak terpisahkan. Solusi ini memastikan semua peserta dapat mengakses data transaksi, sehingga memungkinkan verifikasi waktu nyata dan menjaga integritas jaringan. Namun, fungsi lapisan DA lebih mirip dengan papan iklan daripada basis data. Ini berarti data tidak disimpan untuk waktu yang tidak terbatas dan akan dihapus seiring waktu, sama seperti poster di papan iklan yang pada akhirnya akan diganti oleh poster baru.

Dibandingkan dengan itu, aksesibilitas data lebih menekankan pada kemampuan untuk mengambil data historis, yang sangat penting untuk mengembangkan dApp dan melakukan analisis blockchain. Aspek ini sangat penting untuk tugas-tugas yang memerlukan akses ke data masa lalu untuk memastikan representasi dan eksekusi yang akurat. Meskipun diskusi tentang aksesibilitas data lebih sedikit, itu sama pentingnya dengan ketersediaan data. Keduanya memainkan peran yang berbeda tetapi saling melengkapi dalam ekosistem blockchain, dan pendekatan manajemen data yang komprehensif harus menangani kedua masalah ini secara bersamaan untuk mendukung aplikasi blockchain yang kuat dan efisien.

Evolusi Pencarian Data Blockchain

Sejak lahirnya blockchain, infrastruktur telah berubah secara drastis, mendorong penciptaan dApp di berbagai bidang seperti game, keuangan, dan jejaring sosial. Namun, membangun dApp ini memerlukan akses ke sejumlah besar data blockchain, yang sulit dan mahal.

Bagi pengembang dApp, salah satu pilihan adalah mengelola dan menjalankan node RPC arsip mereka sendiri. Node ini menyimpan semua data blockchain historis sejak awal, memungkinkan akses penuh ke data. Namun, pemeliharaan node arsip sangat mahal, dan kemampuan kueri terbatas, sehingga tidak dapat menanyakan data dalam format yang dibutuhkan pengembang. Meskipun menjalankan node yang lebih murah adalah pilihan, kemampuan pengambilan data dari node ini terbatas, yang dapat mempengaruhi kinerja dApp.

Metode lain adalah menggunakan penyedia node RPC komersial. Penyedia ini bertanggung jawab atas biaya dan pengelolaan node, serta menyediakan data melalui titik akhir RPC. Titik akhir RPC publik meskipun gratis, memiliki batasan laju, yang mungkin berdampak negatif pada pengalaman pengguna dApp. Titik akhir RPC pribadi menawarkan kinerja yang lebih baik dengan mengurangi kemacetan, tetapi bahkan untuk pengambilan data sederhana pun memerlukan banyak komunikasi bolak-balik. Ini membuatnya membebani permintaan, dan tidak efisien untuk kueri data yang kompleks. Selain itu, titik akhir RPC pribadi biasanya sulit untuk diskalakan dan kurang kompatibel di berbagai jaringan.

Pilihan yang Lebih Baik: Pengindeks Blockchain

Indexer blockchain memainkan peran kunci dalam mengorganisir data di rantai dan mengirimkannya ke database untuk memudahkan pencarian, sehingga sering disebut sebagai "mesin pencari blockchain". Cara kerjanya adalah dengan mengindeks data blockchain dan membuatnya tersedia kapan saja melalui bahasa kueri yang mirip SQL (menggunakan API seperti GraphQL). Dengan menyediakan antarmuka kueri data yang seragam, indexer memungkinkan pengembang untuk dengan cepat dan akurat mengambil informasi yang dibutuhkan menggunakan bahasa kueri yang distandarisasi, sehingga sangat menyederhanakan proses ini.

Berbagai jenis pengindeks mengoptimalkan pengambilan data dengan berbagai cara:

1. Pengindeks Node Lengkap: Mengambil data langsung dari node blockchain lengkap, memastikan data lengkap dan akurat, tetapi memerlukan penyimpanan dan kemampuan pemrosesan yang besar.

2. Pengindeks ringan: mengandalkan node penuh untuk mendapatkan data tertentu sesuai permintaan, mengurangi kebutuhan penyimpanan tetapi mungkin meningkatkan waktu kueri.

3. Indeks Khusus: Dioptimalkan untuk jenis data tertentu atau blockchain tertentu, seperti data NFT atau transaksi DeFi.

4. Pengindeks Agregat: Mengambil data dari berbagai blockchain dan sumber, termasuk informasi off-chain, menyediakan antarmuka kueri yang seragam, sangat berguna untuk dApp multi-chain.

Hanya Ethereum yang membutuhkan 3TB ruang penyimpanan, seiring dengan pertumbuhan blockchain, jumlah penyimpanan data terus meningkat. Protokol pengindeksan menerapkan beberapa pengindeks, yang dapat mengindeks secara efisien dan melakukan query cepat terhadap sejumlah besar data, yang tidak dapat dicapai oleh RPC.

Indexer juga memungkinkan untuk melakukan query yang kompleks, dengan mudah memfilter data dan mengekstrak analisis setelahnya. Beberapa indexer juga dapat mengagregasi data dari berbagai sumber, menghindari perlunya menerapkan beberapa API di dApp multi-chain. Dengan tersebar di beberapa node, indexer menawarkan keamanan dan kinerja yang lebih baik, sementara penyedia RPC mungkin mengalami gangguan dan downtime karena sifat terpusat.

Secara keseluruhan, dibandingkan dengan penyedia node RPC, indeksator meningkatkan efisiensi dan keandalan pengambilan data, sambil mengurangi biaya untuk menerapkan satu node. Ini menjadikan protokol indeksator blockchain sebagai pilihan utama bagi pengembang dApp.

Skenario Aplikasi Indeks

Membangun dApp memerlukan pencarian dan pembacaan data blockchain agar layanan dapat berjalan. Ini termasuk berbagai jenis dApp, seperti DeFi, platform NFT, permainan, bahkan jejaring sosial, karena platform-platform ini perlu membaca data terlebih dahulu sebelum melakukan transaksi lainnya.

DeFi

Protokol DeFi membutuhkan informasi yang berbeda untuk memberikan harga, rasio, biaya, dan lain-lain kepada pengguna. Automated Market Maker ( AMM ) memerlukan informasi harga dan likuiditas dari pool untuk menghitung suku bunga swap, sedangkan protokol pinjaman perlu menggunakan tingkat pemanfaatan untuk menentukan suku bunga pinjaman dan rasio utang yang dilikuidasi. Memasukkan informasi ke dalam dApp adalah hal yang penting sebelum menghitung suku bunga yang dieksekusi oleh pengguna.

permainan

GameFi membutuhkan pengindeksan dan akses data yang cepat untuk memastikan pengalaman bermain yang lancar bagi pengguna. Hanya melalui pengambilan dan eksekusi data yang cepat, permainan Web3 dapat bersaing dalam hal kinerja dengan permainan Web2, sehingga menarik lebih banyak pengguna. Permainan ini memerlukan data seperti kepemilikan tanah, saldo token dalam permainan, dan operasi dalam permainan. Dengan menggunakan pengindeks, mereka dapat lebih baik memastikan aliran data yang stabil dan waktu operasi yang normal, menjamin pengalaman bermain yang sempurna.

NFT

Pasar NFT dan platform pinjaman memerlukan indeks data untuk mengakses berbagai informasi, seperti metadata NFT, data kepemilikan dan transfer, informasi royalti, dan sebagainya. Mengindeks data semacam ini dengan cepat dapat menghindari penelusuran setiap NFT satu per satu untuk mencari data kepemilikan atau atribut.

Baik DeFi AMM yang memerlukan informasi harga dan likuiditas, maupun aplikasi SocialFi yang perlu memperbarui pos pengguna baru, pencarian data yang cepat sangat penting untuk operasional normal dApp. Dengan bantuan pengindeks, mereka dapat mengakses data dengan efisien dan akurat, memberikan pengalaman pengguna yang lancar.

analisis

Indexer menyediakan cara untuk mengekstrak data spesifik dari data blockchain asli (termasuk peristiwa kontrak pintar dalam setiap blok). Ini memberikan kesempatan untuk analisis data yang lebih spesifik, sehingga memberikan wawasan yang komprehensif.

Misalnya, protokol perdagangan perpetual dapat menentukan token mana yang memiliki volume perdagangan tinggi dan biaya yang tinggi, sehingga memutuskan apakah akan mencantumkannya sebagai kontrak perpetual di platform. Pengembang DEX dapat membuat dasbor untuk produk mereka sendiri, mendapatkan wawasan mendalam tentang kolam dana mana yang memiliki tingkat pengembalian tertinggi atau likuiditas terbaik. Mereka juga dapat membuat dasbor publik, memungkinkan pengembang untuk dengan bebas dan fleksibel mencari jenis data apa pun dan menampilkannya dalam bentuk grafik.

Karena ada beberapa pengindeks blockchain yang tersedia, mengenali perbedaan antara protokol pengindeks sangat penting untuk memastikan pengembang memilih pengindeks yang paling sesuai dengan kebutuhan mereka.

Tinjauan Indeks Blockchain

The Graph

The Graph adalah protokol pengindeks yang pertama kali diluncurkan di Ethereum, yang memungkinkan pengguna untuk dengan mudah meng-query data transaksi yang sebelumnya sulit diakses. Ini menggunakan subgraf untuk mendefinisikan dan memfilter subset data yang dikumpulkan dari blockchain, seperti semua transaksi yang terkait dengan kolam DEX USDC/ETH.

Menggunakan bukti indeks, penyedia indeks mempertaruhkan token asli GRT untuk layanan indeks dan query, dan delegator dapat memilih untuk mempertaruhkan token mereka di sini. Kurator dapat mengakses subgraf berkualitas tinggi untuk membantu penyedia indeks menentukan subgraf mana yang harus diindeks untuk menghasilkan biaya query terbaik. Dalam proses transisi menuju desentralisasi yang lebih besar, The Graph pada akhirnya akan menghentikan layanan hostingnya dan meminta subgraf untuk meningkatkan ke jaringannya, sambil menyediakan penyedia indeks yang ditingkatkan.

Infrastruktur ini membuat biaya rata-rata untuk setiap satu juta kueri mencapai 40 dolar, yang jauh lebih rendah dibandingkan dengan biaya node yang dihosting sendiri. Dengan menggunakan sumber data file, ia juga mendukung pengindeksan paralel untuk data on-chain dan off-chain secara bersamaan, untuk mencapai pengambilan data yang efisien.

Hadiah indeksator The Graph telah tumbuh secara stabil dalam beberapa kuartal terakhir. Hal ini sebagian disebabkan oleh peningkatan jumlah kueri, tetapi juga disebabkan oleh kenaikan harga token, karena mereka berencana untuk mengintegrasikan kueri yang dibantu oleh kecerdasan buatan di masa depan.

Subsquid

Subsquid adalah danau data terdesentralisasi yang dapat diperluas secara horizontal dan peer-to-peer, yang dapat mengagregasi sejumlah besar data on-chain dan off-chain dengan efisien, serta dilindungi melalui bukti nol-pengetahuan. Sebagai jaringan pekerja terdesentralisasi, setiap node bertanggung jawab untuk menyimpan data dari subset blok tertentu, dengan mempercepat proses pengambilan data melalui identifikasi cepat node yang menyimpan data yang diperlukan.

Subsquid juga mendukung pengindeksan waktu nyata, memungkinkan pengindeksan sebelum blok dikonfirmasi secara final. Ini juga mendukung penyimpanan data dalam format yang dipilih pengembang, sehingga memudahkan analisis menggunakan alat seperti BigQuery, Parquet, atau CSV. Selain itu, subgraf dapat diterapkan di jaringan Subsquid tanpa perlu migrasi ke Squid SDK, memungkinkan penerapan tanpa kode.

Meskipun masih dalam tahap jaringan pengujian, Subsquid telah mencapai statistik yang mengesankan, dengan lebih dari 80.000 pengguna jaringan pengujian, menerapkan lebih dari 60.000 pengindeks Squid, dan lebih dari 20.000 pengembang terverifikasi di jaringan. Baru-baru ini, Subsquid meluncurkan jaringan utama untuk danau datanya.

Selain indeks, Subsquid Network data lake juga dapat menggantikan RPC dalam kasus penggunaan analisis, ZK/TEE co-processor, agen AI, dan Oracle.

SubQuery

SubQuery adalah jaringan infrastruktur middleware terdesentralisasi yang menyediakan layanan RPC dan pengindeksan data. Awalnya mendukung jaringan Polkadot dan Substrate, sekarang telah berkembang untuk mencakup lebih dari 200 rantai. Cara kerjanya mirip dengan The Graph yang menggunakan bukti pengindeksan, di mana pengindeks mengindeks data dan menyediakan permintaan kueri, sementara delegator mempertaruhkan saham mereka kepada pengindeks. Namun, ia memperkenalkan konsumen untuk mengajukan pesanan pembelian, untuk menunjukkan bahwa pendapatan pengindeks terjamin, bukan manajer.

Ini akan memperkenalkan node data SubQuery yang mendukung sharding, untuk mencegah sinkronisasi data baru yang terus menerus antar node, sehingga mengoptimalkan efisiensi kueri, sambil menuju desentralisasi yang lebih besar. Pengguna dapat memilih untuk membayar biaya komputasi sekitar 1 SQT token per 1000 permintaan, atau menetapkan biaya kustom untuk pengindeks melalui protokol.

Meskipun SubQuery baru meluncurkan tokennya lebih awal tahun ini, hadiah penerbitan untuk node dan delegator juga mengalami peningkatan nilai dalam USD secara bulanan, yang juga mencerminkan peningkatan jumlah layanan query yang ditawarkan di platformnya. Sejak TGE, total SQT yang dipertaruhkan telah meningkat dari 6 juta menjadi 125 juta, menyoroti peningkatan partisipasi dalam jaringannya.

Covalent

Covalent adalah jaringan pengindeks terdesentralisasi, yang dibuat oleh produsen sampel blok (BSP) melalui node jaringan yang mengekspor data blockchain dalam jumlah besar dan menerbitkan bukti di blockchain Covalent L1. Data ini kemudian dirinci oleh node produsen hasil blok (BRP) sesuai dengan aturan yang ditetapkan, untuk menyaring data yang memenuhi kriteria.

Dengan API yang terpadu, pengembang dapat dengan mudah mengekstrak data blockchain yang relevan dalam format permintaan dan respons yang konsisten, tanpa perlu menulis kueri kompleks yang disesuaikan untuk mengakses data. Token CQT yang diselesaikan di platform tertentu dapat digunakan sebagai alat pembayaran untuk mengekstrak kumpulan data yang telah dikonfigurasi sebelumnya dari penyedia jaringan.

Hadiah Covalent dari kuartal pertama tahun 23 hingga kuartal pertama tahun 24 tampaknya secara keseluruhan menunjukkan tren peningkatan, sebagian disebabkan oleh kenaikan harga token Covalent CQT.

Pertimbangan dalam Memilih Indeks

Keterjangkauan data

Beberapa pengindex (seperti Covalent) adalah pengindex umum yang hanya menyediakan dataset pra-konfigurasi standar melalui API. Meskipun mereka mungkin cepat, mereka tidak memberikan fleksibilitas bagi pengembang yang membutuhkan dataset kustom. Dengan menggunakan kerangka pengindex, memungkinkan pemrosesan data kustom lebih lanjut untuk memenuhi kebutuhan spesifik aplikasi.

Aman

Data indeks harus aman, jika tidak, dApp yang dibangun berdasarkan indeks tersebut juga rentan terhadap serangan. Misalnya, jika transaksi dan saldo dompet dapat dimanipulasi, dApp bisa kehilangan likuiditas, yang berdampak pada penggunanya. Meskipun semua indeks menggunakan token yang di-stake oleh indeks untuk mengadopsi beberapa bentuk keamanan.