L'importance des données dans la Blockchain et ses méthodes de recherche

Les données sont au cœur de la technologie Blockchain, essentielles pour le développement d'applications décentralisées (dApp). Bien que les discussions actuelles se concentrent principalement sur la disponibilité des données (DA), l'accessibilité des données est tout aussi importante mais souvent négligée.

À l'ère des blockchains modulaires, les solutions DA sont devenues indispensables. Elles garantissent que tous les participants peuvent accéder aux données de transaction, permettant ainsi une validation en temps réel et le maintien de l'intégrité du réseau. Cependant, la couche DA ressemble davantage à un panneau d'affichage qu'à une base de données, ce qui signifie que les données ne seront pas stockées indéfiniment, mais seront supprimées avec le temps.

En comparaison, l'accessibilité des données se concentre sur la capacité à récupérer des données historiques, ce qui est crucial pour le développement de dApp et l'analyse de Blockchain. Bien que moins discuté, il est aussi important que la disponibilité des données. Les deux jouent un rôle différent mais complémentaire dans l'écosystème Blockchain, et une approche complète de la gestion des données doit aborder ces deux problèmes simultanément pour soutenir des applications Blockchain puissantes et efficaces.

Méthodes traditionnelles de recherche de données sur la Blockchain

Depuis sa création, la Blockchain a complètement transformé les infrastructures et a favorisé la création d'applications décentralisées (dApp) dans des domaines tels que le jeu, la finance et les réseaux sociaux. Cependant, construire ces dApp nécessite d'accéder à une grande quantité de données de la Blockchain, ce qui est à la fois difficile et coûteux.

Pour les développeurs de dApp, une option consiste à héberger et à exécuter leurs propres nœuds RPC d'archive. Ces nœuds stockent dès le départ toutes les données historiques de la blockchain, permettant un accès complet aux données. Cependant, le maintien des nœuds d'archive est coûteux, et la capacité de requête est limitée, rendant impossible la récupération des données dans le format nécessaire pour les développeurs. Bien que l'exécution de nœuds moins chers soit une option, la capacité de récupération des données de ces nœuds est limitée, ce qui peut entraver le bon fonctionnement de la dApp.

Une autre méthode consiste à utiliser des fournisseurs de nœuds RPC commerciaux. Ces fournisseurs sont responsables des coûts et de la gestion des nœuds, et fournissent des données via des points de terminaison RPC. Les points de terminaison RPC publics sont gratuits mais ont des limites de taux, ce qui peut affecter l'expérience utilisateur des dApp. Les points de terminaison RPC privés offrent de meilleures performances en réduisant la congestion, mais même la récupération de données simples nécessite une quantité importante de communications aller-retour. Cela les rend lourds en demandes et inefficaces pour les requêtes de données complexes. De plus, les points de terminaison RPC privés sont généralement difficiles à étendre et manquent de compatibilité entre différents réseaux.

Meilleure option : Indexeur Blockchain

Les indexeurs de Blockchain jouent un rôle clé dans l'organisation des données sur la chaîne et leur envoi à la base de données pour faciliter les recherches, c'est pourquoi ils sont souvent appelés "le Google de la Blockchain". Ils rendent les données de la Blockchain accessibles en les indexant et en utilisant un langage de requête similaire à SQL ( tel que l'API GraphQL ). En fournissant une interface de requête unifiée, les indexeurs permettent aux développeurs de récupérer rapidement et précisément les informations dont ils ont besoin en utilisant un langage de requête normalisé, simplifiant considérablement le processus.

Différents types d'indexeurs optimisent la récupération des données de diverses manières :

1. Indexeur de nœud complet : exécutez un nœud Blockchain complet et extrayez directement des données, garantissant que les données sont complètes et précises, mais nécessitant une grande capacité de stockage et de traitement.

2. Indexeur léger : s'appuie sur des nœuds complets pour obtenir des données spécifiques à la demande, réduisant les exigences de stockage mais pouvant augmenter le temps de requête.

3. Indexeur spécialisé : optimisation de la recherche pour des types de données ou des blockchains spécifiques, comme les données NFT ou les transactions DeFi.

4. Agrégateur d'index: extrait des données de plusieurs Blockchains et sources, y compris des informations hors chaîne, fournissant une interface de requête unifiée, particulièrement utile pour les dApps multi-chaînes.

Il faut 3 To d'espace de stockage juste pour Ethereum, et cela augmente constamment avec la croissance de la blockchain. Le protocole d'indexation déploie plusieurs indexeurs, permettant d'indexer efficacement et de consulter rapidement de grandes quantités de données, ce que le RPC ne peut pas réaliser.

L'indexeur permet également des requêtes complexes, un filtrage facile des données et l'extraction des données pour une analyse ultérieure. Certains indexeurs peuvent agréger des données provenant de plusieurs sources, évitant ainsi le déploiement de plusieurs API dans les dApps multi-chaînes. En étant répartis sur plusieurs nœuds, les indexeurs offrent une sécurité et des performances renforcées, tandis que les fournisseurs RPC peuvent subir des interruptions et des temps d'arrêt en raison de leur nature centralisée.

En résumé, par rapport aux fournisseurs de nœuds RPC, les indexeurs améliorent l'efficacité et la fiabilité de la récupération des données, tout en réduisant le coût du déploiement d'un nœud unique. Cela fait du protocole d'indexeur de Blockchain le choix privilégié des développeurs d'applications décentralisées (dApp).

Cas d'utilisation de l'indexeur

La construction d'une dApp nécessite de récupérer et de lire des données de la Blockchain pour faire fonctionner le service. Cela inclut tout type de dApp, comme DeFi, les plateformes NFT, les jeux et même les réseaux sociaux, car ces plateformes doivent d'abord lire les données pour exécuter d'autres transactions.

DeFi

Les protocoles DeFi nécessitent différentes informations pour fournir aux utilisateurs des prix, des ratios, des frais, etc. Les teneurs de marché automatisés (AMM) ont besoin d'informations sur les prix et la liquidité des pools de liquidités pour calculer les taux de swap, tandis que les protocoles de prêt doivent utiliser le taux d'utilisation pour déterminer les taux d'intérêt de prêt et le ratio de la dette en cas de liquidation. Avant de calculer les taux d'intérêt exécutés par les utilisateurs, il est essentiel d'entrer les informations dans le dApp.

Jeu

GameFi nécessite un indexage et un accès rapides aux données pour garantir une expérience de jeu fluide pour les utilisateurs. Ce n'est qu'en permettant une récupération et une exécution rapides des données que les jeux Web3 peuvent rivaliser en performance avec les jeux Web2, attirant ainsi davantage d'utilisateurs. Ces jeux ont besoin de données telles que la propriété foncière, le solde des jetons en jeu, et les opérations en jeu. En utilisant un indexeur, ils peuvent mieux garantir un flux de données stable et un temps de fonctionnement normal, assurant une expérience de jeu parfaite.

NFT

Le marché des NFT et la plateforme de prêt ont besoin d'indexer les données pour accéder à diverses informations, telles que les métadonnées des NFT, les données de propriété et de transfert, les informations sur les redevances, etc. L'indexation rapide de ces données peut éviter de parcourir chaque NFT un par un pour trouver des données sur la propriété ou les attributs des NFT.

Que ce soit un teneur de marché automatisé DeFi ayant besoin d'informations sur les prix et la liquidité (AMM), ou une application SocialFi nécessitant des mises à jour sur les nouveaux posts d'utilisateurs, la capacité à récupérer rapidement des données est essentielle au bon fonctionnement des dApps. Grâce à l'indexeur, elles peuvent récupérer les données de manière efficace et précise, offrant une expérience utilisateur fluide.

Analyse

L'indexeur fournit un moyen d'extraire des données spécifiques à partir des données brutes de la Blockchain (, y compris les événements de contrats intelligents dans chaque Bloc ). Cela offre des opportunités pour une analyse de données plus spécifique, permettant ainsi de fournir des perspectives complètes.

Par exemple, un protocole de trading perpétuel peut identifier quels tokens ont un volume de transactions élevé, quels tokens génèrent des frais, et ainsi décider s'il doit lister ces tokens en tant que contrats perpétuels sur sa plateforme. Les développeurs de DEX peuvent créer des tableaux de bord pour leurs produits, afin d'analyser en profondeur quels pools de liquidités offrent les meilleurs rendements ou la plus grande liquidité. Ils peuvent également créer des tableaux de bord publics, permettant aux développeurs de rechercher librement et flexiblement tout type de données à afficher sur les graphiques.

Étant donné qu'il existe plusieurs indexeurs de Blockchain disponibles, il est crucial de reconnaître les différences entre les protocoles d'indexation pour garantir que les développeurs choisissent l'indexeur le mieux adapté à leurs besoins.

Blockchain Indexeur Aperçu

The Graph

The Graph est le premier protocole d'indexation lancé sur Ethereum, permettant de consulter facilement des données de transaction auparavant difficiles d'accès. Il utilise des sous-graphes pour définir et filtrer des sous-ensembles de données collectées depuis la Blockchain, comme toutes les transactions liées à un pool DEX USDC/ETH.

En utilisant la preuve d'index, les indexeurs mettent en jeu le jeton natif GRT pour les services d'indexation et de requête, et les délégants peuvent choisir de mettre en jeu leurs jetons ici. Les conservateurs peuvent accéder à des sous-graphes de haute qualité, aidant les indexeurs à déterminer quels sous-graphes compiler pour gagner les meilleures frais de requête. Dans le processus de transition vers une plus grande décentralisation, The Graph finira par cesser ses services d'hébergement et demandera aux sous-graphes de migrer vers son réseau, tout en fournissant des indexeurs de mise à niveau.

Son infrastructure permet d'atteindre un coût moyen de 40 dollars par million de requêtes, bien inférieur à celui des nœuds auto-hébergés. En utilisant des sources de données de fichiers, elle prend également en charge l'indexation parallèle des données à la fois sur la chaîne et hors chaîne pour un accès efficace aux données.

Les récompenses des indexeurs de The Graph ont augmenté régulièrement au cours des derniers trimestres. Cela est en partie dû à l'augmentation du volume des requêtes, mais aussi attribuable à la hausse des prix des tokens, car ils prévoient d'intégrer des requêtes assistées par l'intelligence artificielle à l'avenir.

Subsquid

Subsquid est un lac de données décentralisé, évolutif horizontalement et peer-to-peer, capable d'agréger efficacement de grandes quantités de données on-chain et off-chain, tout en étant protégé par des preuves à divulgation nulle de connaissance. En tant que réseau de travailleurs décentralisé, chaque nœud est responsable du stockage des données provenant d'un sous-ensemble de blocs spécifiques, accélérant le processus de récupération des données en identifiant rapidement les nœuds qui conservent les données nécessaires.

Subsquid prend également en charge l'indexation en temps réel, permettant d'indexer avant que le bloc ne soit finalisé. Il prend en charge le stockage des données dans le format choisi par le développeur, facilitant ainsi une analyse plus aisée avec des outils tels que BigQuery, Parquet ou CSV. De plus, les sous-graphes peuvent être déployés sur le réseau Subsquid sans avoir besoin de migrer vers Squid SDK, permettant un déploiement sans code.

Bien qu'il soit encore en phase de test, Subsquid a obtenu des statistiques impressionnantes, avec plus de 80 000 utilisateurs de test, plus de 60 000 indexeurs Squid déployés et plus de 20 000 développeurs vérifiés sur le réseau. Récemment, Subsquid a lancé le mainnet de son lac de données.

En plus de l'indexation, le lac de données de Subsquid Network peut également remplacer les RPC dans des cas d'utilisation tels que l'analyse, les coprocesseurs ZK/TEE, les agents IA et les Oracles.

SubQuery

SubQuery est un réseau d'infrastructure middleware décentralisé qui fournit des services RPC et d'indexation de données. Il supportait à l'origine les réseaux Polkadot et Substrate, mais s'est maintenant étendu pour inclure plus de 200 chaînes. Son fonctionnement est similaire à celui de The Graph utilisant des preuves d'indexation, où l'indexeur indexe les données et fournit des demandes de requête, et le délégataire mise des parts à l'indexeur. Cependant, il introduit des consommateurs pour soumettre des commandes d'achat, afin de garantir les revenus de l'indexeur, plutôt que ceux du gestionnaire.

Il introduira des nœuds de données SubQuery prenant en charge le sharding, afin d'éviter la synchronisation continue de nouvelles données entre chaque nœud, ce qui optimisera l'efficacité des requêtes tout en allant vers une plus grande décentralisation. Les utilisateurs peuvent choisir de payer environ 1 SQT en frais de calcul pour chaque 1000 requêtes, ou de définir des frais personnalisés pour l'indexeur par le biais du protocole.

Bien que SubQuery n'ait lancé son jeton qu'au début de cette année, les récompenses de distribution pour les nœuds et les délégataires ont également augmenté en valeur en dollars, ce qui représente une augmentation continue du nombre de services de requête offerts sur sa plateforme. Depuis le TGE, le montant total de SQT staké est passé de 6 millions à 125 millions, soulignant la croissance de la participation au réseau.

Covalent

Covalent est un réseau d'indexation décentralisé, créé par des producteurs d'échantillons de blocs (BSP) et des nœuds de réseau qui créent des copies des données de la blockchain par exportations en masse, et publient des preuves sur la blockchain L1 de Covalent. Ces données sont ensuite affinées par des producteurs de résultats de blocs (BRP) selon des règles établies pour sélectionner les données conformes aux exigences.

Grâce à une API unifiée, les développeurs peuvent facilement extraire des données Blockchain pertinentes avec un format de requête et de réponse cohérent, sans avoir à écrire de requêtes personnalisées complexes pour accéder aux données. Les jetons CQT réglés sur Moonbeam peuvent être utilisés comme moyen de paiement pour extraire ces ensembles de données préconfigurés auprès des opérateurs de réseau.

Les récompenses de Covalent semblent montrer une tendance générale à la hausse du premier trimestre de 2023 au premier trimestre de 2024, en partie en raison de l'augmentation du prix du jeton Covalent CQT.

Considérations lors du choix d'un indexeur

Personnalisation des données

Certains indexeurs ( tels que Covalent ) sont des indexeurs généraux, fournissant des ensembles de données préconfigurés standards uniquement via API. Bien qu'ils puissent être rapides, ils n'offrent pas de flexibilité aux développeurs qui nécessitent des ensembles de données personnalisés. En utilisant le cadre d'indexation, cela permet un traitement de données plus personnalisé pour répondre aux besoins spécifiques des applications.

Sécurité

Les données d'index doivent être sécurisées, sinon les dApps construites sur ces indexeurs peuvent également être vulnérables aux attaques. Par exemple, si les transactions et les soldes de portefeuille peuvent être manipulés, la dApp peut perdre sa liquidité, ce qui affecte ses utilisateurs. Bien que tous les indexeurs adoptent une certaine forme de sécurité par le biais de la mise en jeu de jetons d'indexeur, d'autres solutions d'indexeur peuvent utiliser des preuves pour améliorer davantage la sécurité.

Subsquid propose des options utilisant des preuves optimistes et des preuves à connaissance nulle, tandis que Covalent a également publié des preuves contenant des valeurs de hachage de bloc. Graph offre une période de contestation pour les requêtes des indexeurs sous la forme d'une fenêtre de défi optimiste, tandis que SubQuery.