Acesso a Dados Web3: Introdução ao Indexador e Projetos Relacionados

Escrito por: Geng Kai, DFG

A importância dos dados na bloco da cadeia

Os dados são fundamentais para a tecnologia blockchain e são a base para o desenvolvimento de aplicações descentralizadas (dApp). Embora a maior parte das discussões atuais gire em torno da disponibilidade de dados (DA) - garantindo que todos os participantes da rede possam acessar os dados de transações mais recentes para verificação - há também um aspecto igualmente importante que muitas vezes é negligenciado: a acessibilidade aos dados.

Na era da blockchain modular, as soluções DA se tornaram indispensáveis. Essas soluções garantem que todos os participantes possam usar os dados de transação para realizar verificações em tempo real e manter a integridade da rede. No entanto, as funções da camada DA são mais semelhantes a uma placa publicitária do que a um banco de dados. Isso significa que os dados não são armazenados indefinidamente; eles são excluídos ao longo do tempo, assim como um cartaz em uma placa publicitária é eventualmente substituído por um novo.

Por outro lado, a acessibilidade aos dados centra-se na capacidade de recuperar dados históricos, o que é crucial para o desenvolvimento de dApp e análise de blockchain. Isso é crucial para tarefas que exigem acesso a dados passados para garantir representação e execução precisas. Embora a acessibilidade aos dados seja importante, é discutida com menos frequência, mas é tão importante quanto a disponibilidade dos dados. Ambos desempenham papéis diferentes, mas complementares, no ecossistema blockchain, e uma abordagem abrangente de gestão de dados deve abordar esses dois problemas para apoiar aplicações blockchain poderosas e eficientes.

Como os dados da blockchain foram recuperados anteriormente

Desde o seu nascimento, a blockchain mudou completamente a infraestrutura e impulsionou a criação de aplicações descentralizadas (dApp) em vários campos, como jogos, finanças e redes sociais. No entanto, a construção dessas dApps requer acesso a uma grande quantidade de dados de blockchain, o que é difícil e caro.

Para desenvolvedores de dApp, uma opção é hospedar e executar seu próprio nó RPC de arquivo. Esses nós armazenam todos os dados do blockchain histórico desde o início, permitindo acesso total aos dados. No entanto, o custo de manter um nó de arquivo é alto e a capacidade de consulta é limitada, portanto, não é possível consultar dados no formato necessário pelos desenvolvedores. Embora executar nós mais baratos seja uma opção, a capacidade de recuperar dados desses nós é limitada, o que pode prejudicar a execução do dApp.

Outra opção é usar provedores de nós RPC (chamada de procedimento à distância) comerciais. Esses provedores são responsáveis pelos custos e gerenciamento dos nós, e fornecem dados por meio de pontos de extremidade RPC. Os pontos de extremidade RPC públicos são gratuitos, mas têm limitações de taxa, o que pode afetar negativamente a experiência do usuário do dApp. Os pontos de extremidade RPC privados oferecem melhor desempenho, reduzindo a congestão, mas mesmo consultas simples exigem muitas comunicações de ida e volta. Isso os torna pesados em termos de solicitações e ineficientes para consultas de dados complexas. Além disso, os pontos de extremidade RPC privados geralmente são difíceis de dimensionar e têm falta de compatibilidade em diferentes redes.

Melhor Alternativa: Indexador de Blockchain

O indexador de blockchain desempenha um papel crucial na organização dos dados na cadeia e enviando-os para um banco de dados para facilitar a consulta, é por isso que eles são freqüentemente chamados de "Google do blockchain". Eles funcionam indexando os dados da blockchain e tornando-os prontamente disponíveis por meio de uma linguagem de consulta semelhante ao SQL (usando APIs como GraphQL). Ao fornecer uma interface unificada para consultar dados, os indexadores permitem que os desenvolvedores recuperem as informações desejadas rapidamente e com precisão, simplificando muito o processo.

Diferentes tipos de indexadores otimizam a recuperação de dados de várias maneiras:

1. Indexador de nó completo: Esses indexadores executam nós completos da cadeia de blocos e extraem dados diretamente dele, garantindo a integridade e precisão dos dados, mas exigem muita capacidade de armazenamento e processamento.
2. Indexador leve: Esses indexadores dependem de um nó completo para obter dados específicos conforme necessário, reduzindo assim os requisitos de armazenamento, mas potencialmente aumentando o tempo de consulta.
3. Indexadores especializados: Esses indexadores são específicos para determinados tipos de dados ou blockchains específicas, otimizando a recuperação de casos de uso específicos, como dados NFT ou transações DeFi.
4. Agregador de índices: Esses índices extraem dados de várias blockchains e fontes, incluindo informações fora da cadeia, fornecendo uma interface de consulta unificada, o que é especialmente útil para dApps multi-chain.

Apenas o Ethereum requer 3TB de espaço de armazenamento e, à medida que a blockchain continua a crescer, a quantidade de dados armazenados nos nós de arquivamento do Erigon também aumentará constantemente. O protocolo do indexador implantou vários indexadores que podem indexar eficientemente e consultar rapidamente grandes quantidades de dados, algo que o RPC não pode fazer.

O indexador também permite consultas complexas, filtragem fácil de dados com base em diferentes critérios e extração e análise de dados posteriores. Alguns indexadores permitem ainda a agregação de dados provenientes de várias fontes, evitando assim a implantação de vários APIs em dApps de várias cadeias. Distribuído em vários nós, o indexador fornece segurança e desempenho aprimorados, enquanto os provedores RPC podem interromper e desativar devido às suas características centralizadas.

Globalmente, os indexadores melhoraram a eficiência e a confiabilidade da recuperação de dados em comparação com os provedores de nós RPC, ao mesmo tempo que reduziram os custos de implantar um único nó. Isso torna o protocolo de indexação de blockchain a escolha preferida dos desenvolvedores dApp.

Casos de Uso do Indexador

Como mencionado anteriormente, a construção de dApps requer a recuperação e leitura de dados da blockchain para que seus serviços funcionem. Isso inclui qualquer tipo de dApp, como plataformas DeFi, NFT, jogos e até mesmo redes sociais, pois essas plataformas precisam primeiro ler os dados antes de executar outras transações.

DeFi

Os protocolos DeFi requerem informações diferentes para citar preços, taxas, custos, etc. O AMM (Automated Market Maker) precisa de informações de preços e liquidez sobre certos pools de liquidez para calcular as taxas de swap, enquanto os protocolos de empréstimo utilizam a taxa de utilização para determinar as taxas de empréstimo e a proporção de dívida liquidada. É essencial inserir essas informações em seus dApps antes de calcular as taxas que os usuários executam.

Jogo

GameFi precisa de acesso e recuperação rápida de dados para garantir que os usuários joguem os jogos de forma fluída. Apenas com recuperação e execução de dados relâmpago, os jogos Web3 podem competir em desempenho com os jogos Web2, atraindo mais usuários. Esses jogos precisam de dados como propriedade de terrenos, saldo de tokens in-game, operações in-game, etc. Com o uso de indexadores, eles podem garantir um fluxo de dados estável e um tempo de funcionamento normal estável para garantir uma experiência de jogo perfeita.

NFT

Os mercados e plataformas de empréstimo NFT precisam de acesso a dados indexados para várias informações, como metadados NFT, dados de propriedade e transferência, informações de royalties, etc. Indexar rapidamente esses dados evita a necessidade de percorrer cada NFT individualmente para procurar dados de propriedade ou atributos NFT.

Para um dApp funcionar corretamente, é crucial que as informações de preços e liquidez para AMM DeFi, que precisam desses dados, e aplicativos SocialFi que atualizam postagens de novos usuários rapidamente, possam pesquisar dados com rapidez e precisão. Com um indexador, eles podem pesquisar dados de forma eficiente e precisa para fornecer uma experiência de usuário confortável.

Análise

O indexador fornece uma maneira de extrair dados específicos dos dados brutos da blockchain (incluindo eventos de contratos inteligentes em cada bloco). Isso oferece oportunidades para análises de dados mais específicas, fornecendo uma visão abrangente.

Por exemplo, o protocolo de negociação perpétua pode identificar quais tokens têm um grande volume de negociação, quais tokens geram taxas, e assim decidir se esses tokens devem ser listados como contratos perpétuos em sua plataforma. Os desenvolvedores de DEX podem criar painéis para seus próprios produtos, a fim de compreender profundamente qual é o retorno mais alto ou a liquidez mais forte de quaisquer pools de fundos. Também é possível criar painéis públicos, de modo que os desenvolvedores possam consultar livremente qualquer tipo de dados a ser exibido no gráfico.

Devido à disponibilidade de vários indexadores de blockchain, é crucial identificar as diferenças entre os protocolos de indexação para garantir que os desenvolvedores escolham o indexador mais adequado às suas necessidades.

Bloco do Índice da Cadeia de Bloco

Visão geral do indexador

O Gráfico

The Graph é o primeiro protocolo indexador lançado no Ethereum que permite consultar facilmente dados de transações anteriormente difíceis de acessar. Ele utiliza subgráficos para definir e filtrar subconjuntos de dados coletados a partir da blockchain, como todas as transações relacionadas à piscina Uniswap v3 USDC/ETH.

Por meio do índice de provas, os indexadores apostam a criptomoeda nativa GRT para serviços de indexação e consulta, os delegadores podem escolher apostar suas criptomoedas aqui. Os curadores têm acesso a subgráficos de alta qualidade para ajudar os indexadores a determinar quais dados devem ser indexados para obter as melhores taxas de consulta. À medida que ocorre uma transição para uma maior descentralização, o The Graph eventualmente encerrará seus serviços de hospedagem e solicitará que os subgráficos atualizem para sua rede, ao mesmo tempo em que fornecem a atualização do indexador.

A sua infraestrutura permite que o custo médio por milhão de consultas atinja os 40 dólares, muito mais baixo do que o custo dos nós auto-geridos. Com fontes de dados de ficheiros, suporta também a indexação paralela de dados na cadeia e fora da cadeia, para uma recuperação eficiente de dados.

Verifique as recompensas do indexador do The Graph, que tem aumentado constantemente ao longo dos últimos trimestres. Isso se deve em parte ao aumento do volume de consultas, mas também à subida do preço das tokens, uma vez que planeiam integrar a consulta assistida por inteligência artificial no futuro.

Subsquid

Subsquid é um lago de dados descentralizado ponto a ponto e horizontalmente escalável, que agrega eficientemente uma grande quantidade de dados on-chain e off-chain e os protege por meio de provas de conhecimento zero. Como uma rede descentralizada de trabalhadores, cada nó é responsável por armazenar dados de um subconjunto específico de blocos, acelerando o processo de recuperação de dados ao identificar rapidamente os nós que possuem os dados necessários.

Subsquid also supports real-time indexing, allowing indexing before the block is finalized. It also supports storing data in formats chosen by developers, making it easier to analyze using tools like BigQuery, Parquet, or CSV. In addition, subgraphs can be deployed on the Subsquid network without migrating to the Squid SDK, enabling code-free deployment.

Apesar de ainda estar em fase de testes, o Subsquid já alcançou impressionantes estatísticas, com mais de 80.000 usuários na testnet, mais de 60.000 indexadores Squid implantados e mais de 20.000 desenvolvedores verificados na rede. Recentemente, em 3 de junho, o Subsquid lançou sua mainnet de data lake.

Além do índice, a Subsquid Network Data Lake pode substituir o RPC em casos de uso como análise, coprocessador ZK/TEE, agente de IA e Oracle.

SubQuery

SubQuery é uma rede de infraestrutura de middleware descentralizada que fornece serviços de dados RPC e de índice. Inicialmente, ele suporta as redes Polkadot e Substrate e agora se expandiu para incluir mais de 200 cadeias. Sua operação é semelhante ao The Graph, que usa provas de índice para indexar dados e fornecer solicitações de consulta, com delegantes apostando em indexadores. No entanto, ele introduz consumidores para enviar ordens de compra, garantindo a receita dos indexadores, em vez de gerentes.

Ele introduzirá nós de dados SubQuery com suporte a fragmentação para evitar a constante sincronização de novos dados entre cada nó, otimizando assim a eficiência das consultas e movendo em direção a uma maior descentralização. Os usuários podem optar por pagar aproximadamente 1 token SQT a cada 1000 solicitações como taxa de processamento, ou definir taxas personalizadas para os indexadores através do protocolo.

Embora o SubQuery tenha lançado seu token mais cedo este ano, as recompensas de emissão para os nós e delegadores também aumentaram em termos de valor em dólares americanos, o que também representa um aumento contínuo no número de serviços de consulta fornecidos em sua plataforma. Desde o TGE, a quantidade total de SQT staked aumentou de 6 milhões para 125 milhões, destacando o aumento da participação na rede.

Covalent

Covalent é uma rede indexadora descentralizada, criada pelos nós de rede do produtor de amostras de bloco (BSP) que exportam em massa cópias de dados de blockchain e publicam provas na blockchain Covalent L1. Esses dados são refinados pelos nós de produtores de resultados de bloco (BRP) de acordo com as regras estabelecidas para selecionar os dados que atendem aos requisitos.

Com a API unificada, os desenvolvedores podem facilmente extrair dados relevantes da blockchain em um formato de solicitação e resposta consistente, sem a necessidade de escrever consultas personalizadas complexas. É possível extrair esses conjuntos de dados pré-configurados dos provedores de rede usando o token CQT, que pode ser liquidado na Moonbeam, como forma de pagamento.

As recompensas da Covalent parecem estar num aumento geral do primeiro trimestre de 23 a 24, em parte devido ao aumento do preço do token CQT da Covalent.

Considerações sobre a escolha do indexador

A customização dos dados

Alguns indexadores (como o Covalent) são indexadores genéricos que fornecem apenas conjuntos de dados pré-configurados padrão por meio de APIs. Embora eles possam ser rápidos, eles não oferecem a flexibilidade necessária para desenvolvedores que precisam de conjuntos de dados personalizados. Ao usar o framework do indexador, é possível realizar um processamento de dados mais personalizado para atender às necessidades específicas da aplicação.

Segurança

Os dados de índice devem ser seguros, caso contrário, os dApps construídos com base nesses indexadores também podem ser facilmente atacados. Por exemplo, se as transações e o saldo da carteira puderem ser manipulados, o dApp pode perder liquidez, afetando assim seus usuários. Embora todos os indexadores adotem algum tipo de segurança por meio do token de stake do indexador, outras soluções de indexadores podem usar provas para aumentar ainda mais a segurança.

Subsquid oferece opções de otimismo e prova de conhecimento zero, enquanto Covalent também lança provas contendo valores de hash de bloco. O Graph fornece um período de desafio controverso para consultas de indexadores de maneira otimista, enquanto o SubQuery gera uma prova de Merkle Mountain para cada bloco, a fim de calcular o valor hash de cada bloco de todos os dados armazenados em seu banco de dados.

Velocidade e escalabilidade

Com o crescimento contínuo da blockchain, o volume de transações também aumenta, o que torna a indexação de grandes quantidades de dados mais complicada, devido à necessidade de mais capacidade de processamento e espaço de armazenamento. À medida que a rede blockchain cresce, torna-se mais difícil manter a eficiência, mas o protocolo do indexador introduziu soluções para atender a essas crescentes demandas.

Por exemplo, o Subsquid permite a escalabilidade horizontal ao adicionar mais nós para armazenar dados, o que pode ser expandido à medida que o hardware melhora. O Graph fornece fluxo paralelo de dados para sincronizar os dados mais rapidamente, enquanto o SubQuery introduz fragmentação de nós para acelerar o processo de sincronização.

Redes Suportadas

Embora a maioria das atividades de blockchain ainda ocorra no Ethereum, ao longo do tempo, diferentes blockchains estão se tornando cada vez mais populares. Por exemplo, Layer 2s, Solana, Move Blockchain e a cadeia de ecossistemas do Bitcoin têm sua própria base crescente de desenvolvedores e atividades, o que também requer serviços de indexação.

Oferecer suporte a algumas cadeias que não são suportadas por outros protocolos de indexadores pode custar mais participação de mercado. Redes com intensidade de dados indexados (como Solana) não são fáceis, até agora, apenas o Subsquid conseguiu oferecer suporte de indexação para elas.

Conclusão

Embora os indexadores sejam amplamente utilizados no desenvolvimento dApp, o potencial dos indexadores ainda é enorme, especialmente na integração com IA. Com a crescente popularidade da IA no Web2 e Web3, sua capacidade de melhoria depende do acesso a dados relevantes para treinar modelos e desenvolver agentes de IA. Garantir a integridade dos dados é crucial para aplicativos de IA, pois isso pode evitar que o modelo receba informações tendenciosas ou imprecisas.

Na área de soluções de indexação, o Subsquid fez grandes avanços em termos de desempenho e indicadores de usuário. Os usuários começaram a experimentar a construção de agentes de inteligência artificial com o Subsquid, demonstrando a multifuncionalidade e potencial da plataforma no campo em constante evolução da indexação de dados. Além disso, ferramentas como AutoAgora ajudam os indexadores a oferecer preços dinâmicos para serviços de consulta na The Graph usando IA, enquanto o SubQuery suporta várias redes de IA (como OriginTrail e Oraichain) para indexação de dados transparente.

A integração da inteligência artificial e do indexador tem o potencial de melhorar a acessibilidade e a disponibilidade de dados no ecossistema blockchain. Ao utilizar a tecnologia da inteligência artificial, o indexador pode fornecer uma recuperação de dados mais eficiente e precisa, permitindo que os desenvolvedores construam dApps e ferramentas analíticas mais complexas. À medida que a inteligência artificial e o indexador continuam a se desenvolver em conjunto, mantemos uma visão otimista sobre o futuro da indexação de dados e seu papel na formação de um cenário digital descentralizado.