A importância dos dados na Blockchain e suas formas de recuperação

Os dados são o núcleo da tecnologia Blockchain, essenciais para o desenvolvimento de aplicações descentralizadas ( dApp ). Embora a discussão atual se concentre muito na disponibilidade de dados ( DA ), a acessibilidade dos dados é igualmente importante, mas frequentemente ignorada.

Na era do Blockchain modular, as soluções DA tornaram-se uma necessidade. Elas garantem que todos os participantes possam usar os dados de transação, permitindo a validação em tempo real e mantendo a integridade da rede. Contudo, a camada DA funciona mais como um cartaz publicitário do que como um banco de dados, o que significa que os dados não são armazenados indefinidamente, mas são apagados ao longo do tempo.

Em comparação, a acessibilidade dos dados foca na capacidade de recuperar dados históricos, o que é crucial para o desenvolvimento de dApps e análise de Blockchain. Embora discutido com menos frequência, é tão importante quanto a disponibilidade dos dados. Ambos desempenham papéis diferentes, mas complementares no ecossistema Blockchain, e uma abordagem abrangente de gestão de dados deve abordar essas duas questões simultaneamente para apoiar aplicações Blockchain robustas e eficientes.

Métodos tradicionais de pesquisa de dados de Blockchain

A Blockchain mudou completamente a infraestrutura desde o seu nascimento e impulsionou a criação de dApps em áreas como jogos, finanças e redes sociais. No entanto, construir esses dApps requer acesso a uma grande quantidade de dados de Blockchain, o que é tanto difícil quanto caro.

Para os desenvolvedores de dApp, uma opção é hospedar e executar seus próprios nós RPC de arquivo. Esses nós armazenam todos os dados históricos da Blockchain desde o início, permitindo acesso total aos dados. No entanto, a manutenção dos nós de arquivo é cara e a capacidade de consulta é limitada, não conseguindo consultar os dados no formato necessário para os desenvolvedores. Embora executar nós mais baratos seja uma opção, a capacidade de recuperação de dados desses nós é limitada, o que pode prejudicar o funcionamento do dApp.

Outra abordagem é usar provedores de nós RPC comerciais. Esses provedores são responsáveis pelos custos e pela gestão dos nós, e fornecem dados através de pontos finais RPC. Os pontos finais RPC públicos são gratuitos, mas têm limites de taxa, o que pode afetar a experiência do usuário do dApp. Os pontos finais RPC privados oferecem melhor desempenho ao reduzir a congestão, mas mesmo a recuperação simples de dados requer uma quantidade significativa de comunicação de ida e volta. Isso os torna pesados em termos de solicitações e ineficientes para consultas de dados complexas. Além disso, os pontos finais RPC privados geralmente são difíceis de escalar e carecem de compatibilidade entre diferentes redes.

Melhor escolha: Blockchain indexador

Os indexadores de blockchain desempenham um papel crucial na organização dos dados da cadeia e no envio para bancos de dados para facilitar a consulta, sendo frequentemente chamados de "Google da blockchain". Eles indexam os dados da blockchain e os tornam disponíveis usando uma linguagem de consulta semelhante ao SQL, como a API GraphQL (. Ao fornecer uma interface de consulta unificada, os indexadores permitem que os desenvolvedores recuperem rapidamente e com precisão as informações necessárias usando uma linguagem de consulta padronizada, simplificando significativamente o processo.

Diferentes tipos de indexadores otimizam a recuperação de dados de várias maneiras:

1. Indexador de nó completo: executa um nó completo da blockchain e extrai dados diretamente, garantindo que os dados sejam completos e precisos, mas requer muita capacidade de armazenamento e processamento.

2. Indexador leve: depende de nós completos para obter dados específicos sob demanda, reduzindo os requisitos de armazenamento, mas podendo aumentar o tempo de consulta.

3. Indexador dedicado: otimização de recuperação para tipos específicos de dados ou Blockchain, como dados NFT ou transações DeFi.

4. Agregador de Índices: extrai dados de múltiplas Blockchains e fontes, incluindo informações off-chain, fornecendo uma interface de consulta unificada, especialmente útil para dApps multi-chain.

Apenas o Ethereum requer 3TB de espaço de armazenamento, e esse valor continua a aumentar à medida que a Blockchain cresce. O protocolo de indexação implementa múltiplos indexadores, que podem indexar e consultar grandes volumes de dados de forma eficiente, algo que o RPC não consegue realizar.

Os indexadores também permitem consultas complexas, filtragem fácil de dados e extração de dados para análise posterior. Alguns indexadores podem agregar dados de várias fontes, evitando a necessidade de implantar várias APIs em dApps de múltiplas cadeias. Ao serem distribuídos em vários nós, os indexadores oferecem segurança e desempenho aprimorados, enquanto os provedores de RPC podem enfrentar interrupções e tempos de inatividade devido a características centralizadas.

Em suma, em comparação com provedores de nós RPC, os indexadores melhoraram a eficiência e a confiabilidade na recuperação de dados, ao mesmo tempo em que reduziram o custo de implantação de um único nó. Isso torna o protocolo de indexador de blockchain a escolha preferida para desenvolvedores de dApp.

![Desenvolvimento de Acesso a Dados Web3: Introdução a Indexadores e Projetos Relacionados])https://img-cdn.gateio.im/webp-social/moments-16396b955382c2c74010c264affdca46.webp(

Caso de uso do indexador

Construir dApp requer a recuperação e leitura de dados da Blockchain para operar serviços. Isso inclui qualquer tipo de dApp, como DeFi, plataformas NFT, jogos e até redes sociais, pois essas plataformas precisam ler os dados antes de executar outras transações.

DeFi

Os protocolos DeFi precisam de diferentes informações para fornecer aos usuários preços, taxas, custos específicos, etc. O Automated Market Maker )AMM( precisa de informações sobre o preço e a liquidez do pool para calcular a taxa de swap, enquanto os protocolos de empréstimo precisam da taxa de utilização para determinar a taxa de empréstimo e a razão da dívida de liquidação. Antes de calcular a taxa que o usuário executa, é essencial inserir as informações no dApp.

Jogo

O GameFi necessita de indexação rápida e acesso a dados, para garantir uma experiência de jogo fluida para os usuários. Somente através de uma recuperação e execução de dados rápida, os jogos Web3 podem competir em desempenho com os jogos Web2, atraindo assim mais usuários. Esses jogos precisam de dados como propriedade de terras, saldo de tokens dentro do jogo, operações dentro do jogo, entre outros. Usando indexadores, eles podem garantir melhor um fluxo de dados estável e um tempo de atividade normal, garantindo uma experiência de jogo perfeita.

NFT

O mercado de NFT e a plataforma de empréstimos precisam de indexação de dados para acessar várias informações, como metadados de NFT, dados de propriedade e transferência, informações sobre royalties, entre outros. A indexação rápida desses dados pode evitar a navegação individual de cada NFT para encontrar dados de propriedade ou atributos de NFT.

Quer seja um AMM de DeFi ) que necessita de informações sobre preços e liquidez (, ou uma aplicação SocialFi que precisa de atualizar posts de novos utilizadores, a capacidade de recuperar dados rapidamente é crucial para o funcionamento normal das dApps. Com a ajuda de indexadores, elas podem recuperar dados de forma eficiente e precisa, proporcionando uma experiência de utilizador fluida.

Análise

O indexador oferece um método para extrair dados específicos dos dados originais da Blockchain ), incluindo eventos de contratos inteligentes em cada Bloco (. Isso proporciona a oportunidade para uma análise de dados mais específica, oferecendo assim percepções abrangentes.

Por exemplo, um protocolo de negociação perpétua pode identificar quais tokens têm um grande volume de negociação, quais tokens geram taxas, e assim decidir se esses tokens serão listados como contratos perpétuos em sua plataforma. Os desenvolvedores de DEX podem criar painéis para seus produtos, permitindo uma compreensão aprofundada de quais pools de liquidez oferecem os maiores retornos ou a maior liquidez. Também podem criar painéis públicos, permitindo que os desenvolvedores consultem livremente qualquer tipo de dado a ser exibido em gráficos.

Devido à disponibilidade de vários indexadores de blockchain, identificar as diferenças entre os protocolos de indexação é crucial para garantir que os desenvolvedores escolham o indexador mais adequado às suas necessidades.

Blockchain Indexer Overview

The Graph

The Graph é o primeiro protocolo de indexação lançado na Ethereum, que permite consultar facilmente dados de transações que antes eram difíceis de acessar. Ele usa subgrafos para definir e filtrar subconjuntos de dados coletados da Blockchain, como todas as transações relacionadas ao pool USDC/ETH de um determinado DEX.

Usando prova de índice, os indexadores fazem staking do token nativo GRT para serviços de indexação e consulta, os delegadores podem optar por fazer staking de seus tokens aqui. Os curadores podem acessar subgráficos de alta qualidade, ajudando os indexadores a determinar quais subgráficos devem compilar dados para ganhar as melhores taxas de consulta. No processo de transição para uma maior descentralização, o The Graph eventualmente interromperá seus serviços de hospedagem e exigirá que os subgráficos sejam atualizados para sua rede, ao mesmo tempo em que fornece indexadores de atualização.

A sua infraestrutura faz com que o custo médio de cada milhão de consultas atinja 40 dólares, muito inferior ao custo de nós autohospedados. Usando fontes de dados de arquivos, também suporta a indexação paralela de dados on-chain e off-chain, para uma recuperação de dados eficiente.

As recompensas do indexador do The Graph cresceram de forma constante nos últimos trimestres. Isso se deve em parte ao aumento no volume de consultas, mas também é atribuído ao aumento do preço dos tokens, uma vez que eles planejam integrar consultas assistidas por inteligência artificial no futuro.

![Desenvolvimento de acesso a dados Web3: Introdução a indexadores e projetos relacionados])https://img-cdn.gateio.im/webp-social/moments-53dbb4fd659cf6a7184990c886901658.webp(

Subsquid

Subsquid é um lago de dados descentralizado, ponto a ponto e horizontalmente escalável, que pode agregar eficientemente grandes quantidades de dados on-chain e off-chain, protegidos por prova de conhecimento zero. Como uma rede de trabalhadores descentralizada, cada nó é responsável por armazenar dados de um subconjunto específico de blocos, acelerando o processo de recuperação de dados ao identificar rapidamente os nós que armazenam os dados necessários.

Subsquid também suporta indexação em tempo real, permitindo que os blocos sejam indexados antes de serem finalizados. Ele suporta o armazenamento de dados em formatos escolhidos pelos desenvolvedores, facilitando a análise com ferramentas como BigQuery, Parquet ou CSV. Além disso, subgráficos podem ser implantados na rede Subsquid sem a necessidade de migração para o Squid SDK, permitindo uma implantação sem código.

Apesar de ainda estar na fase de teste, a Subsquid já obteve estatísticas impressionantes, com mais de 80.000 usuários na rede de testes, mais de 60.000 indexadores Squid implantados e mais de 20.000 desenvolvedores verificados na rede. Recentemente, a Subsquid lançou a rede principal do seu lago de dados.

Além do índice, o lago de dados Subsquid Network também pode substituir o RPC em casos de uso como análise, processadores ZK/TEE, agentes de IA e Oracle.

SubQuery

SubQuery é uma rede de infraestrutura de middleware descentralizada que fornece serviços de RPC e indexação de dados. Inicialmente, suportava as redes Polkadot e Substrate, mas agora se expandiu para incluir mais de 200 cadeias. Seu funcionamento é semelhante ao The Graph, que utiliza provas de indexação, onde os indexadores indexam dados e fornecem pedidos de consulta, enquanto os delegadores fazem staking de suas participações para os indexadores. No entanto, introduz consumidores para submeter pedidos de compra, a fim de garantir a receita dos indexadores, em vez de gerentes.

Ele irá introduzir nós de dados SubQuery que suportam sharding, a fim de evitar a sincronização contínua de novos dados entre cada nó, otimizando assim a eficiência da consulta, enquanto avança para uma maior descentralização. Os usuários podem optar por pagar cerca de 1 token SQT como taxa de computação a cada 1000 solicitações, ou definir uma taxa personalizada para o indexador através do protocolo.

Apesar de a SubQuery ter lançado seu token apenas no início deste ano, as recompensas de emissão para nós e delegadores também cresceram em valor em dólares, o que representa um aumento no número de serviços de consulta oferecidos em sua plataforma. Desde o TGE, o total de SQT apostados aumentou de 6 milhões para 125 milhões, destacando o aumento na participação na sua rede.

Covalent

Covalent é uma rede de indexadores descentralizada, criada por produtores de amostras de bloco )BSP( através de nós da rede que criam cópias dos dados da blockchain por meio de exportação em massa e publicam provas na blockchain Covalent L1. Esses dados são então refinados por produtores de resultados de bloco )BRP( de acordo com as regras estabelecidas, filtrando os dados que atendem aos requisitos.

Através de uma API unificada, os desenvolvedores podem facilmente extrair dados relevantes de blockchain num formato consistente de pedidos e respostas, sem a necessidade de escrever consultas complexas personalizadas para aceder aos dados. Os conjuntos de dados pré-configurados podem ser extraídos dos operadores de rede utilizando o token CQT, que é liquidado na Moonbeam, como meio de pagamento.

As recompensas da Covalent parecem estar em tendência de crescimento geral do primeiro trimestre de 23 até o primeiro trimestre de 24, em parte devido à valorização do preço do token Covalent CQT.

![Desenvolvimento de acesso a dados Web3: Introdução a indexadores e projetos relacionados])https://img-cdn.gateio.im/webp-social/moments-52ee29205aa307720198994a5f3de61f.webp(

Considerações ao escolher um indexador

Personalização dos Dados

Alguns indexadores ) como Covalent ( são indexadores genéricos, que oferecem conjuntos de dados pré-configurados padrão apenas através da API. Embora possam ser rápidos, não oferecem flexibilidade para desenvolvedores que precisam de conjuntos de dados personalizados. Ao usar o framework de indexadores, ele permite um processamento de dados mais personalizado para atender às necessidades específicas da aplicação.

Segurança

Os dados de índice devem ser seguros, caso contrário, os dApps construídos com base nesses indexadores também estarão vulneráveis a ataques. Por exemplo, se as transações e os saldos das carteiras puderem ser manipulados, o dApp poderá perder liquidez, afetando assim seus usuários. Embora todos os indexadores adotem alguma forma de segurança através do staking de tokens de indexador, outras soluções de indexador podem usar provas para aumentar ainda mais a segurança.

Subsquid oferece opções que utilizam provas otimistas e de conhecimento zero, enquanto a Covalent também lançou provas que incluem o valor de hash do bloco. A Graph fornece um período de contestação para consultas de indexadores de forma a desafiar a janela de contestação otimista, enquanto a SubQuery.