区块链数据索引的演进:从节点到全链AI数据库

1. 引言

自2017年首批去中心化应用(dApp)问世以来,区块链生态系统已经蓬勃发展,出现了众多基于不同区块链的金融、游戏和社交dApp。然而,这些应用在交互过程中所依赖的各类数据源头值得我们深入思考。

2024年,人工智能与Web3成为热点话题。在AI领域,数据就像生命之源,驱动着系统的学习和进化。没有海量数据的支撑,即便是最精妙的AI算法也难以发挥其潜力。

本文将从区块链数据可访问性的角度,深入剖析行业发展过程中数据索引的演变历程。我们还将对比传统的数据索引协议The Graph与新兴的区块链数据服务协议Chainbase和Space and Time,探讨这些结合AI技术的新协议在数据服务和产品架构方面的异同。

2. 数据索引的演进:从区块链节点到全链数据库

2.1 数据源头:区块链节点

区块链被称为去中心化的记账本,而节点正是这个网络的基础。每个节点都保存着完整的区块链数据副本,确保网络的去中心化特性。然而,对普通用户而言,自建和维护节点不仅技术门槛高,还需要承担昂贵的硬件和带宽成本。

为解决这一问题,RPC节点提供商应运而生。它们负责节点的运维,通过RPC端点为用户提供数据访问服务。公共RPC端点虽然免费,但存在速率限制,可能影响dApp的用户体验。私有RPC端点虽然性能更佳,但对复杂查询的效率仍然不高,且难以跨网络扩展。尽管如此,节点提供商的标准化API接口还是为用户访问链上数据降低了门槛,为后续的数据解析和应用奠定了基础。

2.2 数据解析:从原始数据到可用数据

区块链节点提供的原始数据通常经过加密和编码处理,虽然保证了数据的完整性和安全性,但也增加了解析难度。对于普通用户和开发者来说,直接处理这些数据需要大量专业知识和计算资源。

因此,数据解析过程变得尤为重要。通过将复杂的原始数据转换为易于理解和操作的格式,用户可以更直观地利用这些数据。数据解析的质量直接影响了区块链数据应用的效率和效果,是整个数据索引流程中的关键环节。

2.3 数据索引器的进化

随着区块链数据量激增,数据索引器的需求日益迫切。索引器负责组织链上数据并将其存入数据库以便查询。它们通过索引区块链数据,并提供类似SQL的查询语言(如GraphQL)接口,使数据随时可用。索引器为开发人员提供了统一的查询界面,大大简化了数据检索流程。

不同类型的索引器各有优势:

1. 完整节点索引器:直接从完整节点提取数据,确保数据完整准确,但需要大量存储和处理能力。
2. 轻量级索引器:依赖完整节点按需获取特定数据,减少存储需求但可能增加查询时间。
3. 专用索引器:针对特定类型数据或区块链优化,如NFT数据或DeFi交易。
4. 聚合索引器:从多个区块链和来源提取数据,包括链下信息,提供统一查询界面,适用于多链dApp。

目前,以太坊档案节点在不同客户端下的存储需求从3TB到13.5TB不等。面对如此庞大的数据量,主流索引器协议不仅支持多链索引,还针对不同应用需求定制了数据解析框架,如The Graph的"子图"(Subgraph)框架。

索引器的出现显著提升了数据索引和查询效率。与传统RPC端点相比,索引器能高效处理大量数据,支持复杂查询和数据过滤。一些索引器还支持聚合多个区块链的数据源,避免了多链dApp需要部署多个API的问题。通过分布式运行,索引器不仅提供了更强的安全性和性能,也降低了集中式RPC提供商可能带来的中断风险。

2.4 全链数据库:向流优先模式转变

随着应用需求日益复杂,初级数据索引器及其标准化索引格式逐渐难以满足多样化的查询需求,如跨链访问或链下数据映射。

现代数据管道架构中,"流优先"方法成为解决传统批处理局限性的方案,实现实时数据处理和分析。区块链数据服务提供商也朝着构建数据流的方向发展,如The Graph的Substreams、Goldsky的Mirror,以及Chainbase和SubSquid提供的实时数据湖。

这些服务旨在解决区块链交易实时解析和全面查询能力的需求。通过现代数据管道的视角重新定义链上数据挑战,我们可以从全新角度看待数据管理、存储和提供的潜力。将索引器视为数据流而非最终输出,我们可以设想为任何业务用例量身定制高性能数据集的可能性。

3. AI + Database:深入对比The Graph、Chainbase和Space and Time

3.1 The Graph

The Graph网络通过去中心化节点网络提供多链数据索引和查询服务。其核心产品包括数据查询执行市场和数据索引缓存市场,服务于用户的产品查询需求。

子图(Subgraphs)是The Graph网络的基础数据结构,定义了如何从区块链提取和转换数据为可查询格式。网络由索引器、策展人、委托人和开发者四个关键角色组成,共同为web3应用提供数据支持。

The Graph已全面转向去中心化子图托管服务,参与方之间通过经济激励确保系统运转。近期,The Graph生态系统核心开发团队Semiotic Labs利用AI技术优化索引定价和用户查询体验,开发了AutoAgora、Allocation Optimizer和AgentC等工具,进一步提升了系统的智能化和用户友好度。

3.2 Chainbase

Chainbase是一个全链数据网络,整合所有区块链数据到一个平台。其特色功能包括:

• 实时数据湖:提供专门用于区块链数据流的实时数据湖。
• 双链架构:基于Eigenlayer AVS构建执行层,与CometBFT共识算法形成并行双链架构。
• 创新数据格式标准:引入"manuscripts"数据格式标准。
• 加密世界模型:结合AI模型技术,打造能理解、预测区块链交易的AI模型Theia。

Chainbase的AI模型Theia基于NVIDIA的DORA模型,结合链上和链下数据分析加密模式,通过因果推理做出响应,为用户提供智能化数据服务。

3.3 Space and Time

Space and Time (SxT)致力于打造可验证的计算层,在去中心化数据仓库上扩展零知识证明。其核心技术Proof of SQL是一种创新的零知识证明技术,确保在去中心化数据仓库上执行的SQL查询是防篡改和可验证的。

SxT与微软AI联合创新实验室合作,研发生成式AI工具,使用户能通过自然语言处理区块链数据。在Space and Time Studio中,用户可以体验输入自然语言查询,AI自动转换为SQL并执行查询。

结论与展望

区块链数据索引技术从最初的节点数据源头,经过数据解析和索引器的发展,最终演进到AI赋能的全链数据服务,经历了一个逐步完善的过程。这些技术的不断演进不仅提高了数据访问的效率和准确性,还为用户带来了前所未有的智能化体验。

展望未来,随着AI技术和零知识证明等新技术的不断发展,区块链数据服务将进一步智能化和安全化。作为基础设施,区块链数据服务将继续在行业进步和创新中发挥重要作用。