Sự tiến hóa của truy cập dữ liệu Web3: Phân tích các chỉ mục và dự án liên quan

Dữ liệu là cốt lõi của công nghệ blockchain, là nền tảng để phát triển ứng dụng phi tập trung (dApp). Hiện tại, hầu hết các cuộc thảo luận tập trung vào khả năng sử dụng dữ liệu (DA), tức là đảm bảo rằng tất cả các bên tham gia mạng lưới đều có thể truy cập dữ liệu giao dịch mới nhất để xác thực. Tuy nhiên, một khía cạnh quan trọng không kém nhưng thường bị bỏ qua là khả năng truy cập dữ liệu.

Trong kỷ nguyên blockchain mô-đun, giải pháp DA đã trở thành một phần không thể thiếu. Những giải pháp này đảm bảo rằng tất cả người tham gia đều có thể sử dụng dữ liệu giao dịch, từ đó thực hiện xác minh theo thời gian thực và duy trì tính toàn vẹn của mạng lưới. Tuy nhiên, chức năng của lớp DA giống như một biển quảng cáo hơn là một cơ sở dữ liệu. Điều này có nghĩa là dữ liệu sẽ không được lưu trữ vô thời hạn, mà sẽ bị xóa theo thời gian, giống như những tấm áp phích trên biển quảng cáo cuối cùng sẽ được thay thế bởi những áp phích mới.

So với đó, khả năng truy cập dữ liệu tập trung vào khả năng truy xuất dữ liệu lịch sử, điều này rất quan trọng cho việc phát triển dApp và thực hiện phân tích blockchain. Khía cạnh này rất quan trọng cho các nhiệm vụ cần truy cập dữ liệu trong quá khứ để đảm bảo sự thể hiện và thực hiện chính xác. Mặc dù thảo luận về khả năng truy cập dữ liệu ít hơn, nhưng nó cũng quan trọng ngang với khả năng sử dụng dữ liệu. Cả hai đều đóng vai trò khác nhau nhưng bổ sung cho nhau trong hệ sinh thái blockchain, và một phương pháp quản lý dữ liệu toàn diện phải giải quyết cả hai vấn đề này để hỗ trợ các ứng dụng blockchain mạnh mẽ và hiệu quả.

Sự tiến hóa của việc truy xuất dữ liệu blockchain

Kể từ khi ra đời, blockchain đã hoàn toàn thay đổi cơ sở hạ tầng, thúc đẩy việc tạo ra các dApp trong nhiều lĩnh vực như trò chơi, tài chính và mạng xã hội. Tuy nhiên, việc xây dựng những dApp này cần truy cập vào một lượng lớn dữ liệu blockchain, điều này vừa khó khăn vừa tốn kém.

Đối với các nhà phát triển dApp, một lựa chọn là lưu trữ và vận hành các nút RPC lưu trữ của riêng họ. Những nút này từ đầu đã lưu trữ tất cả dữ liệu chuỗi khối lịch sử, cho phép truy cập hoàn toàn vào dữ liệu. Nhưng việc duy trì các nút lưu trữ có chi phí cao, và khả năng truy vấn cũng bị hạn chế, không thể truy vấn dữ liệu theo định dạng mà các nhà phát triển cần. Mặc dù việc vận hành các nút rẻ hơn là một lựa chọn, nhưng khả năng truy xuất dữ liệu của những nút này bị hạn chế, có thể ảnh hưởng đến hoạt động của dApp.

Một phương pháp khác là sử dụng nhà cung cấp nút RPC thương mại. Những nhà cung cấp này chịu trách nhiệm về chi phí và quản lý nút, cung cấp dữ liệu qua các điểm cuối RPC. Mặc dù các điểm cuối RPC công cộng miễn phí, nhưng có giới hạn về tốc độ, có thể ảnh hưởng tiêu cực đến trải nghiệm người dùng của dApp. Các điểm cuối RPC riêng tư cung cấp hiệu suất tốt hơn bằng cách giảm tắc nghẽn, nhưng ngay cả việc truy xuất dữ liệu đơn giản cũng cần rất nhiều giao tiếp qua lại. Điều này khiến cho chúng trở nên nặng nề trong việc yêu cầu, và kém hiệu quả với các truy vấn dữ liệu phức tạp. Hơn nữa, các điểm cuối RPC riêng tư thường khó mở rộng và thiếu tính tương thích giữa các mạng khác nhau.

Lựa chọn tốt hơn: Bộ chỉ mục blockchain

Bộ chỉ mục blockchain đóng vai trò quan trọng trong việc tổ chức dữ liệu trên chuỗi và gửi nó đến cơ sở dữ liệu để thuận tiện cho việc truy vấn, vì vậy thường được gọi là "công cụ tìm kiếm của blockchain". Cách hoạt động của chúng là chỉ mục dữ liệu blockchain và làm cho nó có sẵn mọi lúc thông qua ngôn ngữ truy vấn tương tự như SQL (sử dụng API như GraphQL). Bằng cách cung cấp giao diện truy vấn dữ liệu thống nhất, bộ chỉ mục cho phép các nhà phát triển nhanh chóng và chính xác truy xuất thông tin cần thiết bằng ngôn ngữ truy vấn tiêu chuẩn hóa, từ đó đơn giản hóa đáng kể quy trình này.

Các loại bộ chỉ mục khác nhau tối ưu hóa việc truy xuất dữ liệu theo nhiều cách khác nhau:

1. Bộ chỉ mục nút đầy đủ: Trích xuất dữ liệu trực tiếp từ nút blockchain đầy đủ, đảm bảo dữ liệu đầy đủ và chính xác, nhưng cần nhiều dung lượng lưu trữ và khả năng xử lý.

2. Trình chỉ mục nhẹ: Dựa vào nút đầy đủ để lấy dữ liệu cụ thể theo nhu cầu, giảm yêu cầu lưu trữ nhưng có thể làm tăng thời gian truy vấn.

3. Bộ chỉ mục chuyên dụng: Tối ưu hóa cho các loại dữ liệu cụ thể hoặc blockchain cụ thể, chẳng hạn như dữ liệu NFT hoặc giao dịch DeFi.

4. Trình lập chỉ mục tổng hợp: Trích xuất dữ liệu từ nhiều blockchain và nguồn, bao gồm thông tin ngoài chuỗi, cung cấp giao diện truy vấn thống nhất, đặc biệt hữu ích cho dApp đa chuỗi.

Chỉ riêng Ethereum đã cần 3TB không gian lưu trữ, với việc blockchain liên tục phát triển, lượng dữ liệu lưu trữ tiếp tục tăng. Giao thức chỉ mục triển khai nhiều chỉ mục viên, có thể chỉ mục hiệu quả và truy vấn nhanh một lượng lớn dữ liệu, điều này là RPC không thể thực hiện được.

Công cụ lập chỉ mục cũng cho phép thực hiện các truy vấn phức tạp, dễ dàng lọc dữ liệu và phân tích sau đó. Một số công cụ lập chỉ mục còn có thể tổng hợp dữ liệu từ nhiều nguồn, tránh việc triển khai nhiều API trong các dApp đa chuỗi. Bằng cách phân phối trên nhiều nút, công cụ lập chỉ mục cung cấp tính bảo mật và hiệu suất được cải thiện, trong khi các nhà cung cấp RPC có thể gặp phải tình trạng gián đoạn và ngừng hoạt động do tính chất tập trung.

Nói chung, so với các nhà cung cấp nút RPC, bộ chỉ mục đã cải thiện hiệu quả và độ tin cậy của việc truy xuất dữ liệu, đồng thời giảm chi phí triển khai một nút đơn lẻ. Điều này khiến giao thức chỉ mục blockchain trở thành lựa chọn hàng đầu cho các nhà phát triển dApp.

Ứng dụng của bộ chỉ mục

Việc xây dựng dApp cần phải truy xuất và đọc dữ liệu blockchain để có thể vận hành dịch vụ. Điều này bao gồm các loại dApp khác nhau, chẳng hạn như DeFi, nền tảng NFT, trò chơi và thậm chí là mạng xã hội, vì những nền tảng này cần đọc dữ liệu trước khi thực hiện các giao dịch khác.

DeFi

Các giao thức DeFi cần thông tin khác nhau để báo giá, tỷ lệ, phí cụ thể cho người dùng. Nhà tạo lập thị trường tự động (AMM) cần thông tin về giá cả và tính thanh khoản của các bể thanh khoản để tính toán tỷ lệ hoán đổi, trong khi các giao thức cho vay cần tỷ lệ sử dụng để xác định tỷ lệ lãi suất cho vay và tỷ lệ nợ xóa bỏ. Việc nhập thông tin vào dApp là điều cần thiết trước khi tính toán tỷ lệ lãi suất mà người dùng thực hiện.

trò chơi

GameFi cần truy cập và chỉ mục dữ liệu nhanh chóng để đảm bảo trải nghiệm chơi game mượt mà cho người dùng. Chỉ có thông qua việc truy xuất và thực hiện dữ liệu nhanh chóng, các trò chơi Web3 mới có thể so sánh về hiệu suất với các trò chơi Web2, từ đó thu hút nhiều người dùng hơn. Những trò chơi này cần dữ liệu như quyền sở hữu đất, số dư token trong game, các thao tác trong game, v.v. Bằng cách sử dụng trình chỉ mục, họ có thể đảm bảo dòng dữ liệu ổn định và thời gian hoạt động bình thường, đảm bảo trải nghiệm chơi game hoàn hảo.

NFT

Thị trường NFT và nền tảng cho vay cần truy cập dữ liệu chỉ mục để có được các thông tin khác nhau, chẳng hạn như siêu dữ liệu NFT, thông tin sở hữu và chuyển nhượng, thông tin tiền bản quyền, v.v. Việc chỉ mục nhanh chóng các dữ liệu này có thể tránh việc duyệt từng NFT một để tìm kiếm dữ liệu về quyền sở hữu hoặc thuộc tính.

Dù là AMM DeFi cần thông tin về giá cả và tính thanh khoản, hay ứng dụng SocialFi cần cập nhật bài viết của người dùng mới, việc truy xuất dữ liệu nhanh chóng là rất quan trọng cho việc vận hành bình thường của dApp. Với sự trợ giúp của công cụ lập chỉ mục, họ có thể truy xuất dữ liệu một cách hiệu quả và chính xác, mang lại trải nghiệm người dùng mượt mà.

phân tích

Bộ chỉ mục cung cấp một phương pháp để trích xuất dữ liệu cụ thể từ dữ liệu blockchain gốc (bao gồm các sự kiện hợp đồng thông minh trong mỗi khối). Điều này tạo cơ hội cho việc phân tích dữ liệu cụ thể hơn, từ đó cung cấp cái nhìn toàn diện.

Ví dụ, các giao thức giao dịch vĩnh viễn có thể xác định những mã thông báo nào có khối lượng giao dịch lớn, tạo ra phí cao, từ đó quyết định có liệt kê chúng như là hợp đồng vĩnh viễn trên nền tảng hay không. Các nhà phát triển DEX có thể tạo bảng điều khiển cho sản phẩm của mình, để hiểu sâu hơn về những pool có tỷ suất hoàn vốn cao nhất hoặc thanh khoản mạnh nhất. Họ cũng có thể tạo bảng điều khiển công khai, cho phép các nhà phát triển tự do linh hoạt truy vấn bất kỳ loại dữ liệu nào và hiển thị trên biểu đồ.

Do vì có nhiều bộ chỉ mục blockchain có sẵn, việc nhận diện sự khác biệt giữa các giao thức chỉ mục là rất quan trọng để đảm bảo các nhà phát triển chọn bộ chỉ mục phù hợp nhất với nhu cầu của họ.

Tổng quan về trình chỉ mục blockchain

The Graph

The Graph là giao thức lập chỉ mục được khởi động sớm nhất trên Ethereum, nó có thể dễ dàng truy vấn dữ liệu giao dịch trước đây khó tiếp cận. Nó sử dụng các subgraph để định nghĩa và lọc các tập dữ liệu được thu thập từ blockchain, chẳng hạn như tất cả các giao dịch liên quan đến nhóm DEX USDC/ETH.

Sử dụng chứng minh chỉ mục, các chỉ mục viên đặt cược mã thông báo gốc GRT để cung cấp dịch vụ chỉ mục và truy vấn, những người ủy quyền có thể chọn đặt cược mã thông báo của họ tại đây. Các nhà quản lý có thể truy cập các biểu đồ con chất lượng cao để giúp các chỉ mục viên xác định các biểu đồ con nào cần biên soạn dữ liệu để kiếm được phí truy vấn tốt nhất. Trong quá trình chuyển đổi sang phi tập trung hơn, The Graph cuối cùng sẽ ngừng dịch vụ lưu trữ của mình và yêu cầu các biểu đồ con nâng cấp lên mạng của nó, đồng thời cung cấp chỉ mục viên nâng cấp.

Cơ sở hạ tầng của nó làm cho chi phí trung bình cho mỗi triệu truy vấn đạt 40 đô la, điều này thấp hơn nhiều so với chi phí của các nút tự lưu trữ. Bằng cách sử dụng nguồn dữ liệu tệp, nó cũng hỗ trợ chỉ mục song song cho dữ liệu trên chuỗi và ngoài chuỗi để đạt được việc truy xuất dữ liệu hiệu quả.

Phần thưởng cho bộ chỉ mục của The Graph đã tăng trưởng ổn định trong vài quý qua. Một phần là do lượng truy vấn tăng lên, nhưng cũng nhờ vào sự gia tăng giá token, vì họ dự định tích hợp truy vấn hỗ trợ bởi trí tuệ nhân tạo trong tương lai.

Subsquid

Subsquid là một hồ dữ liệu phi tập trung, có khả năng mở rộng theo chiều ngang và kiểu điểm đến điểm, có thể tập hợp một lượng lớn dữ liệu trên chuỗi và ngoài chuỗi một cách hiệu quả, đồng thời được bảo vệ thông qua các chứng minh không biết. Là một mạng lưới thiết bị phi tập trung, mỗi nút chịu trách nhiệm lưu trữ dữ liệu từ một tập hợp các khối cụ thể, giúp tăng tốc quá trình truy xuất dữ liệu thông qua việc nhận diện nhanh chóng các nút lưu trữ dữ liệu cần thiết.

Subsquid cũng hỗ trợ chỉ mục thời gian thực, cho phép chỉ mục trước khi khối được xác nhận cuối cùng. Nó cũng hỗ trợ lưu trữ dữ liệu theo định dạng mà nhà phát triển chọn, giúp dễ dàng phân tích hơn với các công cụ như BigQuery, Parquet hoặc CSV. Hơn nữa, các subgraph có thể được triển khai trên mạng Subsquid mà không cần phải di chuyển sang Squid SDK, cho phép triển khai không cần mã.

Mặc dù vẫn đang trong giai đoạn thử nghiệm, Subsquid đã đạt được những số liệu ấn tượng với hơn 80.000 người dùng thử nghiệm, triển khai hơn 60.000 trình chỉ mục Squid và có hơn 20.000 nhà phát triển được xác thực trên mạng. Gần đây, Subsquid đã khởi động mạng chính của hồ dữ liệu của mình.

Ngoài chỉ mục, hồ dữ liệu Subsquid Network còn có thể thay thế RPC trong các trường hợp sử dụng như phân tích, ZK/TEE đồng xử lý, đại lý AI và Oracle.

SubQuery

SubQuery là một mạng lưới cơ sở hạ tầng trung gian phi tập trung, cung cấp dịch vụ RPC và dữ liệu chỉ mục. Nó ban đầu hỗ trợ mạng Polkadot và Substrate, hiện đã mở rộng bao gồm hơn 200 chuỗi. Cách hoạt động của nó tương tự như The Graph sử dụng chứng chỉ chỉ mục, trong đó các chỉ mục viên chỉ mục dữ liệu và cung cấp yêu cầu truy vấn, trong khi người ủy thác đặt cược cổ phần của họ cho các chỉ mục viên. Tuy nhiên, nó giới thiệu người tiêu dùng để gửi đơn đặt hàng mua, nhằm đảm bảo rằng thu nhập của các chỉ mục viên được đảm bảo, chứ không phải quản lý.

Nó sẽ giới thiệu các nút dữ liệu SubQuery hỗ trợ phân mảnh, nhằm ngăn chặn việc đồng bộ dữ liệu mới liên tục giữa các nút, từ đó tối ưu hóa hiệu quả truy vấn, đồng thời hướng tới sự phi tập trung lớn hơn. Người dùng có thể chọn trả khoảng 1 SQT token cho mỗi 1000 yêu cầu như một khoản phí tính toán, hoặc thiết lập phí tùy chỉnh cho bộ chỉ mục thông qua giao thức.

Mặc dù SubQuery chỉ mới ra mắt token của mình vào đầu năm nay, nhưng phần thưởng phát hành cho các nút và người ủy thác cũng đã tăng trưởng theo giá trị USD, điều này cũng đại diện cho số lượng dịch vụ truy vấn được cung cấp trên nền tảng của họ ngày càng tăng. Kể từ TGE, tổng số SQT đã được staking đã tăng từ 6 triệu lên 125 triệu, nhấn mạnh sự gia tăng tham gia vào mạng lưới của họ.

Covalent

Covalent là một mạng lưới chỉ mục phi tập trung, được tạo ra bởi các nút mạng của nhà sản xuất mẫu khối (BSP) thông qua cách xuất khẩu hàng loạt để tạo ra bản sao dữ liệu chuỗi khối, và phát hành chứng nhận trên chuỗi khối Covalent L1. Dữ liệu này sau đó được các nút của nhà sản xuất kết quả khối (BRP) tinh chỉnh theo các quy tắc đã đặt ra, lọc ra những dữ liệu đáp ứng yêu cầu.

Thông qua API thống nhất, các nhà phát triển có thể dễ dàng trích xuất dữ liệu blockchain liên quan với định dạng yêu cầu và phản hồi nhất quán, mà không cần viết các truy vấn phức tạp tùy chỉnh để truy cập dữ liệu. Có thể sử dụng token CQT được thanh toán trên một nền tảng nào đó làm phương tiện thanh toán để trích xuất các tập dữ liệu đã được cấu hình trước từ các nhà cung cấp mạng.

Phần thưởng của Covalent từ quý 1 năm 2023 đến quý 1 năm 2024 dường như có xu hướng tăng trưởng tổng thể, một phần là do giá của token Covalent CQT tăng.

Lưu ý khi chọn bộ chỉ mục

Tính tùy chỉnh của dữ liệu

Một số bộ chỉ mục (chẳng hạn như Covalent) là bộ chỉ mục chung, chỉ cung cấp các tập dữ liệu đã được cấu hình sẵn thông qua API. Mặc dù chúng có thể nhanh chóng, nhưng không thể cung cấp sự linh hoạt cho các nhà phát triển cần tập dữ liệu tùy chỉnh. Bằng cách sử dụng khung chỉ mục, nó cho phép xử lý dữ liệu tùy chỉnh nhiều hơn để đáp ứng các nhu cầu cụ thể của ứng dụng.

An toàn

Dữ liệu chỉ mục phải được bảo mật, nếu không, dApp được xây dựng dựa trên các chỉ mục này cũng dễ bị tấn công. Ví dụ, nếu giao dịch và số dư ví có thể bị thao túng, dApp có thể mất tính thanh khoản, từ đó ảnh hưởng đến người dùng của nó. Mặc dù tất cả các chỉ mục đều thông qua việc đặt cược token chỉ mục để áp dụng một hình thức bảo mật nào đó.