Еволюція доступу до даних Web3: аналіз індексаторів та пов'язаних проектів

Дані є основою технології блокчейн і основою для розробки децентралізованих додатків (dApp). Наразі більшість обговорень зосереджені на доступності даних (DA), тобто на забезпеченні того, щоб усі учасники мережі могли отримати доступ до останніх даних про транзакції для верифікації. Однак інший рівнозначно важливий, але часто ігнорований аспект - це доступність даних.

У епоху модульних блокчейнів рішення DA стали невід'ємною частиною. Ці рішення забезпечують доступ усіх учасників до даних транзакцій, що дозволяє здійснювати перевірку в реальному часі та підтримувати цілісність мережі. Проте функції рівня DA більше схожі на білборд, а не на базу даних. Це означає, що дані не зберігатимуться безкінечно, а з часом будуть видалені, як постери на білборді врешті-решт замінюються новими.

У порівнянні, доступність даних зосереджується на здатності отримувати історичні дані, що є критично важливим для розробки dApp та проведення аналізу блокчейну. Цей аспект є надзвичайно важливим для завдань, які потребують доступу до попередніх даних, щоб забезпечити точне представлення та виконання. Хоча про доступність даних говорять менше, вона є такою ж важливою, як і доступність даних. Обидва аспекти відіграють різні, але взаємодоповнюючі ролі в екосистемі блокчейну, тому всебічний підхід до управління даними повинен одночасно вирішувати ці дві проблеми для підтримки потужних та ефективних блокчейн-додатків.

Еволюція пошуку даних у блокчейні

Блокчейн з моменту свого виникнення кардинально змінив інфраструктуру, сприяв створенню dApp у багатьох сферах, таких як ігри, фінанси та соціальні мережі. Однак для побудови цих dApp потрібно отримувати доступ до величезної кількості даних блокчейну, що є як складним, так і дорогим.

Для розробників dApp одним із варіантів є хостинг та запуск власних архівних RPC-вузлів. Ці вузли з самого початку зберігають усі історичні дані блокчейну, що дозволяє повноцінно отримувати доступ до даних. Проте утримання архівних вузлів є дорогим, а їх можливості запитів обмежені, що ускладнює отримання даних у форматі, необхідному розробникам. Хоча запуск дешевших вузлів є варіантом, можливості отримання даних з цих вузлів обмежені, що може вплинути на роботу dApp.

Іншим способом є використання постачальників комерційних RPC-нод. Ці постачальники відповідають за витрати та управління вузлами, надаючи дані через RPC-інтерфейси. Хоча публічні RPC-інтерфейси безкоштовні, вони мають обмеження швидкості, що може негативно вплинути на досвід користувачів dApp. Приватні RPC-інтерфейси забезпечують кращу продуктивність за рахунок зменшення завантаженості, але навіть простий запит даних вимагає значної кількості взаємодій. Це робить їх запитами важкими і неефективними для складних запитів даних. Крім того, приватні RPC-інтерфейси зазвичай важко масштабуються і не мають сумісності між різними мережами.

Кращий вибір: блокчейн-індексатор

Індексатори блокчейну відіграють ключову роль в організації даних на ланцюгу та їх передачі до бази даних для зручності запитів, тому їх часто називають "пошуковими системами блокчейну". Їхня робота полягає в індексації даних блокчейну та наданні їх в будь-який час через мову запитів, подібну до SQL (використовуючи API, такі як GraphQL). Завдяки наданню єдиного інтерфейсу запиту даних, індексатори дозволяють розробникам швидко та точно отримувати необхідну інформацію, значно спрощуючи цей процес.

Різні типи індексаторів оптимізують пошук даних різними способами:

1. Повний вузол індексатор: безпосередньо витягує дані з повного вузла блокчейну, що забезпечує повноту та точність даних, але вимагає великої кількості пам'яті та оброблювальної потужності.

2. Легкий індексатор: покладається на повні вузли для отримання конкретних даних за запитом, зменшуючи вимоги до зберігання, але може збільшити час запиту.

3. Спеціалізований індексатор: оптимізований для певних типів даних або конкретних блокчейнів, таких як дані NFT або DeFi-транзакції.

4. Агент зведення: витягує дані з кількох блокчейнів та джерел, включаючи позаблокчейнну інформацію, надає єдиний інтерфейс для запитів, особливо корисний для багатоланкових dApp.

Тільки для Ethereum потрібно 3 ТБ дискового простору, а з ростом блокчейну обсяг даних постійно збільшується. Протокол індексування розгортає кілька індексаторів, що дозволяє ефективно індексувати та швидко запитувати великі обсяги даних, чого не може забезпечити RPC.

Індексатор також дозволяє виконувати складні запити, легко фільтрувати дані та проводити аналіз після витягу. Деякі індексатори також можуть агрегувати дані з кількох джерел, уникаючи розгортання кількох API в багатоланкових dApp. Завдяки розподілу по кількох вузлах, індексатор забезпечує підвищену безпеку та продуктивність, тоді як провайдери RPC можуть зазнавати перебоїв і простоїв через централізовані характеристики.

Загалом, на відміну від постачальників RPC-вузлів, індексатор підвищує ефективність і надійність пошуку даних, одночасно знижуючи витрати на розгортання одного вузла. Це робить протокол індексаторів блокчейну найкращим вибором для розробників dApp.

Сценарії застосування індексаторів

Для побудови dApp необхідно шукати та зчитувати дані блокчейну, щоб запустити сервіс. Це включає різні типи dApp, такі як DeFi, NFT-платформи, ігри та навіть соціальні мережі, оскільки ці платформи повинні спочатку зчитати дані, щоб виконати інші транзакції.

DeFi

DeFi протоколи потребують різної інформації для надання користувачам специфічних цін, відсотків, комісій тощо. Автоматизованому маркет-мейкеру (AMM) потрібна інформація про ціни та ліквідність з пулу для розрахунку відсоткових ставок свопу, в той час як кредити потребують використання для визначення відсоткових ставок за кредитами та співвідношенням боргових зобов'язань при ліквідації. Вводити інформацію в dApp є обов'язковим перед розрахунком відсоткових ставок, які виконує користувач.

гра

GameFi потребує швидкого індексування та доступу до даних, щоб забезпечити користувачам безперебійну гру. Тільки завдяки швидкому отриманню та виконанню даних, ігри Web3 можуть зрівнятися за продуктивністю з іграми Web2, що дозволить залучити більше користувачів. Ці ігри потребують даних про право власності на землю, баланс внутрішніх токенів, внутрішні операції тощо. Використовуючи індексатори, вони можуть краще забезпечити стабільний потік даних і нормальне робоче час, гарантуючи ідеальний ігровий досвід.

NFT

Ринок NFT та платформи кредитування потребують індексації даних для доступу до різної інформації, такої як метадані NFT, дані про власність та передачу, інформація про роялті тощо. Швидка індексація таких даних може уникнути перегляду кожного NFT по одному для пошуку даних про власність або атрибути.

Чи то DeFi AMM, який потребує інформації про ціни та ліквідність, чи Соціальна фінансова програма, яка потребує оновлень постів нових користувачів, швидкий доступ до даних є критично важливим для нормальної роботи dApp. Завдяки індексатору вони можуть ефективно та точно отримувати дані, забезпечуючи плавний користувацький досвід.

аналіз

Індексатор надає можливість витягувати специфічні дані з оригінальних блокчейн-даних (включаючи події смарт-контрактів у кожному блоці). Це відкриває можливості для більш специфічного аналізу даних, що забезпечує всебічні інсайти.

Наприклад, протоколи безстрокових угод можуть визначити, які токени мають великий обсяг торгівлі та генерують високу комісію, щоб вирішити, чи включати їх до списку безстрокових контрактів на платформі. Розробники DEX можуть створити інформаційні панелі для своїх продуктів, щоб глибше зрозуміти, які ліквідні пули мають найвищу прибутковість або найбільшу ліквідність. Вони також можуть створювати публічні інформаційні панелі, що дозволяє розробникам вільно та гнучко запитувати будь-який тип даних і відображати їх на графіках.

Оскільки доступно кілька індексаторів блокчейнів, важливо розуміти відмінності між індексними протоколами, щоб забезпечити вибір індексатора, який найкраще відповідає потребам розробників.

Огляд індексаторів блокчейну

Граф

The Graph є одним з перших протоколів індексації, запущених на Ethereum, який дозволяє легко запитувати раніше важкодоступні дані про транзакції. Він використовує підграфи для визначення та фільтрації підмножин даних, зібраних з блокчейну, наприклад, усі транзакції, пов'язані з пулом USDC/ETH на певному DEX.

Використовуючи докази індексації, індексатор ставить на кон рідний токен GRT для послуг індексації та запиту, делегати можуть вибрати, щоб їх токени були поставлені на кон тут. Куратори можуть отримати доступ до високоякісних підграфів, щоб допомогти індексатору визначити, для яких підграфів потрібно складати дані для отримання найкращих витрат на запит. У процесі переходу до більшої децентралізації The Graph врешті-решт припинить свої хостингові послуги та вимагатиме оновлення підграфів до своєї мережі, одночасно забезпечуючи оновлені індексатори.

Її інфраструктура забезпечує середню вартість 40 доларів за мільйон запитів, що значно нижче, ніж вартість самостійно керованих вузлів. Використовуючи файлові джерела даних, вона також підтримує паралельне індексування як на ланцюзі, так і поза ним для ефективного отримання даних.

Нагороди індексаторів The Graph стабільно зростали протягом кількох останніх кварталів. Ця частина зумовлена зростанням обсягу запитів, але також пов'язана зі зростанням ціни токенів, оскільки вони планують у майбутньому інтегрувати запити з підтримкою штучного інтелекту.

Кальмари

Subsquid - це децентралізоване сховище даних, що має точку-точку та горизонтальну масштабованість, яке ефективно агрегує велику кількість даних як з блокчейну, так і з поза його межами, і захищає їх за допомогою нульових знань. Як децентралізована мережа робочих вузлів, кожен вузол відповідає за зберігання даних з певного підмножини блоків, прискорюючи процес витягування даних шляхом швидкого визначення вузлів, які зберігають необхідні дані.

Subsquid також підтримує реальний індекс, що дозволяє індексувати його до остаточного підтвердження блоку. Він також підтримує зберігання даних у форматі, обраному розробниками, що полегшує аналіз за допомогою таких інструментів, як BigQuery, Parquet або CSV. Крім того, підграфи можуть бути розгорнуті в мережі Subsquid без необхідності міграції до Squid SDK, що забезпечує безкодове розгортання.

Хоча Subsquid все ще перебуває на етапі тестової мережі, він досяг вражаючих показників, має понад 80 000 користувачів тестової мережі, розгорнув понад 60 000 індексаторів Squid і на мережі налічується понад 20 000 перевірених розробників. Нещодавно Subsquid запустив основну мережу свого дата-озера.

Окрім індексу, дата-озеро Subsquid Network також може замінити RPC у випадках використання аналізу, ZK/TEE копрограмування, AI-агентів та Oracle.

Підзапит

SubQuery є децентралізованою мережею інфраструктури посередників, яка надає послуги RPC та індексації даних. Спочатку вона підтримувала мережі Polkadot і Substrate, але тепер розширилася, включивши більше 200 ланцюгів. Її принцип роботи подібний до The Graph, що використовує індексні докази, де індексатори індексують дані та надають запити на запит, а делегати закладають свої частки індексаторам. Однак вона вводить споживачів для подання замовлень на купівлю, щоб забезпечити доходи індексаторів, а не менеджерів.

Він впровадить підтримку даних вузлів SubQuery, що використовують шардінг, щоб запобігти постійній синхронізації нових даних між вузлами, оптимізуючи при цьому ефективність запитів і ведучи до більшої децентралізації. Користувачі можуть обрати сплачувати приблизно 1 SQT токен за кожні 1000 запитів як плату за обробку, або встановити власну плату для індексаторів через протокол.

Хоча SubQuery випустила свої токени лише на початку цього року, винагороди за випуск для вузлів і делегатів також зросли в доларовій вартості в порівнянні з попереднім періодом, що також свідчить про зростання кількості запитів, наданих на їх платформі. З моменту TGE загальна кількість заблокованих SQT зросла з 6 мільйонів до 125 мільйонів, що підкреслює зростання участі в їхній мережі.

Ковалентний

Covalent є децентралізованою мережею індексаторів, яка створює копії даних блокчейну через пакетний експорт вузлами мережі виробників зразків блоків (BSP) та публікує докази на блокчейні Covalent L1. Ці дані потім уточнюються вузлами виробників результатів блоків (BRP) відповідно до встановлених правил, щоб відфільтрувати дані, що відповідають вимогам.

Завдяки єдиному API, розробники можуть легко отримувати відповідні дані блокчейну у єдиному форматі запитів і відповідей, не пишучи складні запити для доступу до даних. Можна використовувати токени CQT, які розраховуються на певній платформі, як засіб оплати для отримання цих попередньо налаштованих наборів даних від операторів мережі.

Нагороди Covalent, здається, загалом мають тенденцію до зростання з першого кварталу 23 року до першого кварталу 24 року, частково через підвищення ціни токена Covalent CQT.

Зауваження щодо вибору індексатора

Налаштовуваність даних

Деякі індексатори (наприклад, Covalent) є універсальними індексаторами, які лише через API надають стандартні попередньо налаштовані набори даних. Хоча вони можуть бути швидкими, вони не забезпечують гнучкості для розробників, яким потрібні спеціалізовані набори даних. Використовуючи фреймворк індексаторів, це дозволяє здійснювати більше налаштувань обробки даних для задоволення специфічних потреб програми.

безпечно

Індексні дані повинні бути безпечними, інакше dApp, побудовані на основі цих індексаторів, також можуть бути піддані атакам. Наприклад, якщо транзакції та залишки гаманців можуть бути змінені, dApp може втратити ліквідність, що вплине на його користувачів. Хоча всі індексатори використовують певну форму безпеки через стейкінг токенів індексаторів.