Важливість даних у Блокчейні та способи їхнього пошуку

Дані є ядром технології Блокчейн, що є надзвичайно важливим для розробки децентралізованих додатків (dApp). Хоча нині обговорення в основному зосереджене на доступності даних (DA), доступність даних також є важливою, хоча часто ігнорується.

У епоху модульного Блокчейн, рішення DA стали необхідністю. Вони забезпечують, щоб усі учасники могли використовувати дані транзакцій, що дозволяє здійснювати перевірку в реальному часі та підтримувати цілісність мережі. Однак, рівень DA більше схожий на білборд, ніж на базу даних, що означає, що дані не зберігаються безкінечно, а з часом видаляються.

У порівнянні, доступність даних зосереджена на здатності отримувати історичні дані, що є критично важливим для розробки dApp та Блокчейн-аналізу. Хоча обговорення цього питання менше, але воно є однаково важливим, як і доступність даних. Обидва аспекти відіграють різні, але взаємодоповнюючі ролі в екосистемі Блокчейн, і комплексний підхід до управління даними повинен одночасно вирішувати обидві ці проблеми, щоб підтримувати потужні та ефективні Блокчейн-додатки.

Блокчейн даних пошук традиційні методи

Блокчейн з моменту свого виникнення кардинально змінив інфраструктуру та сприяв створенню dApp у таких сферах, як ігри, фінанси та соціальні мережі. Однак, для побудови цих dApp потрібно отримати доступ до великої кількості даних Блокчейн, що є як складним, так і дорогим.

Для розробників dApp одним з варіантів є хостинг та запуск власного архівного RPC-нод. Ці ноди з самого початку зберігають усі історичні дані блокчейну, що дозволяє повністю отримувати доступ до даних. Проте, утримання архівних нод є дорогим, а можливості запитів обмежені, не дозволяючи запитувати дані у форматі, необхідному розробникам. Хоча запуск більш дешевих нод є варіантом, можливості отримання даних цих нод обмежені, що може заважати роботі dApp.

Іншим способом є використання постачальників комерційних RPC-вузлів. Ці постачальники відповідають за витрати та управління вузлами, а також надають дані через RPC-інтерфейси. Публічні RPC-інтерфейси безкоштовні, але мають обмеження швидкості, що може вплинути на досвід користувачів dApp. Приватні RPC-інтерфейси забезпечують кращу продуктивність завдяки зменшенню заторів, але навіть просте отримання даних вимагає великої кількості запитів. Це робить їх важкими для запитів та неефективними для складних запитів даних. Крім того, приватні RPC-інтерфейси зазвичай важко масштабувати та не мають сумісності між різними мережами.

Кращий вибір: Блокчейн індексатор

Індексатор Блокчейн відіграє ключову роль в організації даних на ланцюгу та їх відправці до бази даних для полегшення запитів, тому його часто називають "Гуглом Блокчейн". Вони індексують дані Блокчейн та використовують аналогічну SQL мову запитів (, таку як GraphQL API ), щоб зробити їх доступними. Забезпечуючи єдиний інтерфейс запитів, індексатор дозволяє розробникам швидко та точно отримувати необхідну інформацію за допомогою стандартизованої мови запитів, значно спрощуючи процес.

Різні типи індексаторів оптимізують пошук даних різними способами:

1. Повний вузол індексатор: запуск повного вузла Блокчейн і безпосереднє витягування даних, що забезпечує їхню повноту та точність, але вимагає значних обсягів пам'яті та обчислювальних потужностей.

2. Легкий індексатор: покладається на повні вузли для отримання конкретних даних за запитом, зменшуючи вимоги до зберігання, але може збільшити час запиту.

3. Спеціалізований індексатор: для оптимізації пошуку даних або Блокчейн певного типу, таких як дані NFT або транзакції DeFi.

4. Агент з агрегування: витягує дані з кількох Блокчейн і джерел, включаючи інформацію поза ланцюгом, надає єдиний інтерфейс запиту, особливо корисний для багатоланцюгових dApp.

Лише для Ethereum потрібно 3 ТБ пам'яті, і з ростом Блокчейн вона постійно збільшується. Протокол індексатора розгортає кілька індексаторів, які можуть ефективно індексувати та швидко запитувати великі обсяги даних, що неможливо реалізувати за допомогою RPC.

Індексатори також дозволяють виконувати складні запити, легко фільтрувати дані та витягувати дані для подальшого аналізу. Деякі індексатори можуть агрегувати дані з кількох джерел, уникаючи розгортання кількох API в мульти-ланцюгових dApp. Завдяки розподілу на кількох вузлах, індексатори забезпечують підвищену безпеку та продуктивність, тоді як постачальники RPC можуть зазнати збоїв і простоїв через централізовані характеристики.

В цілому, на відміну від постачальників RPC-нод, індексатори підвищують ефективність та надійність отримання даних, одночасно знижуючи вартість розгортання одного вузла. Це робить протокол індексатора Блокчейн перевагою для розробників dApp.

Приклади використання індексатора

Створення dApp вимагає пошуку та читання даних Блокчейн для забезпечення роботи сервісу. Це включає в себе будь-які типи dApp, такі як DeFi, платформи NFT, ігри та навіть соціальні мережі, оскільки ці платформи спочатку повинні читати дані, щоб виконати інші транзакції.

DeFi

DeFi-протоколи потребують різної інформації для того, щоб надати користувачам конкретні ціни, співвідношення, витрати тощо. Автоматичний маркет-мейкер (AMM) потребує інформації про ціни та ліквідність пулу для розрахунку ставок свопу, кредитні протоколи потребують завантаження для визначення ставок кредитування та коефіцієнтів ліквідації боргу. Перед розрахунком ставок, які виконують користувачі, введення інформації в dApp є необхідним.

Ігра

GameFi потребує швидкого індексування та доступу до даних, щоб забезпечити користувачам плавний ігровий досвід. Тільки за допомогою швидкого отримання та виконання даних ігри Web3 можуть змагатися з іграми Web2 за продуктивністю, залучаючи більше користувачів. Ці ігри потребують даних про право власності на землю, баланс ігрових токенів, ігрові операції тощо. Використовуючи індексатор, вони можуть краще забезпечити стабільний потік даних та нормальний час роботи, гарантуючи ідеальний ігровий досвід.

NFT

NFT ринок та платформи кредитування потребують індексації даних для доступу до різної інформації, такої як метадані NFT, дані про власність та передачу, інформація про роялті тощо. Швидка індексація таких даних може запобігти необхідності переглядати кожен NFT окремо для пошуку даних про власність або атрибути NFT.

Незалежно від того, чи потрібна інформація про ціни та ліквідність для DeFi автоматичних маркет-мейкерів (AMM), чи потрібно оновлювати дописи нових користувачів у SocialFi додатках, швидкий доступ до даних є критично важливим для нормальної роботи dApp. Завдяки індексатору вони можуть ефективно та точно отримувати дані, забезпечуючи плавний користувацький досвід.

Аналіз

Індексатор надає можливість витягувати конкретні дані з оригінальних Блокчейн даних (, включаючи події смарт-контрактів у кожному Блок ). Це створює можливості для більш конкретного аналізу даних, що забезпечує всебічні уявлення.

Наприклад, угода на безстрокову торгівлю може визначити, які токени мають великий обсяг торгівлі, а які токени генерують комісії, що дозволяє вирішити, чи варто включати ці токени до безстрокових контрактів на своїй платформі. Розробники DEX можуть створити інформаційну панель для свого продукту, щоб глибше зрозуміти, які пулі коштів мають найвищу прибутковість або найбільшу ліквідність. Також можна створити публічні інформаційні панелі, що дозволяє розробникам вільно і гнучко запитувати будь-які типи даних, які потрібно відобразити на графіку.

Оскільки доступно кілька Блокчейн-індексаторів, розпізнавання відмінностей між індексними протоколами є надзвичайно важливим для забезпечення того, щоб розробники обрали найбільш підходящий для своїх потреб індексатор.

Блокчейн індексатор огляд

Граф

The Graph є першим протоколом індексації, запущеним на Ethereum, який дозволяє легко запитувати раніше важкодоступні дані транзакцій. Він використовує підграфи для визначення та фільтрації підмножини даних, зібраних з Блокчейн, наприклад, усіх транзакцій, пов'язаних з пулом USDC/ETH на певній DEX.

Використовуючи доведення індексу, індексатор ставить на кон рідний токен GRT для індексації та запитів, делегат може вибрати, щоб його токени були поставлені на кон тут. Куртори можуть отримати доступ до високоякісних підграфів, допомагаючи індексатору визначити, які підграфи потрібно підготувати для збору найкращих зборів за запити. У процесі переходу до більшої децентралізації The Graph зрештою припинить свої послуги управління та вимагатиме оновлення підграфів до своєї мережі, одночасно надаючи оновлені індексатори.

Її інфраструктура забезпечує середню вартість 40 доларів за мільйон запитів, що набагато нижче вартості самостійно керованих вузлів. Використовуючи файлові джерела даних, вона також підтримує паралельне індексування як ончейн, так і оффчейн даних для ефективного отримання даних.

Нагороди індексаторів The Graph стабільно зростали протягом останніх кількох кварталів. Це частково пояснюється зростанням обсягу запитів, але також і зростанням цін на токени, оскільки вони планують інтегрувати запити з підтримкою штучного інтелекту в майбутньому.

Кальмари

Subsquid – це пірінговий, горизонтально масштабований децентралізований дата-озеро, яке ефективно агрегує велику кількість ончейн та офчейн даних, захищених за допомогою нульових знань. Як децентралізована мережа виконавців, кожен вузол відповідає за зберігання даних з певного підмножини блоків, прискорюючи процес пошуку даних шляхом швидкого виявлення вузлів, що зберігають необхідні дані.

Subsquid також підтримує реальний індекс, що дозволяє індексувати його до остаточного підтвердження блоку. Він підтримує зберігання даних у форматі, обраному розробником, що полегшує аналіз за допомогою таких інструментів, як BigQuery, Parquet або CSV. Крім того, підграфи можна розгортати в мережі Subsquid без міграції на Squid SDK, що забезпечує безкодове розгортання.

Незважаючи на те, що він все ще перебуває на етапі тестової мережі, Subsquid досяг вражаючих статистичних даних, маючи понад 80,000 користувачів тестової мережі, розгорнувши понад 60,000 індексаторів Squid, а в мережі є понад 20,000 перевірених розробників. Нещодавно Subsquid запустив основну мережу свого дата-озера.

Окрім індексу, дані з湖 Subsquid Network також можуть використовуватися в RPC у таких випадках, як аналіз, ZK/TEE кооперативні процесори, AI-агенти та Oracle.

Підзапит

SubQuery є децентралізованою мережею інфраструктури посередників, яка надає послуги RPC та індексації даних. Спочатку вона підтримувала мережі Polkadot та Substrate, але тепер розширилася до понад 200 ланцюгів. Її робота схожа на The Graph, який використовує індексні докази: індексатор індексує дані та надає запити на отримання, а делеганти ставлять свої частки на індексатор. Однак вона вводить споживачів для подання замовлень на покупку, щоб забезпечити дохід індексаторів, а не управлінців.

Він введе підтримку фрагментації для вузлів даних SubQuery, щоб запобігти постійній синхронізації нових даних між кожним вузлом, оптимізуючи ефективність запитів і водночас рухаючись до більшої децентралізації. Користувачі можуть вибрати сплатити приблизно 1 SQT токен за кожні 1000 запитів як обчислювальні витрати або налаштувати власні витрати для індексаторів через протокол.

Попри те, що SubQuery лише недавно випустила свої токени, винагороди за випуск для вузлів та делегатів також зросли в доларовій вартості в порівнянні з попереднім періодом, що також свідчить про постійне збільшення кількості запитів, що надаються на її платформі. З моменту TGE загальна кількість заблокованих SQT зросла з 6 мільйонів до 125 мільйонів, підкреслюючи зростання участі в її мережі.

Ковалентний

Covalent є децентралізованою мережею індексаторів, яка створюється виробниками зразків блоків (BSP) через мережеві вузли шляхом масового експорту, щоб створити копії даних блокчейну, та публікує докази на Блокчейн Covalent L1. Ці дані далі уточнюються виробниками результатів блоків (BRP) відповідно до встановлених правил, щоб відфільтрувати дані, що відповідають вимогам.

За допомогою єдиного API розробники можуть легко отримувати відповідні дані з Блокчейн у єдиному форматі запитів і відповідей, не пишучи складних запитів для доступу до даних. Можна використовувати токени CQT, які розраховуються на Moonbeam, як засіб оплати для отримання цих попередньо налаштованих наборів даних від операторів мережі.

Нагороди Covalent, здається, загалом мають тенденцію до зростання з першого кварталу 23 року до першого кварталу 24 року, частково через зростання ціни токена Covalent CQT.

Увага при виборі індексаторів

Налаштування даних

Деякі індексатори (, такі як Covalent ), є універсальними індексаторами, які надають стандартні попередньо налаштовані набори даних лише через API. Хоча вони можуть бути швидкими, вони не забезпечують гнучкості для розробників, яким потрібні кастомізовані набори даних. Використовуючи фреймворк індексаторів, це дозволяє проводити більше кастомізованої обробки даних для задоволення специфічних потреб програми.

Безпека

Індексні дані повинні бути безпечними, інакше dApp, побудовані на основі цих індексаторів, також можуть бути піддані атакам. Наприклад, якщо транзакції та залишки гаманців можуть бути маніпульовані, dApp може втратити ліквідність, що вплине на його користувачів. Хоча всі індексатори використовують деяку форму безпеки через стейкинг токенів індексатора, інші рішення для індексаторів можуть використовувати докази для подальшого підвищення безпеки.

Subsquid надає можливості використання оптимістичних та нульових доказів, тоді як Covalent також випустив докази, що містять хеші блоків. Graph пропонує спірний термін оскарження для запитів індексаторів у вигляді оптимістичного вікна оскарження, а SubQuery