Важливість даних у блокчейнах

Дані мають вирішальне значення в технології блокчейн, служачи основою для розробки децентралізованих додатків (dApps). Незважаючи на те, що більша частина поточної дискусії зосереджена на доступності даних (DA) — забезпеченні того, щоб дані про нещодавні транзакції були доступні кожному учаснику мережі для перевірки — є ще один не менш важливий аспект, який часто не береться до уваги: доступність даних.

В епоху модульних блокчейнів рішення DA стали незамінними. Ці рішення гарантують, що дані про транзакції доступні для всіх учасників, дозволяючи перевіряти в режимі реального часу та підтримувати цілісність мережі. Однак шари DA функціонують більше як рекламні щити, ніж бази даних. Це означає, що дані не зберігаються нескінченно; З часом його видаляють, подібно до того, як плакати на білбордах з часом замінюються новими.

З іншого боку, доступність даних зосереджена на можливості отримання історичних даних, що має важливе значення для розробки dApps та проведення аналізу блокчейну. Цей аспект має вирішальне значення для завдань, які вимагають доступу до минулих даних для забезпечення точного представлення та виконання. Незважаючи на свою важливість, доступність даних обговорюється рідше, але вона так само важлива, як і доступність даних. Обидва виконують різні, але взаємодоповнюючі ролі в екосистемі блокчейну, і комплексний підхід до управління даними повинен стосуватися як надійних і ефективних блокчейн-додатків, так і підтримка.

Як раніше отримувалися Блокчейн дані

З моменту свого створення блокчейни революціонізували інфраструктуру та дозволили створювати децентралізовані програми (dApps) у різних сферах, таких як ігри, фінанси та соціальні мережі. Однак створення цих dApps вимагає доступу до великих обсягів даних блокчейну, що може бути як складним, так і дорогим.

Одним із варіантів для розробників dApp є розмістити та запустити власні архівні RPC вузли. Ці ноди зберігають усі історичні дані блокчейну з самого початку, забезпечуючи повний доступ до даних. Однак підтримка архівного вузла є дорогою та має обмежені можливості запитів, що робить неможливим запит даних у форматі, який потрібен розробникам. Хоча запуск менш дорогих вузлів є варіантом, ці вузли мають обмежені можливості отримання даних, що може перешкоджати роботі dApp.

Іншим підходом є використання комерційних постачальників вузлів RPC (Remote Procedure Call). Ці постачальники займаються витратами та управлінням вузлами, надаючи дані через RPC кінцеві точки. Загальнодоступні кінцеві точки RPC безкоштовні, але мають обмеження швидкості, які можуть негативно вплинути на користувацький досвід dApp. Приватні кінцеві точки RPC забезпечують кращу продуктивність за рахунок зменшення перевантажень, але вони передбачають багато обміну даними навіть для простого отримання даних. Це робить їх важкими запитами та неефективними для складних запитів даних. Крім того, приватні кінцеві точки RPC часто мають проблеми з масштабованістю та несумісністю з різними мережами.

Чудова альтернатива: індексатори Блокчейн

Блокчейн індексатори відіграють вирішальну роль в організації у блокчейні даних і надсиланні їх до бази даних для легкого запиту, тому їх часто називають "Google блокчейнів". Вони працюють, індексуючи дані блокчейну та роблячи їх доступними через мову запитів, подібну до SQL, використовуючи такі API, як GraphQL. Надаючи уніфікований інтерфейс для запиту даних, індексатори дозволяють розробникам використовувати стандартизовані мови запитів для швидкого та точного отримання необхідної інформації, що значно спрощує процес.

Різні типи індексерів оптимізують пошук даних різними способами:

1. Повний вузол Індексери: Ці індексери запускають повноцінний вузол блокчейну та витягують дані безпосередньо з нього, забезпечуючи повні та точні дані, але вимагаючи значної потужності зберігання та обробки.
2. Легкі індексери: Ці індексатори покладаються на повні вузли для отримання певних даних за потреби, зменшуючи вимоги до зберігання, але потенційно збільшуючи час запиту.
3. Виділені індексери: Спеціалізовані для певних типів даних або конкретних блокчейнів, ці індексери оптимізують пошук для конкретних випадків використання, таких як NFT дані або DeFi транзакції.
4. Агрегування індексерів: Ці індексатори отримують дані з кількох блокчейнів і джерел, включаючи поза блокчейном інформацію, забезпечуючи уніфікований інтерфейс запитів, що особливо корисно для багатоланцюгових dApps.

Тільки для Ethereum потрібно 3 ТБ пам'яті з архівним вузлом Erigon зі зростаючим сховищем даних у міру зростання ланцюжків з часом. Протоколи індексерів розгортають кілька індексерів, забезпечуючи ефективну індексацію та запити великих обсягів даних на високих швидкостях — чого RPC не можуть досягти.

Індексатори також дозволяють виконувати складні запити, легко фільтрувати дані на основі різних критеріїв і дані для аналізу після вилучення. Деякі індексери також дозволяють агрегувати дані з кількох джерел, що запобігає необхідності розгортання кількох API в багатоланцюговій dApp. Розподіляючись між кількома вузлами, індексери забезпечують підвищену безпеку та продуктивність порівняно з RPC провайдерами, які можуть зіткнутися з перебоями та простоями через свою централізовану природу.

Загалом, індексери підвищують ефективність і надійність пошуку даних порівняно з постачальниками RPC вузлів, а також знижують витрати, пов'язані з розгортанням окремих вузлів. Це робить протоколи блокчейн-індексерів кращим вибором для розробників dApp.

Випадки використання індексатора

Як згадувалося раніше, створення dApps вимагає отримання та зчитування даних блокчейну для роботи свого сервісу. Це включає будь-який тип dApp, включаючи DeFi, платформи NFT, ігри та навіть соціальні мережі, оскільки ці платформи вимагають зчитування даних, перш ніж вони зможуть виконувати інші транзакції.

DeFi

DeFi протоколи вимагають різної інформації, перш ніж вони зможуть вказати конкретні ціни, коефіцієнти, комісії тощо своїх користувачів. Автоматизовані маркет-мейкери (AMM) вимагають інформацію про ціни та ліквідність певних пулів для розрахунку ставок свопів, тоді як протоколи кредитування вимагають коефіцієнтів використання для визначення ставок кредитування/запозичень та коефіцієнтів боргу для ліквідація. Подача інформації в їхній dApp має важливе значення перед тим, як вони розраховують ставки для користувачів.

Ігровий

GameFi вимагає швидкої індексації та доступу до даних для забезпечення безперебійного ігрового процесу для користувачів. Лише завдяки блискавичному отриманню даних і виконанню Web3-ігри можуть зрівнятися зі своїми колегами з Web2 за продуктивністю, щоб залучити більше користувачів. Для цих ігор потрібні такі дані, як право власності на землю, баланс внутрішньоігрових жетонів, внутрішньоігрові дії тощо. Використовуючи індексери, вони можуть краще забезпечити стабільний потік даних і стабільний час безвідмовної роботи, щоб забезпечити бездоганний ігровий процес.

NFT

NFT маркетплейси та кредитні платформи вимагають індексованих даних, доступу до різноманітної інформації, такої як метадані NFT, дані про право власності та передачу, інформацію про роялті тощо. Швидка індексація таких даних позбавляє від необхідності переглядати кожен NFT окремо, щоб знайти дані про право власності або NFT атрибути.

Незалежно від того, чи це DeFi Автоматичний маркетмейкер (AMM), який вимагає інформацію про ціни та ліквідність, чи SocialFi додаток, який вимагає оновлення публікацій нових користувачів, можливість швидкого отримання даних має важливе значення для того, щоб dApps працювали належним чином. За допомогою індексерів вони забезпечують ефективне та правильне отримання даних, щоб забезпечити безперебійну роботу користувача.

Analytics

Індексатори надають засоби для вилучення конкретних даних із необроблених даних блокчейну, включаючи події смарт-контрактів у кожному блоці. Це відкриває можливість для більш конкретного аналізу даних, щоб надати всебічну інформацію.

Наприклад, безстрокові торгові протоколи можуть з'ясувати, які токени мають високі обсяги торгів, які генерують комісію на провідний DEX, щоб вирішити, чи список ці токени як безстрокові контракти на своїй платформі. DEX розробники можуть створювати інформаційні панелі для власних продуктів, даючи уявлення про те, які пули мають найвищу прибутковість або найглибшу ліквідність. Також можна створювати публічні інформаційні панелі, що дає розробникам свободу та гнучкість запитувати будь-які типи даних, які будуть проілюстровані на графіку.

Оскільки існує кілька блокчейн-індексерів, визначення відмінностей між протоколами індексування має вирішальне значення для того, щоб розробники вибрали індексер, який найкраще відповідає їхнім потребам.

Огляд індексаторів Блокчейн

Погляд на індексатори

The Graph

The Graph був першим протокол індексатора, який вперше був запущений на Ethereum який дозволяв легко запитувати дані про транзакції, які раніше були недоступними. Використовуючи підграфи, він визначає та фільтрує підмножину даних, які збираються з блокчейну, наприклад, усі транзакції, пов'язані з пулом USDC/ETH Uniswap v3.

Використовуючи Proof of Indexing, індексатори застейкати нативний GRT токенів для сервісів індексації та запитів, за допомогою яких делегатори можуть застейкати свої токени. Куратори отримують доступ до підграфів високої якості, щоб допомогти індексаторам визначити, для яких підграфів індексувати дані, щоб отримати найкращу комісію за запити. Переходячи до більшої децентралізації, The Graph врешті-решт припинить свою розміщену службу та вимагатиме оновлення підграфів у своїй мережі, надаючи індексатор upgrade.

Його інфраструктура забезпечує середню ціну за запит у розмірі 40 доларів США за мільйон запитів, що коштує значно дешевше, ніж вузли самостійного хостингу. Використовуючи File Data Sources, він також підтримує паралельне індексування як у блокчейні, так і поза блокчейном даних одночасно для ефективного пошуку даних.

Якщо поглянути на винагороди індексатора The Graph, то вони неухильно зростають протягом останніх кількох кварталів. Частково це пов'язано зі збільшенням запитів, але також пов'язане зі зростанням ціни токенів через їхні плани інтегрувати запити за допомогою штучного інтелекту в майбутньому.

Subsquid

Subsquid - це однорангове, горизонтально масштабоване децентралізоване озеро даних, яке ефективно агрегує великі обсяги як у блокчейні, так і поза блокчейном даних, захищених zk-proofs. Децентралізована мережа працівників, кожен вузол відповідає за зберігання даних з певної підмножини блоків, прискорюючи процес пошуку даних шляхом швидкого визначення вузлів, що містять необхідні дані.

Subsquid також підтримує індексацію в реальному часі, що дозволяє індексувати блоки до того, як вони будуть завершені. Він також дозволяє зберігати дані в обраних розробниками форматах, полегшуючи аналітику за допомогою таких інструментів, як BigQuery, Parquet або CSV. Крім того, підграфи можна розгортати в мережі Subsquid без міграції на Squid SDK, що дозволяє розгортати їх без коду.

Перебуваючи на етапі тестової мережі, Subsquid досяг вражаючої статистики: понад 80 000 користувачів тестової мережі, понад 60 000 індексерів squid розгорнуто та понад 20 000 перевірених розробників у мережі. Зовсім недавно, 3 червня, Subsquid запустив основну мережу свого озера даних.

На додаток до індексації, озеро даних Subsquid Network призначене як заміна RPC у таких сценаріях використання, як аналітика, співпроцесори ZK/TEE, агенти штучного інтелекту та оракули.

SubQuery

SubQuery — це децентралізована мережа інфраструктури проміжного програмного забезпечення, яка надає як RPC, так і індексовані послуги даних. Спочатку він підтримував мережі Polkadot і Substrate, а тепер розширився до понад 200 мереж. Він працює подібно до The Graph, використовуючи Proof of Indexing, з індексаторами, які індексують дані та надають запити запитів, і делегаторами, які застейкати індексаторам. Однак замість кураторів він представляє споживачів, які подають замовлення на купівлю, щоб сигналізувати про гарантований дохід для індексерів.

Він представить SubQuery Data Нода, який підтримує шардинг, щоб запобігти постійній синхронізації нових даних між кожним вузлом, таким чином оптимізуючи ефективність запитів і рухаючись до більшої децентралізації. Користувачі можуть вибрати, чи платити за обчислення близько 1 токена SQT за 1000 запитів, або встановити спеціальні комісії для індексерів за допомогою угод.

Незважаючи на те, що SubQuery запустив свій токен лише на початку цього року, винагороди за емісію як для вузлів, так і для делегаторів також збільшують QoQ у USD вартості, що означає збільшення кількості послуг із запитів, що надаються на їхній платформі. З TGE року загальна кількість стейкінгів SQT зросла з 6 мільйонів до 125 мільйонів, що підкреслює зростання участі їхньої мережі.

Covalent

Covalent — це децентралізована мережа індексаторів, яка створює копію даних блокчейну вузлами мережі Блок Specimen Producers (BSP) за допомогою методу масового експорту та публікує доказ у блокчейні Covalent L1. Потім ці дані уточнюються вузлами Блок Result Producer (BRP), щоб відфільтрувати дані на основі встановлених правил.

Завдяки уніфікованій API розробники можуть легко отримувати відповідні дані блокчейну в узгодженому форматі запитів і відповідей, що усуває необхідність писати власні складні запити для доступу до даних. Ці попередньо налаштовані набори даних можуть бути отримані від операторів мережі, використовуючи CQT токени як платіжні засоби, які розраховуються на Moonbeam.

Винагороди Covalent, схоже, перебувають у загальній тенденції до зростання з 1 кварталу 23 до 1 кварталу 24 року, що частково пов'язано зі зростанням ціни на токен Covalent CQT.

Міркування при виборі індексатора

Настроюваність даних

Деякі індексери, такі як Covalent, є індексерами загального призначення, які надають лише стандартні попередньо налаштовані набори даних через API. Незважаючи на те, що вони можуть бути швидкими, вони не пропонують гнучкості для розробників, яким потрібні індивідуальні набори даних. Використовуючи фреймворки індексатора, він дозволяє більш кастомно обробляти дані, щоб задовольнити специфічні потреби програми.

Безпека

Індексовані дані повинні бути захищені, інакше dApps, побудовані на цих індексаторах, також схильні до атак. Наприклад, якщо транзакціями та балансом гаманця можна маніпулювати, dApps ризикують втратити ліквідність, що впливає на їхніх користувачів. Хоча всі індексери використовують певну форму безпеки через стейкінг токенів індексерами, інші рішення індексерів можуть використовувати докази для подальшої безпеки.

Subsquid надає можливість використовувати оптимістичне та zk-proof, тоді як Covalent також публікує доказ, який містить хеш блоку. Графік надає періоди оскарження запитів індексатора в оптимістичному стилі періоду періоду виклику, тоді як SubQuery генерує докази гори Меркла для кожного блоку, щоб обчислити хеш для кожного блоку всіх даних, що зберігаються в його базі даних.

Швидкість і масштабованість

Оскільки блокчейни з часом ростуть, додається більше транзакцій, що робить індексацію великих обсягів даних більш стомлюючою, оскільки потрібно більше обчислювальної потужності та сховища. Підтримувати ефективність у міру зростання блокчейн-мереж стає все складніше, але протоколи індексерів впроваджують рішення, щоб задовольнити ці зростаючі вимоги.

Наприклад, Subsquid забезпечує горизонтальну масштабованість за рахунок додавання більшої кількості вузлів для зберігання даних, пропонуючи можливість масштабування разом із вдосконаленням апаратного забезпечення. The Graph пропонує розпаралелені потокові дані для швидшої синхронізації даних, а SubQuery вводить шардинг вузлів, щоб прискорити процес синхронізації.

Підтримувані мережі

Хоча більша частина блокчейн-активності все ще знаходиться в межах Ethereum, різні блокчейни з часом набувають все більшої популярності. Наприклад, блокчейни рівня 2, Solana, Move та Біткойн екосистеми мають власний набір розробників та активності, що зростає, які також потребуватимуть послуг індексації.

Надання підтримка певним мережам, які не підтримуються іншими протоколами індексерів, може захопити більшу комісію за частку ринку. Індексація мереж з великою кількістю даних, таких як Solana, є непростим завданням, і лише Subsquid поки що вдалося забезпечити підтримка індексації для них.

Висновок

Незважаючи на широке впровадження індексаторів для розробки dApp, потенціал індексерів залишається величезним, особливо з інтеграцією штучного інтелекту. Оскільки штучний інтелект продовжує поширюватися як у Web2, так і в Web3, його здатність покращувати залежить від доступу до відповідних даних для навчання моделей і розробки агентів штучного інтелекту. Забезпечення цілісності даних має вирішальне значення для додатків штучного інтелекту, оскільки це запобігає передачі моделям упередженої або неточної інформації.

У сфері рішень для індексерів Subsquid продемонстрував значний прогрес у своїй продуктивності та показниках користувачів. Користувачі вже почали експериментувати з Subsquid, щоб створювати агентів штучного інтелекту, демонструючи універсальність і потенціал платформи в ландшафті індексації даних, що розвивається. Крім того, такі інструменти, як AutoAgora, полегшують індексаторам пропонувати динамічне ціноутворення для послуг запитів на The Graph за допомогою штучного інтелекту, тоді як SubQuery підтримує кілька мереж штучного інтелекту, таких як OriginTrail і Oraichain, для прозорого індексування даних.

Інтеграція штучного інтелекту з індексерами є перспективною для підвищення доступності та зручності використання даних в екосистемах блокчейну. Використовуючи технології штучного інтелекту, індексатори можуть забезпечити більш ефективний і точний пошук даних, дозволяючи розробникам створювати більш складні dApps та аналітичні інструменти. Оскільки штучний інтелект та індексери продовжують розвиватися разом, ми зберігаємо оптимізм щодо майбутнього індексування даних та його ролі у формуванні децентралізованого цифрового ландшафту.

Відмова від відповідальності:

1. Цю статтю передруковано з [medium]. Усі авторські права належать оригінальному автору [DFG Official]. Якщо є заперечення проти цього передруку, будь ласка, зв'яжіться з командою Gate Learn, і вони оперативно впораються з цим.
2. Відмова від відповідальності: Погляди та думки, висловлені в цій статті, належать виключно автору і не є жодною інвестиційною порадою.
3. Переклад статті на інші мови здійснює команда Gate Learn. Якщо не зазначено, копіювання, розповсюдження або плагіат перекладених статей заборонено.