У цій статті досліджується еволюція доступності даних блокчейну, порівнюються характеристики трьох протоколів обслуговування даних — The Graph, Chainbase і Space and Time — з точки зору архітектури та додатків технологій штучного інтелекту. Зазначається, що сервіси даних блокчейну розвиваються в напрямку підвищення інтелекту та безпеки, і в майбутньому продовжуватимуть відігравати вирішальну роль як базова інфраструктура в галузі.

1. Вступ

Починаючи з першої хвилі dApps у 2017 році, включаючи Etheroll, ETHLend та CryptoKitties, ми тепер бачимо розмаїття фінансових, геймінгових та соціальних dApps, які базуються на різних блокчейнах. Коли ми говоримо про децентралізовані додатки на ланцюжку, ми коли-небудь задумувалися над джерелами різних даних, які ці dApps використовують у своїй взаємодії?

У 2024 році увага зосереджена на штучному інтелекті та Web3. У світі штучного інтелекту дані подібні до крові для його росту та еволюції. Точно так само, як рослини покладаються на сонячне світло та воду для процвітання, системи штучного інтелекту залежать від величезної кількості даних, щоб безперервно "вчитися" та "мислити". Без даних навіть найбільш вишукані алгоритми штучного інтелекту залишаються лише замріяними замками в повітрі, не в змозі розкрити свою призначену інтелектуальність та ефективність.

У цій статті аналізується еволюція індексації даних блокчейну з точки зору доступності даних, порівнюючи встановлений протокол індексації даних The Graph з новими протоколами блокчейн-сервісу даних Chainbase і Space and Time. Зокрема, досліджуються подібності та відмінності в послугах даних та архітектурі продуктів між цими двома новими протоколами, які включають технологію штучного інтелекту.

2. Складність і простота індексу даних: від вузлів блокчейну до повноланцюгової бази даних

2.1 Джерела даних: Вузли блокчейну

З того моменту, як ми починаємо розуміти «що таке блокчейн», ми часто стикаємося з фразою: блокчейн – це децентралізований реєстр. Вузли блокчейну є основою всієї блокчейн-мережі, відповідальною за запис, зберігання та розповсюдження всіх даних про транзакції в ланцюжку. Кожен вузол володіє повною копією даних блокчейну, що забезпечує децентралізацію мережі. Однак для звичайних користувачів створення та підтримка блокчейн-ноди є непростим завданням. Це вимагає не тільки спеціалізованих технічних навичок, але й вимагає великих витрат на обладнання та пропускну здатність. Крім того, можливості запитів звичайних вузлів обмежені, що ускладнює отримання даних у форматі, необхідному розробникам. Тому, хоча теоретично будь-хто може запустити власний вузол, на практиці користувачі, як правило, покладаються на сторонні сервіси.

Щоб вирішити цю проблему, з'явилися постачальники вузлів RPC (Remote Procedure Call). Ці постачальники займаються витратами та управлінням вузлами та пропонують дані через кінцеві точки RPC, дозволяючи користувачам отримувати доступ до даних блокчейну без створення власних вузлів. Публічні кінцеві точки RPC безкоштовні, але мають обмеження швидкості, що може негативно вплинути на користувацький досвід dApps. Приватні кінцеві точки RPC забезпечують кращу продуктивність за рахунок зменшення перевантажень, але навіть простий пошук даних вимагає значного зворотного зв'язку. Це робить їх важкими запитами та неефективними для складних запитів даних. Крім того, приватні кінцеві точки RPC часто стикаються з проблемами масштабованості та несумісністю з різними мережами. Однак стандартизовані інтерфейси API, що надаються постачальниками вузлів, знижують бар'єри для доступу користувачів до даних у ланцюжку, закладаючи основу для подальшого аналізу даних і додатків.

2.2 Розбір даних: від сирої інформації до корисних даних

Отримані дані від вузлів блокчейну часто є необробленими даними, які були зашифровані та закодовані. Хоча ці дані зберігають цілісність та безпеку блокчейну, складність їх обробки збільшує складність розбору даних. Для звичайних користувачів або розробників пряма робота з цими необробленими даними вимагає значних технічних знань та обчислювальних ресурсів.

В цьому контексті процес розбору даних стає особливо важливим. Шляхом розбору складних вихідних даних і перетворення їх у більш зрозумілі та придатні для роботи формати користувачі можуть інтуїтивно розуміти та використовувати ці дані. Успіх розбору даних безпосередньо впливає на ефективність та результативність застосування блокчейн даних, що робить його критичним етапом у всьому процесі індексації даних.

2.3 Еволюція індексаторів даних

Зі збільшенням обсягу даних блокчейну зросла і потреба в індексаторах даних. Індексатори відіграють важливу роль в організації даних on-chain та їх відправці до баз даних для легкого запитання. Робочий принцип індексатора полягає в індексації даних блокчейну та забезпеченні їх легкого доступу за допомогою мови запитів подібної до SQL (такої як GraphQL APIs). Забезпечуючи уніфікований інтерфейс для запитання даних, індексатори дозволяють розробникам швидко та точно отримувати необхідну інформацію за допомогою стандартизованих мов запитів, що значно спрощує процес.

Різні типи індексаторів оптимізують витяг даних по-різному:

· Повні індексатори вузлів: Ці індексатори запускають повні вузли блокчейну та безпосередньо витягають дані з них, забезпечуючи повноту та точність даних, але потребують значного обсягу зберігання та обробки.

· Легкі індексатори: Ці індексатори покладаються на повні вузли, щоб отримувати певні дані за потреби, зменшуючи вимоги до зберігання, але, можливо, збільшуючи час запиту.

· Спеціалізовані індексатори: Ці індексатори фокусуються на конкретних типах даних або певних блокчейнах, оптимізуючи витяг для конкретних випадків використання, таких як дані NFT або транзакції DeFi.

· Агреговані індексатори: Ці індексатори витягують дані з кількох блокчейнів та джерел, включаючи інформацію поза ланцюжком, забезпечуючи єдиний інтерфейс запиту, що особливо корисний для додатків з багатьох ланцюжків.

В даний час архівний вузол Ethereum в клієнті Geth в режимі архіву займає близько 13,5 ТБ місця для зберігання, в той час як в клієнті Erigon вимога до архіву становить близько 3 ТБ. У міру того, як блокчейн продовжує зростати, вимоги до зберігання даних для архівних вузлів також будуть зростати. Перед обличчям таких величезних обсягів даних основні протоколи індексування не тільки підтримують багатоланцюгову індексацію, але й налаштовують фреймворки аналізу даних, адаптовані до різних потреб у даних додатків. Наприклад, типовим прикладом є структура «підграфа» The Graph.

Поява індексаторів значно підвищує ефективність індексації даних і запитів. У порівнянні з традиційними кінцевими точками RPC, індексери можуть ефективно індексувати великі обсяги даних і підтримувати високошвидкісні запити. Ці індексатори дозволяють користувачам виконувати складні запити, легко фільтрувати дані та аналізувати їх після вилучення. Крім того, деякі індексери підтримують агрегування джерел даних з кількох блокчейнів, уникаючи необхідності розгортання кількох API в багатоланцюгових dApps. Працюючи розподілено між кількома вузлами, індексери забезпечують надійнішу безпеку та продуктивність, одночасно зменшуючи ризики переривань і простоїв, пов'язаних із централізованими постачальниками RPC.

Напротив, індексатори дозволяють користувачам отримувати необхідну інформацію безпосередньо за допомогою попередньо визначених мов запитів, не займаючись складними підлежащими даними. Цей механізм значно покращує ефективність та надійність отримання даних, що представляє важливий інноваційний аспект в доступі до даних блокчейну.

2.4 Бази даних повного ланцюжка: спрямованість на стрімінг в першу чергу

Використання індексованих вузлів для запиту даних зазвичай означає, що API стають єдиним шлюзом для перетравлення даних у ланцюжку. Однак, коли проєкт переходить у фазу масштабування, він часто вимагає більш гнучких джерел даних, які стандартизовані API не можуть забезпечити. У міру того, як вимоги до додатків стають все більш складними, індексатори первинних даних з їх стандартизованими форматами індексації поступово намагаються задовольнити все більш різноманітні потреби запитів, такі як пошук, крос-чейн доступ або відображення даних поза мережею.

У сучасній архітектурі потоків даних «спочатку потік» став рішенням обмежень традиційної пакетної обробки, що дозволяє реальний час надходження, обробки та аналізу даних. Цей зсув парадигми дозволяє організаціям негайно реагувати на надходження даних, отримувати інсайти та приймати рішення майже миттєво. Так само розвиток постачальників послуг даних блокчейну просувається до створення потоків даних блокчейну. Традиційні постачальники індексаційних послуг послідовно запустили продукти, які отримують реальний час блокчейну через потоки даних, такі як Substreams від The Graph та Mirror від Goldsky, а також реальні озера даних, такі як Chainbase та SubSquid, що генерують потоки даних на основі блокчейнів.

Ці послуги спрямовані на задоволення попиту на реальний час розбору транзакцій у блокчейні та надання більш повного можливостей запитування. Точно так само, як архітектура “спочатку потік” революціонізує обробку даних та споживання в традиційних конвеєрах даних шляхом зменшення затримки та підвищення реагування, ці постачальники потокових даних блокчейн також прагнуть підтримувати розвиток більшої кількості додатків та допомагати в аналізі даних on-chain за допомогою більш розвинених та зрілих джерел даних.

Переосмислюючи виклики пов'язані з даними on-chain з точки зору сучасних потоків даних, ми можемо розглядати управління, збереження та надання даних on-chain з нового ракурсу, реалізовуючи їх повний потенціал. Коли ми починаємо бачити субграфи та індексні сервіси Ethereum ETL як потоки даних в рамках конвеєра даних, а не як кінцеві вихідні дані, ми можемо уявити можливий світ, де високопродуктивні набори даних налаштовані під будь-який бізнес-випадок.

3. Штучний інтелект + База даних? Глибинне порівняння The Graph, Chainbase та Space and Time

3.1 Графік

Мережа Graph забезпечує багатоланцюгові послуги індексування даних і запитів через децентралізовану мережу вузлів, що дозволяє розробникам зручно індексувати дані блокчейну та створювати децентралізовані програми. Його основні моделі продуктів включають ринок виконання запитів на дані та ринок кешу індексування даних, обидва з яких задовольняють потреби користувачів у запитах до продукту. Ринок виконання запитів даних конкретно відноситься до споживачів, які платять відповідним індексним вузлам за потрібні їм дані, тоді як ринок кешу індексування даних передбачає розподіл індексних вузлів на основі таких факторів, як історична індексація, популярність підграфів, зібрані комісії за запити та попит з боку ончейн-кураторів на виходи підграфів.

Субграфи - це основні структури даних у мережі The Graph. Вони визначають, як видобувати та перетворювати дані з блокчейну в запитуваний формат (наприклад, схему GraphQL). Будь-хто може створити субграф, і кілька додатків можуть повторно використовувати ці субграфи, підвищуючи повторне використання даних та ефективність роботи.

Мережа Graph складається з чотирьох ключових ролей: Індексатори, Делегати, Куратори та Розробники, які всі разом працюють, щоб забезпечити підтримку даних для додатків Web3. Їхні обов'язки відповідно такі:

· Індексатори: Індексатори - це оператори вузлів у мережі The Graph, які беруть участь, заставляючи GRT (власний токен The Graph). Вони надають послуги індексування та обробки запитів.

· Делегатори: Делегатори - це користувачі, які ставлять токени GRT для підтримки роботи індексних вузлів. Вони отримують частину винагороди на основі індексних вузлів, до яких вони делегують.

· Куратори: Куратори відповідають за сигналізацію, які підграфи мають бути індексовані мережею. Вони допомагають забезпечити пріоритетність цінних підграфів для обробки.

· Розробники: На відміну від попередніх трьох ролей, Розробники є стороною попиту і основними користувачами The Graph. Вони створюють і надсилають підграфи в мережу The Graph, чекаючи, коли мережа задовольнить їх потреби в даних.

3.1 Графік

Граф тепер повністю перейшов до децентралізованої служби хостингу субграфів, з економічними стимулами, що переходять між різними учасниками, щоб забезпечити роботу системи:

· Винагороди для індексаторів: Індексатори заробляють дохід через витрати споживачів на запити та частину блокових винагород у токенах GRT.

· Нагороди делегатора: Делегатори отримують частку винагород від індексаторів, яких вони підтримують.

· Винагороди куратора: Якщо куратори сигналізують процінні субграфи, вони можуть заробити частину оплати за запит.

Насправді, продукти The Graph швидко розвиваються в хвилі штучного інтелекту. Як одна з основних команд розробників у екосистемі The Graph, Semiotic Labs зосереджується на використанні технології штучного інтелекту для оптимізації ціноутворення і взаємодії користувача. Наразі, інструменти, розроблені Semiotic Labs, такі як AutoAgora, Allocation Optimizer і AgentC, покращують різні аспекти продуктивності екосистеми.

· AutoAgora впроваджує динамічний механізм ціноутворення, який коригує ціни в реальному часі на основі обсягу запитів та використання ресурсів, оптимізуючи стратегії ціноутворення для забезпечення конкурентоспроможності індексатора та максимізації доходів.

· Оптимізатор розподілу ресурсів вирішує складні питання розподілу ресурсів підграфа, допомагаючи індексаторам досягти оптимальної конфігурації ресурсів для підвищення доходу та продуктивності.

· AgentC - це експериментальний інструмент, що дозволяє користувачам отримувати доступ до блокчейн-даних The Graph за допомогою природної мови, тим самим покращуючи користувацький досвід.

Застосування цих інструментів дозволило The Graph ще більше підвищити системний інтелект і зручність для користувача за допомогою штучного інтелекту.

3.2 Ланцюгова база

Chainbase - це всеосяжна мережа даних, яка інтегрує всі дані блокчейну в одну платформу, що полегшує розробку та підтримку програм. Його унікальні особливості включають:

· Real-time Data Lake: Chainbase надає реальний час озера даних спеціально для потоків даних блокчейну, дозволяючи миттєвий доступ до даних в той час як вони генеруються.

· Дволанцюгова архітектура: Chainbase побудована на Eigenlayer AVS, створюючи шар виконання, який працює паралельно з алгоритмом консенсусу CometBFT. Цей дизайн покращує програмованість та складність міжланцюжкових даних, підтримуючи високу продуктивність, низьку затримку та окончательність, покращуючи при цьому безпеку мережі за допомогою моделі подвійного стейкінгу.

· Інноваційний стандарт формату даних: Chainbase вводить новий стандарт формату даних, який називається "рукописи", що оптимізує структуризацію та використання даних у криптовалютній індустрії.

· Модель криптосвіту: Завдяки своїм великим ресурсам даних блокчейну, Chainbase поєднує технологію моделей штучного інтелекту для створення моделей штучного інтелекту, які ефективно розуміють, передбачають і взаємодіють з транзакціями блокчейну. Базова модель, Theia, тепер доступна для загального використання.

Ці функції виділяють Chainbase у протоколах індексації блокчейну, зосереджуючись на доступності даних у режимі реального часу, інноваційних форматах даних та створенні розумніших моделей за допомогою інтеграції ончейн та офчейн даних для покращення розуміння.

Модель штучного інтелекту Chainbase, Theia, є ключовою особливістю, яка відрізняє її від інших протоколів обслуговування даних. На основі моделі NVIDIA DORA, Theia вивчає та аналізує криптографічні патерни, інтегруючи дані on-chain та off-chain разом з просторово-часовою активністю. Через причинно-наслідкове мислення він реагує на узагальнення потенційної цінності та патернів on-chain даних, надаючи користувачам більш інтелектуальні послуги з обробки даних.

Сервиси з обробки даних, що використовують штучний інтелект, перетворили Chainbase з простої платформи обробки даних блокчейну у більш конкурентоспроможного постачальника розумних послуг з обробки даних. Завдяки потужним даним та активному аналізу штучного інтелекту, Chainbase може надавати більш широкі даними інсайти та оптимізувати робочі процеси обробки даних користувачів.

3.3 Простір та час

Space and Time (SxT) має на меті створити перевірений обчислювальний рівень, який розширює докази з нульовим розголошенням на децентралізованому сховищі даних, забезпечуючи надійну обробку даних для смарт-контрактів, великих мовних моделей і підприємств. Space and Time нещодавно залучила 20 мільйонів доларів у своєму останньому раунді фінансування серії А, який очолюють Framework Ventures, Lightspeed Faction, Arrington Capital та Hivemind Capital.

У сфері індексування та верифікації даних Space and Time вводить новий технічний підхід — Proof of SQL. Це інноваційна технологія доказу з нульовим розголошенням (ZKP), розроблена Space and Time, яка гарантує, що SQL-запити, виконані в децентралізованому сховищі даних, захищені від несанкціонованого доступу та перевіряються. Коли запит виконується, Proof of SQL генерує криптографічний доказ, який перевіряє цілісність і точність результатів запиту. Цей доказ додається до результатів запиту, що дозволяє будь-якому верифікатору (наприклад, смарт-контрактам) незалежно підтвердити, що дані не були підроблені під час обробки. Традиційні блокчейн-мережі зазвичай покладаються на механізми консенсусу для перевірки автентичності даних, тоді як Space and Time's Proof of SQL реалізує більш ефективний метод перевірки даних. Зокрема, в системі простору і часу один вузол відповідає за збір даних, тоді як інші вузли використовують технологію zk для перевірки автентичності цих даних. Цей підхід зменшує споживання ресурсів кількома вузлами, які надмірно індексують одні й ті самі дані для досягнення консенсусу, тим самим підвищуючи загальну продуктивність системи. У міру того, як ця технологія розвивається, вона служить наріжним каменем для традиційних галузей, які зосереджуються на надійності даних для створення продуктів на основі даних блокчейну.

У той же час SxT тісно співпрацює зі спільною інноваційною лабораторією штучного інтелекту Microsoft, щоб прискорити розробку генеративних інструментів штучного інтелекту, що дозволяють користувачам легко обробляти дані блокчейну за допомогою природної мови. В даний час в Space and Time Studio користувачі можуть вводити запити природною мовою, а штучний інтелект автоматично перетворює їх в SQL і виконує запит від імені користувача, щоб представити необхідні кінцеві результати.

3.4 Порівняння відмінностей

4. Висновок та перспективи

Таким чином, технологія індексації даних блокчейну еволюціонувала від початкових джерел даних вузлів через розробку аналізу даних та індексаторів даних до повноланцюгового сервісу даних із підтримкою штучного інтелекту, що знаменує поступовий процес удосконалення. Цей безперервний розвиток технологій не тільки підвищує ефективність і точність доступу до даних, але й надає користувачам безпрецедентний інтелектуальний досвід.

Подивімося вперед, з постійним розвитком нових технологій, таких як штучний інтелект та докази нульового знання, послуги з обробки блокчейн-даних стануть ще більш інтелектуальними та безпечними. Ми маємо підстави вважати, що послуги з обробки блокчейн-даних продовжать відігравати важливу роль як інфраструктура, забезпечуючи міцну підтримку для прогресу та інновацій в галузі.

Відмова від відповідальності:

1. Цю статтю відтворено з [Надійні Лабораторії], авторське право належить оригінальному авторові [Лабораторії без довіри], якщо у вас є будь-які заперечення щодо передруку, будь ласка, зв'яжіться з Gate Learn команда, і команда впорається з цим у найкоротші терміни згідно з відповідними процедурами.

2. Попередження: Погляди та думки, висловлені в цій статті, представляють лише особисті погляди автора і не становлять жодної інвестиційної поради.

3. Інші мовні версії статті перекладені командою Gate Learn і не згадуються в Gate.ioПерекладена стаття не може бути відтворена, поширена або скопійована.