В данной статье исследуется эволюция доступности данных блокчейна, сравниваются характеристики трех протоколов сервиса данных - The Graph, Chainbase и Space and Time - с точки зрения архитектуры и применения технологии искусственного интеллекта. Отмечается, что сервисы данных блокчейна развиваются в сторону повышенного интеллекта и безопасности и будут продолжать играть важную роль как основная инфраструктура в отрасли в будущем.

1. Введение

Начиная с первой волны dApps в 2017 году, включая Etheroll, ETHLend и CryptoKitties, мы теперь видим процветающее разнообразие финансовых, игровых и социальных dApps, основанных на различных блокчейнах. Обсуждая децентрализованные приложения на цепочке, мы когда-либо рассматривали источники различных данных, которые эти dApps используют в своих взаимодействиях?

В 2024 году основное внимание будет уделено искусственному интеллекту и Web3. В мире искусственного интеллекта данные являются источником жизненной силы для его роста и развития. Точно так же, как растения зависят от солнечного света и воды, чтобы процветать, системы ИИ зависят от огромных объемов данных, чтобы постоянно «учиться» и «думать». Без данных даже самые сложные алгоритмы искусственного интеллекта — это просто воздушные замки, неспособные реализовать задуманный интеллект и эффективность.

В этой статье анализируется эволюция индексации данных блокчейна с точки зрения доступности данных, сравнивая установленный протокол индексации данных The Graph с новыми протоколами сервиса данных блокчейна Chainbase и Space and Time. Особое внимание уделяется сходствам и различиям в услугах данных и архитектуре продукта между этими двумя новыми протоколами, которые включают технологию искусственного интеллекта.

2. Сложность и простота индекса данных: от узлов блокчейна до полной цепочки баз данных

2.1 Источники данных: узлы блокчейн

С того момента, когда мы начинаем понимать «что такое блокчейн», мы часто сталкиваемся с фразой: блокчейн - это децентрализованный реестр. Узлы блокчейна являются основой всей сети блокчейна, отвечая за запись, хранение и распространение всех данных транзакций в сети. Каждый узел обладает полной копией данных блокчейна, обеспечивая децентрализацию сети. Однако для обычных пользователей построение и поддержание узла блокчейна не является простой задачей. Это требует не только специализированных технических навыков, но также влечет за собой высокие затраты на оборудование и пропускную способность. Кроме того, возможности запросов обычных узлов ограничены, что затрудняет получение данных в формате, требуемом разработчиками. Поэтому, хотя теоретически любой может запустить собственный узел, на практике пользователи обычно полагаются на услуги сторонних поставщиков.

Для решения этой проблемы появились поставщики узлов RPC (удаленного вызова процедуры). Эти поставщики обрабатывают затраты и управление узлами и предоставляют данные через конечные точки RPC, позволяя пользователям получать доступ к данным блокчейна без создания собственных узлов. Публичные конечные точки RPC бесплатны, но имеют ограничения по скорости, что может негативно сказаться на пользовательском опыте dApps. Частные конечные точки RPC обеспечивают более высокую производительность за счет снижения перегрузки, но даже простой запрос данных требует значительного обмена сообщениями. Это делает их зависимыми от запросов и неэффективными для сложных запросов данных. Более того, частные конечные точки RPC часто сталкиваются с проблемами масштабируемости и несовместимостью с различными сетями. Однако стандартизированные интерфейсы API, предоставляемые поставщиками узлов, снижают барьеры для пользователей при доступе к данным цепи, заложив основу для последующего анализа данных и приложений.

2.2 Разбор данных: от необработанных данных к используемым данным

Данные, получаемые от узлов блокчейна, часто представляют собой сырые данные, которые были зашифрованы и закодированы. Хотя эти данные сохраняют целостность и безопасность блокчейна, их сложность повышает трудность разбора данных. Для обычных пользователей или разработчиков прямая работа с этими сырыми данными требует значительных технических знаний и вычислительных ресурсов.

В этом контексте процесс разбора данных становится особенно важным. Путем разбора сложных исходных данных и преобразования их в более понятные и управляемые форматы пользователи могут интуитивно понимать и использовать эти данные. Успех разбора данных напрямую влияет на эффективность и эффективность приложений для работы с блокчейн-данными, что делает его критическим шагом в целом процессе индексации данных.

2.3 Эволюция индексаторов данных

По мере увеличения объема данных блокчейна растет и спрос на индексаторы данных. Индексаторы играют ключевую роль в организации on-chain данных и их отправке в базы данных для упрощения запросов. Принцип работы индексатора заключается в индексации данных блокчейна и их быстром доступе через язык запросов, подобный SQL (например, через GraphQL API). Предоставляя унифицированный интерфейс для запросов данных, индексаторы позволяют разработчикам быстро и точно извлекать необходимую информацию с использованием стандартизированных языков запросов, что значительно упрощает процесс.

Различные типы индексаторов оптимизируют извлечение данных разными способами:

· Полные индексаторы узлов: Эти индексаторы запускают полные узлы блокчейна и напрямую извлекают данные из них, обеспечивая полноту и точность данных, но требуя значительного объема хранения и вычислительной мощности.

· Легковесные индексаторы: эти индексаторы полагаются на полные узлы для получения определенных данных по мере необходимости, что снижает требования к хранению, но может увеличить время запроса.

· Специализированные индексаторы: эти индексаторы фокусируются на конкретных типах данных или отдельных блокчейнах, оптимизируя извлечение для конкретных случаев использования, таких как данные NFT или транзакции DeFi.

· Агрегированные индексаторы: эти индексаторы извлекают данные из нескольких блокчейнов и источников, включая информацию вне цепи, обеспечивая унифицированный интерфейс запроса, что особенно полезно для многоцепных dApps.

В настоящее время архивный узел Ethereum в клиенте Geth в режиме архива занимает около 13,5 ТБ места для хранения, в то время как под клиентом Erigon требуется около 3 ТБ. По мере роста блокчейна требования к хранению данных для архивных узлов также будут увеличиваться. Сталкиваясь с такими огромными объемами данных, основные протоколы индексации поддерживают не только мультицепочную индексацию, но и настраивают фреймворки разбора данных, адаптированные к различным потребностям приложений. Например, фреймворк "субграф" The Graph является типичным примером.

Появление индексаторов значительно повышает эффективность индексации и запросов данных. По сравнению с традиционными конечными точками RPC, индексаторы могут эффективно индексировать большие объемы данных и поддерживать запросы высокой скорости. Эти индексаторы позволяют пользователям выполнять сложные запросы, легко фильтровать данные и анализировать их после извлечения. Кроме того, некоторые индексаторы поддерживают агрегацию источников данных из нескольких блокчейнов, избегая необходимости разворачивать несколько API в многоцепных dApps. За счет выполнения на распределенных узлах индексаторы обеспечивают более надежную безопасность и производительность, снижая риски прерываний и простоев, связанных с централизованными поставщиками RPC.

В отличие от этого, индексаторы позволяют пользователям получать необходимую информацию непосредственно с использованием заранее определенных языков запросов, не имея дела с базовыми сложными данными. Этот механизм значительно повышает эффективность и надежность извлечения данных, представляя собой важное новшество в доступе к данным блокчейна.

2.4 Full-Chain Databases: Выравнивание на Первую потоковую

Использование индексированных узлов для запроса данных обычно означает, что API становятся единственным шлюзом для обработки ончейн-данных. Однако, когда проект вступает в фазу масштабирования, ему часто требуются более гибкие источники данных, которые не могут обеспечить стандартизированные API. По мере того, как требования приложений становятся все более сложными, первичные индексаторы данных с их стандартизированными форматами индексирования постепенно испытывают трудности с удовлетворением все более разнообразных потребностей в запросах, таких как поиск, межсетевой доступ или сопоставление данных вне сети.

В современной архитектуре конвейера данных подход «сначала поток» стал решением ограничений традиционной пакетной обработки, позволяя принимать, обрабатывать и анализировать данные в режиме реального времени. Такая смена парадигмы позволяет организациям мгновенно реагировать на поступающие данные, получать ценную информацию и принимать решения практически мгновенно. Аналогичным образом, развитие поставщиков услуг данных блокчейна продвигается в направлении создания потоков данных блокчейна. Традиционные поставщики услуг индексирования последовательно запустили продукты, которые получают данные блокчейна в режиме реального времени через потоки данных, такие как The Graph's Substreams и Goldsky's Mirror, а также озера данных в реальном времени, такие как Chainbase и SubSquid, которые генерируют потоки данных на основе блокчейнов.

Эти сервисы направлены на удовлетворение потребности в мгновенном анализе транзакций блокчейна и предоставлении более полных возможностей для запросов. Точно так же, как «архитектура на основе потоковых данных» революционизирует обработку данных и потребление в традиционных потоках данных, сокращая задержку и повышая отзывчивость, поставщики потоков данных блокчейна также стремятся поддерживать разработку более широкого спектра приложений и помогать в анализе данных на цепочке через более продвинутые и зрелые источники данных.

Переопределив вызовы данных on-chain с точки зрения современных конвейеров данных, мы можем рассматривать управление, хранение и предоставление данных on-chain с новой стороны, реализуя их полный потенциал. Когда мы начинаем видеть субграфы и индексирующие службы Ethereum ETL как потоки данных внутри конвейера данных, а не в качестве конечных результатов, мы можем представить возможный мир, где высокопроизводительные наборы данных настраиваются для любого бизнес-кейса.

3. AI + Database? In-Depth Comparison of The Graph, Chainbase, and Space and Time

3.1 График

Сеть The Graph достигает индексации данных и запросов на многих цепях через децентрализованную сеть узлов, позволяя разработчикам удобно индексировать данные блокчейна и создавать децентрализованные приложения. Ее основными моделями продуктов являются рынок выполнения запросов данных и рынок кэширования индексов данных, оба из которых обслуживают потребности пользователей в запросах продуктов. Рынок выполнения запросов данных конкретно относится к потребителям, которые платят соответствующим индексным узлам за необходимые им данные, в то время как рынок кэширования индексов данных включает в себя выделение ресурсов индексными узлами на основе таких факторов, как историческая популярность индексации подграфов, собранные сборы за запросы и спрос от ончейн-кураторов на выходные подграфа.

Субграфы являются основными структурами данных в сети The Graph. Они определяют, как извлекать и преобразовывать данные из блокчейна в формат, доступный для запросов (например, схема GraphQL). Любой может создать субграф, и несколько приложений могут повторно использовать эти субграфы, повышая переиспользуемость данных и операционную эффективность.

Сеть Graph состоит из четырех ключевых ролей: Индексаторы, Делегаторы, Кураторы и Разработчики, все они работают вместе, чтобы обеспечить поддержку данных для приложений Web3. Их соответствующие обязанности следующие:

· Индексаторы: Индексаторы - это операторы узлов в сети The Graph, которые участвуют, ставя GRT (собственный токен The Graph). Они предоставляют услуги индексации и обработки запросов.

· Делегаторы: Делегаторы - это пользователи, которые ставят жетоны GRT для поддержки работы индексных узлов. Они получают часть вознаграждения на основе индексных узлов, к которым они делегируют.

· Кураторы: Кураторы отвечают за сигнализацию о том, какие подграфы должны быть проиндексированы сетью. Они помогают обеспечить приоритетную обработку ценных подграфов.

· Разработчики: В отличие от предыдущих трех ролей, разработчики являются потребителями и основными пользователями The Graph. Они создают и отправляют подграфы в сеть The Graph, ожидая удовлетворения своих потребностей в данных сетью.

3.1 График

The Graph теперь полностью перешла к децентрализованному хостингу субграфов, с экономическими стимулами, перетекающими между различными участниками для обеспечения работы системы:

· Награды индексаторов: Индексаторы получают доход от комиссий за запросы потребителей и части наград за блоки токена GRT.

· Награды делегаторов: Делегаторы получают долю наград от индексаторов, которых они поддерживают.

· Вознаграждение куратора: Если кураторы сообщают о ценных подграфах, они могут заработать часть платы за запросы.

Фактически, продукты The Graph быстро развиваются в волне искусственного интеллекта. В качестве одной из основных команд разработки в экосистеме The Graph, Semiotic Labs сосредоточилась на использовании технологии искусственного интеллекта для оптимизации ценообразования индексации и опыта запросов пользователей. В настоящее время инструменты, разработанные Semiotic Labs, такие как AutoAgora, Allocation Optimizer и AgentC, улучшают различные аспекты производительности экосистемы.

· AutoAgora внедряет динамический механизм ценообразования, который корректирует цены в реальном времени на основе объема запросов и использования ресурсов, оптимизируя стратегии ценообразования для обеспечения конкурентоспособности индексатора и максимизации выручки.

· Аллокатор оптимизации ресурсов решает сложные вопросы выделения ресурсов подграфа, помогая индексаторам достичь оптимальной конфигурации ресурсов для увеличения дохода и производительности.

· AgentC - это экспериментальный инструмент, который позволяет пользователям получать доступ к блокчейн-данным The Graph с использованием естественного языка, тем самым улучшая пользовательский опыт.

Применение этих инструментов позволило The Graph дополнительно улучшить интеллектуальность системы и удобство использования с помощью искусственного интеллекта.

3.2 Chainbase

Chainbase - это комплексная сеть данных, интегрирующая все данные блокчейна в единую платформу, что упрощает разработку и поддержку приложений для разработчиков. Его уникальные особенности включают:

· Озеро данных в реальном времени: Chainbase предоставляет озеро данных в реальном времени специально для потоков данных блокчейна, обеспечивая мгновенный доступ к данным по мере их генерации.

· Двухцепочечная архитектура: Chainbase построена на Eigenlayer AVS, создавая исполнительный слой, который работает параллельно с алгоритмом консенсуса CometBFT. Этот дизайн улучшает возможности программирования и компоновки данных межцепочечно, обеспечивая высокую пропускную способность, низкую задержку и окончательность, а также повышая безопасность сети с помощью двойной модели стейкинга.

· Инновационный стандарт формата данных: Chainbase представляет новый стандарт формата данных, называемый «рукописи», оптимизирующий структурирование и использование данных в криптоиндустрии.

· Cryptoworld Model: С помощью своих обширных ресурсов данных о блокчейне Chainbase объединяет технологию моделирования искусственного интеллекта для создания моделей искусственного интеллекта, которые эффективно понимают, предсказывают и взаимодействуют с транзакциями на блокчейне. Базовая модель, Theia, теперь доступна для общественного использования.

Эти функции выделяют Chainbase среди протоколов индексирования блокчейна, фокусируясь на доступности данных в реальном времени, инновационных форматах данных и создании более умных моделей через интеграцию on-chain и off-chain данных для улучшения инсайтов.

AI-модель Chainbase, Theia, - ключевая особенность, отличающая ее от других протоколов обслуживания данных. Основываясь на модели DORA от NVIDIA, Theia изучает и анализирует криптопаттерны, интегрируя данные с цепочки и вне ее вместе со спациотемпоральными активностями. Через причинно-следственное рассуждение она отвечает за углубление исследования потенциальной стоимости и паттернов данных с цепочки, предоставляя пользователям более интеллектуальные услуги данных.

AI-включенные службы данных превратили Chainbase из простой платформы для обслуживания блокчейн-данных в более конкурентоспособного поставщика интеллектуальных служб данных. Благодаря надежным ресурсам данных и активному анализу с применением искусственного интеллекта, Chainbase может предложить более широкие понимание данных и оптимизировать рабочие процессы обработки данных пользователей.

3.3 Пространство и Время

Space and Time (SxT) aims to create a verifiable computation layer that extends zero-knowledge proofs on a decentralized data warehouse, providing trustworthy data processing for smart contracts, large language models, and enterprises. Space and Time has recently secured $20 million in its latest Series A funding round, led by Framework Ventures, Lightspeed Faction, Arrington Capital, and Hivemind Capital.

В области индексации и верификации данных Space and Time внедряет новый технический подход — Proof of SQL. Это инновационная технология доказательства с нулевым разглашением (ZKP), разработанная компанией Space and Time, которая гарантирует, что SQL-запросы, выполняемые в децентрализованном хранилище данных, защищены от несанкционированного доступа и проверяемы. При выполнении запроса Proof of SQL создает криптографическое доказательство, которое проверяет целостность и точность результатов запроса. Это доказательство добавляется к результатам запроса, что позволяет любому верификатору (например, смарт-контрактам) независимо подтвердить, что данные не были изменены во время обработки. Традиционные блокчейн-сети обычно полагаются на механизмы консенсуса для проверки подлинности данных, в то время как Proof of SQL от Space and Time реализует более эффективный метод проверки данных. В частности, в системе Space and Time один узел отвечает за сбор данных, в то время как другие узлы используют технологию zk для проверки подлинности этих данных. Такой подход снижает потребление ресурсов несколькими узлами, избыточно индексируя одни и те же данные для достижения консенсуса, тем самым повышая общую производительность системы. По мере того, как эта технология развивается, она служит краеугольным камнем для традиционных отраслей, ориентированных на надежность данных, для создания продуктов на основе данных блокчейна.

В то же время SxT тесно сотрудничает с совместной инновационной лабораторией по искусственному интеллекту Microsoft, чтобы ускорить разработку инструментов генеративного искусственного интеллекта, позволяющих пользователям легко обрабатывать данные блокчейна с помощью естественного языка. В настоящее время в Space and Time Studio пользователи могут вводить запросы на естественном языке, и искусственный интеллект автоматически преобразует их в SQL и выполняет запрос от имени пользователя для представления необходимых конечных результатов.

3.4 Сравнение различий

4. Заключение и перспективы

В заключение, технология индексации данных блокчейна развивалась от исходных источников данных узлов через развитие парсинга данных и индексаторов до обслуживания полной цепи данных с поддержкой искусственного интеллекта, отмечая постепенный процесс улучшения. Это непрерывное развитие технологии не только повышает эффективность и точность доступа к данным, но и обеспечивает пользователям беспрецедентный интеллектуальный опыт.

Заглядывая в будущее, с продолжающимся развитием новых технологий, таких как искусственный интеллект и доказательства с нулевым разглашением, сервисы данных блокчейна станут еще более интеллектуальными и безопасными. У нас есть основания полагать, что сервисы данных блокчейна будут продолжать играть жизненно важную роль в качестве инфраструктуры, обеспечивая мощную поддержку прогресса и инноваций в отрасли.

Disclaimer：

1. Эта статья воспроизведена с [Trustless Labs], авторские права принадлежат оригинальному автору [Доверительные лаборатории], если у вас есть какие-либо возражения против перепечатки, пожалуйста, свяжитесь с Gate Learnкоманда, и команда обработает это как можно скорее в соответствии с соответствующими процедурами.

2. Отказ от ответственности: Взгляды и мнения, выраженные в этой статье, представляют только личные взгляды автора и не являются инвестиционным советом.

3. Другие языковые версии статьи переведены командой Gate Learn и не упоминаются в Gate.io, переведенная статья не может быть воспроизведена, распространена или совершена плагиат.