読み取りとインデックス作成から分析まで、Web3データインデックス化トラックを簡単に要約します

中級Sep 27, 2024
この記事では、ブロックチェーンデータのアクセシビリティの開発プロセスについて探求し、3つのデータサービスプロトコル、The Graph、Chainbase、およびSpace and TimeのアーキテクチャとAIテクノロジーの応用特性を比較し、ブロックチェーンデータサービスは知能化とセキュリティへの方向性を持ち、将来的には産業インフラとして重要な役割を果たし続けることを指摘しています。
読み取りとインデックス作成から分析まで、Web3データインデックス化トラックを簡単に要約します

この記事では、ブロックチェーンデータのアクセシビリティの進化を探り、アーキテクチャとAI技術の応用の観点から、3つのデータサービスプロトコル(The Graph、Chainbase、Space and Time)の特徴を比較しています。ブロックチェーンデータサービスは、知能とセキュリティの向上に向けて進化しており、将来的にも業界の基盤インフラとして重要な役割を果たし続けることを指摘しています。

1. Introduction

2017年の最初のdAppsの波を皮切りに、Etheroll、ETHLend、CryptoKittiesを含むさまざまな金融、ゲーム、ソーシャルdAppsが、さまざまなブロックチェーンに基づいて繁栄しているのが見て取れます。分散型オンチェーンアプリケーションについて議論する際、これらのdAppsが相互作用に利用するさまざまなデータのソースを考慮したことがありますか?

2024年は、AIとWeb3に焦点が当てられています。人工知能の世界では、データは成長と進化のための生命線のようなものです。植物が日光と水に頼って繁栄するように、AIシステムは膨大な量のデータに依存して、常に「学び」、「考える」ことができます。データがなければ、最も洗練されたAIアルゴリズムでさえ空中の城にすぎず、意図した知能と効果を発揮することができません。

この記事では、データのアクセシビリティの観点から、確立されたデータインデックスプロトコルThe Graphと新興のブロックチェーンデータサービスプロトコルChainbaseおよびSpace and Timeを比較し、ブロックチェーンデータインデックスの進化を分析しています。特に、AI技術を取り入れたこれら2つの新しいプロトコル間のデータサービスと製品アーキテクチャの類似点と相違点を探っています。

2. データインデックスの複雑さと単純さ:ブロックチェーンノードからフルチェーンデータベースへ

2.1 データソース:ブロックチェーンノード

「ブロックチェーンとは何か」を理解し始めた瞬間から、「ブロックチェーンは分散型台帳である」という言葉によく出くわします。ブロックチェーンノードは、ブロックチェーンネットワーク全体の基盤であり、すべてのオンチェーントランザクションデータを記録、保存、および配布する責任があります。各ノードはブロックチェーンデータの完全なコピーを所有しており、ネットワークの分散化を保証します。しかし、一般ユーザーにとって、ブロックチェーンノードの構築と維持は簡単な作業ではありません。これには、専門的な技術スキルだけでなく、ハードウェアと帯域幅のコストも高くなります。さらに、通常のノードのクエリ機能は限られているため、開発者が必要とする形式でデータを取得することは困難です。したがって、理論的には誰でも自分のノードを実行できますが、実際には、ユーザーはサードパーティのサービスに依存する傾向があります。

この問題に対処するために、RPC(リモートプロシージャコール)ノードプロバイダーが登場しました。これらのプロバイダーは、ノードのコストと管理を処理し、RPCエンドポイントを介してデータを提供することで、ユーザーが独自のノードを構築することなくブロックチェーンデータにアクセスできるようにします。パブリックRPCエンドポイントは無料ですが、レート制限があり、dAppsのユーザーエクスペリエンスに悪影響を与える可能性があります。プライベート RPC エンドポイントは、輻輳を軽減することでパフォーマンスを向上させますが、単純なデータ取得でも、かなりのやり取りが必要です。これにより、要求が重くなり、複雑なデータ クエリに対して非効率的になります。さらに、プライベート RPC エンドポイントは、多くの場合、スケーラビリティの課題に直面し、異なるネットワーク間での互換性に欠けます。しかし、ノードプロバイダーが提供する標準化されたAPIインターフェースは、ユーザーがオンチェーンデータにアクセスするための障壁を下げ、その後のデータ解析やアプリケーションの基礎を築きます。

2.2 データの解析:生データから利用可能なデータへ

ブロックチェーンノードから取得されるデータは、多くの場合、暗号化およびエンコードされた生データです。このデータはブロックチェーンの整合性とセキュリティを維持しますが、その複雑さによりデータ解析の難しさが増します。一般のユーザーや開発者にとって、この生データを直接扱うには、かなりの技術的知識と計算リソースが必要です。

この文脈では、データの解析プロセスが特に重要になります。複雑な生データを解析し、より理解しやすい操作可能な形式に変換することで、ユーザーは直感的にこのデータを理解し、利用することができます。データの解析の成功は、ブロックチェーンデータアプリケーションの効率と効果に直接影響を与え、全体のデータインデックスプロセスにおける重要なステップとなります。

2.3 データインデクサの進化

ブロックチェーンデータの量が増加するにつれて、データインデクサーの需要も高まっています。インデクサーは、オンチェーンデータを整理し、データベースに送信して簡単にクエリできるようにする上で重要な役割を果たします。インデクサーの動作原理は、ブロックチェーン データのインデックスを作成し、SQL に似たクエリ言語 (GraphQL API など) を介してすぐに利用できるようにすることです。インデクサーは、データをクエリするための統一されたインターフェイスを提供することで、開発者が標準化されたクエリ言語を使用して必要な情報を迅速かつ正確に取得できるようにし、プロセスを大幅に簡素化します。

異なる種類のインデクサは、さまざまな方法でデータの取得を最適化します:

· 完全なノードインデクサー:これらのインデクサーは完全なブロックチェーンノードを実行し、それらからデータを直接抽出してデータの完全性と正確性を確保しますが、大量のストレージと処理能力が必要です。

· 軽量インデクサー:これらのインデクサーは必要に応じて特定のデータを取得するためにフルノードに依存し、ストレージ要件を削減しますが、クエリ時間を増加させる可能性があります。

· 特化したインデクサー:これらのインデクサーは特定の種類のデータや特定のブロックチェーンに焦点を当てており、NFTデータやDeFi取引などの特定のユースケースにおいて、取得を最適化しています。

· AggreGated Indexers:これらのインデクサーは、オフチェーン情報を含む複数のブロックチェーンやソースからデータを抽出し、統一されたクエリインターフェースを提供します。これは特にマルチチェーンのdAppsにとって便利です。

現在、GethクライアントのEthereumアーカイブノードはアーカイブモードで約13.5 TBのストレージスペースを占有しています。一方、Erigonクライアントではアーカイブの要件は約3 TBです。ブロックチェーンが成長し続けるにつれて、アーカイブノードのデータストレージ要件も増加します。このような膨大なデータに対して、主要なインデックスプロトコルはマルチチェーンインデックスをサポートするだけでなく、異なるアプリケーションデータのニーズに合わせたデータ解析フレームワークをカスタマイズすることもあります。例えば、The Graphの「サブグラフ」フレームワークは典型的な例です。

インデクサーの出現は、データのインデックス作成およびクエリの効率を大幅に向上させます。従来のRPCエンドポイントと比較して、インデクサーは大量のデータを効率的にインデックス化し、高速クエリをサポートできます。これらのインデクサーは、ユーザーが複雑なクエリを実行し、データを簡単にフィルタリングし、抽出後に解析することを可能にします。さらに、一部のインデクサーは複数のブロックチェーンからのデータソースを集約することをサポートしており、マルチチェーンのDAppで複数のAPIを展開する必要がなくなります。複数のノードに分散して実行されることで、インデクサーは中央集権的なRPCプロバイダーに関連する中断やダウンタイムのリスクを減らしながら、より強固なセキュリティとパフォーマンスを提供します。

一方、インデクサーは、事前定義されたクエリ言語を使用して、基本的な複雑なデータを扱わずに、ユーザーが必要な情報を直接取得できるようにします。このメカニズムは、データの検索の効率と信頼性を大幅に向上させ、ブロックチェーンデータアクセスの重要なイノベーションを表しています。

2.4 フルチェーンデータベース: ストリーミングファーストに向けた整列

インデックス付きノードを使用してデータをクエリすると、通常、APIはオンチェーンデータを消化する唯一のゲートウェイとなります。ただし、プロジェクトがスケーリングフェーズに入ると、標準化されたAPIでは提供できないような柔軟なデータソースがしばしば必要となります。アプリケーションの要求がより複雑になるにつれて、標準化されたインデックスフォーマットを持つ主要なデータインデクサーは、検索、クロスチェーンアクセス、またはオフチェーンデータマッピングなど、ますます多様なクエリニーズに対応するのに次第に苦労することがあります。

In modern data pipeline architecture, a “stream-first” approach has become a solution to the limitations of traditional batch processing, enabling real-time data ingestion, processing, and analysis. This paradigm shift allows organizations to respond immediately to incoming data, yielding insights and making decisions almost instantaneously. Similarly, the development of blockchain data service providers is progressing toward constructing blockchain data streams. Traditional indexing service providers have successively launched products that obtain real-time blockchain data through data streams, such as The Graph’s Substreams and Goldsky’s Mirror, as well as real-time data lakes like Chainbase and SubSquid that generate data streams based on blockchains.

これらのサービスは、ブロックチェーントランザクションのリアルタイム解析の需要を満たすことを目指し、より包括的なクエリ機能を提供します。伝統的なデータパイプラインにおいて「ストリームファースト」アーキテクチャがレイテンシを低減し、応答性を向上させることでデータ処理と消費を革新しているように、これらのブロックチェーンデータストリームプロバイダもより高度で成熟したデータソースを通じたより多くのアプリケーションの開発とオンチェーンデータ分析の支援を目指しています。

最新のデータパイプラインの観点からオンチェーンデータの課題を再定義することで、オンチェーンデータの管理、保存、提供を新しい角度から捉え、その可能性を最大限に引き出すことができます。サブグラフやイーサリアムETLインデックスサービスを、最終的なアウトプットではなく、データパイプライン内のデータストリームとして捉え始めると、高性能なデータセットがあらゆるビジネスユースケースに合わせて調整される世界を思い描くことができます。

3. AI + データベース?The Graph、Chainbase、Space and Timeの詳細な比較

3.1 ザ グラフ

Graphネットワークは、ノードの分散型ネットワークを通じてマルチチェーンデータのインデックス作成とクエリサービスを実現し、開発者がブロックチェーンデータのインデックス作成と分散型アプリケーションの構築を便利に行えるようにします。主な製品モデルには、データクエリ実行市場とデータインデックスキャッシュ市場があり、どちらもユーザーの製品クエリのニーズに応えます。データクエリ実行市場は、特に消費者が必要なデータに対して適切なインデックスノードを支払うことを指し、データインデックスキャッシュ市場は、サブグラフの過去のインデックス作成の人気、収集されたクエリ料金、サブグラフ出力に対するオンチェーンキュレーターからの需要などの要因に基づいてリソースを割り当てるインデックスノードを含みます。

サブグラフはThe Graphネットワーク内の基本的なデータ構造です。これらはブロックチェーンからデータを抽出し変換して問い合わせ可能な形式(例:GraphQLスキーマ)にする方法を定義します。誰でもサブグラフを作成でき、複数のアプリケーションがこれらのサブグラフを再利用することができ、データの再利用性と運用効率が向上します。

The Graph network consists of four key roles: Indexers, Delegators, Curators, and Developers, all of which work together to provide data support for Web3 applications. Their respective responsibilities are as follows:

· インデクサー: インデクサーとは、The Graphネットワーク内のノードオペレーターであり、GRT(The Graphのネイティブトークン)をステーキングして参加します。彼らはインデックス作成およびクエリ処理サービスを提供します。

·デリゲーター:デリゲーターは、インデックスノードの運用をサポートするためにGRTトークンをステークするユーザーです。彼らは、deleGateしたインデックスノードに基づいて報酬の一部を獲得します。

· キュレーター:キュレーターは、ネットワークがインデックス化すべきサブグラフをシグナリングする責任があります。彼らは、価値のあるサブグラフが処理の優先順位になるように支援します。

· 開発者:前の3つの役割とは異なり、開発者は需要側であり、The Graphの主要なユーザーです。彼らはThe Graphネットワークにサブグラフを作成して提出し、ネットワークがデータのニーズを満たすのを待ちます。

3.1 ザ グラフ

The Graphは、経済的なインセンティブが異なる参加者間で流れることにより、完全に分散化されたサブグラフホスティングサービスに移行しました。これにより、システムの運用が確保されます。

· インデクサー報酬:インデクサーは、消費者のクエリ料金と一部のGRTトークンブロック報酬を通じて収入を得ます。

·デリゲーターリワード:デリゲーターは、サポートするインデクサーからリワードの一部を受け取ります。

· キュレーター報酬: キュレーターが価値のあるサブグラフをシグナルすると、クエリ料金の一部を獲得することができます。

実際、The Graphの製品はAIの波の中で急速に進化しています。Semiotic Labsは、The Graphエコシステムの中核開発チームの1つとして、AI技術を活用してインデックス作成の価格設定とユーザークエリ体験を最適化することに注力してきました。現在、AutoAgora、Allocation Optimizer、AgentCなど、Semiotic Labsによって開発されたツールは、エコシステムのパフォーマンスのさまざまな側面を強化しています。

·AutoAgoraは、クエリ量とリソース使用量に基づいてリアルタイムで価格を調整する動的価格設定メカニズムを導入し、価格戦略を最適化してインデクサーの競争力を確保し、収益を最大化します。

・ Allocation Optimizerは、サブグラフリソースの割り当ての複雑な問題に対処し、インデクサーが最適なリソース構成を達成し、収益とパフォーマンスを向上させるのを支援します。

・AgentCは、自然な言語を使用してThe Graphのブロックチェーンデータにアクセスすることができる実験的なツールであり、これによりユーザーエクスペリエンスが向上します。

これらのツールの適用により、The GraphはAIの支援によってシステムの知能と使いやすさをさらに向上させることができました。

3.2 Chainbase

Chainbaseは、すべてのブロックチェーンデータを1つのプラットフォームに統合する包括的なデータネットワークであり、開発者がアプリケーションを構築および維持しやすくします。そのユニークな特徴には次のものがあります:

・リアルタイムデータレイク:Chainbaseは、ブロックチェーンデータストリームに特化したリアルタイムデータレイクを提供し、データが生成されるとすぐにアクセスできるようにします。

·デュアルチェーンアーキテクチャ:ChainbaseはEigenlayer AVS上に構築されており、CometBFTのコンセンサスアルゴリズムと並行して実行される実行レイヤーを作成します。この設計により、クロスチェーンデータのプログラマビリティとコンポーザビリティが向上し、高スループット、低レイテンシ、ファイナリティをサポートすると同時に、デュアルステーキングモデルによってネットワークセキュリティが向上します。

· 革新的なデータフォーマット標準:Chainbaseは、「手稿」と呼ばれる新しいデータフォーマット標準を導入し、暗号通貨業界のデータの構造化と利用を最適化します。

· Cryptoworld Model:Chainbaseは、豊富なブロックチェーンデータリソースを活用し、AIモデル技術を組み合わせて、ブロックチェーン取引を効果的に理解し、予測し、相互作用するAIモデルを作成します。基本モデルであるTheiaは、現在一般公開されています。

これらの機能は、リアルタイムデータのアクセシビリティ、革新的なデータ形式、およびオンチェーンとオフチェーンデータの統合によるスマートなモデルの作成を重視したブロックチェーンのインデックス化プロトコルであるChainbaseを特徴づけています。これにより洞察力を高めるために、データへのアクセスが向上します。

ChainbaseのAIモデルであるTheiaは、他のデータサービスプロトコルとは異なる重要なハイライトです。NVIDIAのDORAモデルに基づいて、Theiaは、オンチェーンおよびオフチェーンのデータと時空間活動を統合し、暗号パターンを学習および分析します。因果関係に基づいて、オンチェーンデータの潜在的な価値とパターンの探索を深め、ユーザーによりインテリジェントなデータサービスを提供します。

AI-enabledデータサービスにより、Chainbaseは単なるブロックチェーンデータサービスプラットフォームから、より競争力のあるインテリジェントデータサービスプロバイダーに変貌しました。堅牢なデータリソースと積極的なAI分析により、Chainbaseはより広範なデータインサイトを提供し、ユーザーのデータ処理ワークフローを最適化できます。

3.3 スペースと時間

Space and Time(SxT)は、分散型データウェアハウス上のゼロ知識証明を拡張し、スマートコントラクト、大規模言語モデル、企業向けの信頼性のあるデータ処理を提供する検証可能な計算レイヤーを作成することを目指しています。Space and Timeは、最新のシリーズAラウンドでFramework Ventures、Lightspeed Faction、Arrington Capital、Hivemind Capitalをリード投資家として2,000万ドルを調達しました。

データのインデックス作成と検証の分野では、Space and Time は新しい技術的アプローチである Proof of SQL を導入しています。これは、Space and Timeによって開発された革新的なゼロ知識証明(ZKP)テクノロジーであり、分散型データウェアハウスで実行されるSQLクエリが改ざん防止され、検証可能であることを保証します。クエリが実行されると、Proof of SQL によって、クエリ結果の整合性と正確性を検証する暗号化証明が生成されます。この証明はクエリ結果に追加されるため、検証者(スマートコントラクトなど)は、処理中にデータが改ざんされていないことを個別に確認できます。従来のブロックチェーンネットワークは通常、データの真正性を検証するためにコンセンサスメカニズムに依存していますが、Space and Time's Proof of SQLはより効率的なデータ検証方法を実装しています。具体的には、Space and Timeのシステムでは、1つのノードがデータ収集を担当し、他のノードがzkテクノロジーを使用してそのデータの真正性を検証します。このアプローチにより、複数のノードが同じデータを冗長にインデックス化してコンセンサスに達することによるリソース消費が削減され、システム全体のパフォーマンスが向上します。この技術が成熟するにつれて、データの信頼性を重視する従来の産業がブロックチェーンデータに基づいて製品を構築するための基盤として機能します。

同時に、SxTはMicrosoftのAI共同イノベーションラボとの緊密な協力を行っており、自然言語を介してブロックチェーンデータを簡単に処理できる生成AIツールの開発を加速しています。現在、Space and Time Studioでは、ユーザーは自然言語のクエリを入力し、AIが自動的にそれをSQLに変換し、ユーザーの代わりにクエリを実行して必要な最終結果を提示します。

3.4 異なる点の比較

4. 結論と展望

要約すると、ブロックチェーンのデータインデックス技術は、初期のノードデータソースからデータの解析とインデクサの開発、AI対応のフルチェーンデータサービスに進化しており、段階的な改善プロセスを示しています。この技術の持続的な進化により、データアクセスの効率と精度が向上するだけでなく、ユーザーに前例のない知的な体験を提供しています。

先を見据えて、AIやゼロ知識証明などの新しい技術の進展により、ブロックチェーンデータサービスはより知能化され、より安全になるでしょう。ブロックチェーンデータサービスは、産業の進歩とイノベーションに強力な支援を提供する基盤として、重要な役割を果たし続けると信じています。

免責事項:

  1. この記事は GateIO から転載されました[Trustless Labs], 著作権は元の著者に帰属します [Trustless Labs], もし転載に異議がある場合は、お問い合わせくださいGate Learnチーム、およびチームは関連する手順に従ってできるだけ早くそれを処理します。

  2. 免責事項:この記事で表明された見解や意見は、著者の個人的な見解を表しているにすぎず、投資アドバイスを構成するものではありません。

  3. 記事の他の言語版はGate Learnチームによって翻訳され、言及されていません。Gate.io翻訳された記事は、再生産、配布、または盗作されない場合があります。

* 投資有風險,入市須謹慎。本文不作為Gate.io提供的投資理財建議或其他任何類型的建議。
* 在未提及Gate.io的情況下,複製、傳播或抄襲本文將違反《版權法》,Gate.io有權追究其法律責任。

読み取りとインデックス作成から分析まで、Web3データインデックス化トラックを簡単に要約します

中級Sep 27, 2024
この記事では、ブロックチェーンデータのアクセシビリティの開発プロセスについて探求し、3つのデータサービスプロトコル、The Graph、Chainbase、およびSpace and TimeのアーキテクチャとAIテクノロジーの応用特性を比較し、ブロックチェーンデータサービスは知能化とセキュリティへの方向性を持ち、将来的には産業インフラとして重要な役割を果たし続けることを指摘しています。
読み取りとインデックス作成から分析まで、Web3データインデックス化トラックを簡単に要約します

この記事では、ブロックチェーンデータのアクセシビリティの進化を探り、アーキテクチャとAI技術の応用の観点から、3つのデータサービスプロトコル(The Graph、Chainbase、Space and Time)の特徴を比較しています。ブロックチェーンデータサービスは、知能とセキュリティの向上に向けて進化しており、将来的にも業界の基盤インフラとして重要な役割を果たし続けることを指摘しています。

1. Introduction

2017年の最初のdAppsの波を皮切りに、Etheroll、ETHLend、CryptoKittiesを含むさまざまな金融、ゲーム、ソーシャルdAppsが、さまざまなブロックチェーンに基づいて繁栄しているのが見て取れます。分散型オンチェーンアプリケーションについて議論する際、これらのdAppsが相互作用に利用するさまざまなデータのソースを考慮したことがありますか?

2024年は、AIとWeb3に焦点が当てられています。人工知能の世界では、データは成長と進化のための生命線のようなものです。植物が日光と水に頼って繁栄するように、AIシステムは膨大な量のデータに依存して、常に「学び」、「考える」ことができます。データがなければ、最も洗練されたAIアルゴリズムでさえ空中の城にすぎず、意図した知能と効果を発揮することができません。

この記事では、データのアクセシビリティの観点から、確立されたデータインデックスプロトコルThe Graphと新興のブロックチェーンデータサービスプロトコルChainbaseおよびSpace and Timeを比較し、ブロックチェーンデータインデックスの進化を分析しています。特に、AI技術を取り入れたこれら2つの新しいプロトコル間のデータサービスと製品アーキテクチャの類似点と相違点を探っています。

2. データインデックスの複雑さと単純さ:ブロックチェーンノードからフルチェーンデータベースへ

2.1 データソース:ブロックチェーンノード

「ブロックチェーンとは何か」を理解し始めた瞬間から、「ブロックチェーンは分散型台帳である」という言葉によく出くわします。ブロックチェーンノードは、ブロックチェーンネットワーク全体の基盤であり、すべてのオンチェーントランザクションデータを記録、保存、および配布する責任があります。各ノードはブロックチェーンデータの完全なコピーを所有しており、ネットワークの分散化を保証します。しかし、一般ユーザーにとって、ブロックチェーンノードの構築と維持は簡単な作業ではありません。これには、専門的な技術スキルだけでなく、ハードウェアと帯域幅のコストも高くなります。さらに、通常のノードのクエリ機能は限られているため、開発者が必要とする形式でデータを取得することは困難です。したがって、理論的には誰でも自分のノードを実行できますが、実際には、ユーザーはサードパーティのサービスに依存する傾向があります。

この問題に対処するために、RPC(リモートプロシージャコール)ノードプロバイダーが登場しました。これらのプロバイダーは、ノードのコストと管理を処理し、RPCエンドポイントを介してデータを提供することで、ユーザーが独自のノードを構築することなくブロックチェーンデータにアクセスできるようにします。パブリックRPCエンドポイントは無料ですが、レート制限があり、dAppsのユーザーエクスペリエンスに悪影響を与える可能性があります。プライベート RPC エンドポイントは、輻輳を軽減することでパフォーマンスを向上させますが、単純なデータ取得でも、かなりのやり取りが必要です。これにより、要求が重くなり、複雑なデータ クエリに対して非効率的になります。さらに、プライベート RPC エンドポイントは、多くの場合、スケーラビリティの課題に直面し、異なるネットワーク間での互換性に欠けます。しかし、ノードプロバイダーが提供する標準化されたAPIインターフェースは、ユーザーがオンチェーンデータにアクセスするための障壁を下げ、その後のデータ解析やアプリケーションの基礎を築きます。

2.2 データの解析:生データから利用可能なデータへ

ブロックチェーンノードから取得されるデータは、多くの場合、暗号化およびエンコードされた生データです。このデータはブロックチェーンの整合性とセキュリティを維持しますが、その複雑さによりデータ解析の難しさが増します。一般のユーザーや開発者にとって、この生データを直接扱うには、かなりの技術的知識と計算リソースが必要です。

この文脈では、データの解析プロセスが特に重要になります。複雑な生データを解析し、より理解しやすい操作可能な形式に変換することで、ユーザーは直感的にこのデータを理解し、利用することができます。データの解析の成功は、ブロックチェーンデータアプリケーションの効率と効果に直接影響を与え、全体のデータインデックスプロセスにおける重要なステップとなります。

2.3 データインデクサの進化

ブロックチェーンデータの量が増加するにつれて、データインデクサーの需要も高まっています。インデクサーは、オンチェーンデータを整理し、データベースに送信して簡単にクエリできるようにする上で重要な役割を果たします。インデクサーの動作原理は、ブロックチェーン データのインデックスを作成し、SQL に似たクエリ言語 (GraphQL API など) を介してすぐに利用できるようにすることです。インデクサーは、データをクエリするための統一されたインターフェイスを提供することで、開発者が標準化されたクエリ言語を使用して必要な情報を迅速かつ正確に取得できるようにし、プロセスを大幅に簡素化します。

異なる種類のインデクサは、さまざまな方法でデータの取得を最適化します:

· 完全なノードインデクサー:これらのインデクサーは完全なブロックチェーンノードを実行し、それらからデータを直接抽出してデータの完全性と正確性を確保しますが、大量のストレージと処理能力が必要です。

· 軽量インデクサー:これらのインデクサーは必要に応じて特定のデータを取得するためにフルノードに依存し、ストレージ要件を削減しますが、クエリ時間を増加させる可能性があります。

· 特化したインデクサー:これらのインデクサーは特定の種類のデータや特定のブロックチェーンに焦点を当てており、NFTデータやDeFi取引などの特定のユースケースにおいて、取得を最適化しています。

· AggreGated Indexers:これらのインデクサーは、オフチェーン情報を含む複数のブロックチェーンやソースからデータを抽出し、統一されたクエリインターフェースを提供します。これは特にマルチチェーンのdAppsにとって便利です。

現在、GethクライアントのEthereumアーカイブノードはアーカイブモードで約13.5 TBのストレージスペースを占有しています。一方、Erigonクライアントではアーカイブの要件は約3 TBです。ブロックチェーンが成長し続けるにつれて、アーカイブノードのデータストレージ要件も増加します。このような膨大なデータに対して、主要なインデックスプロトコルはマルチチェーンインデックスをサポートするだけでなく、異なるアプリケーションデータのニーズに合わせたデータ解析フレームワークをカスタマイズすることもあります。例えば、The Graphの「サブグラフ」フレームワークは典型的な例です。

インデクサーの出現は、データのインデックス作成およびクエリの効率を大幅に向上させます。従来のRPCエンドポイントと比較して、インデクサーは大量のデータを効率的にインデックス化し、高速クエリをサポートできます。これらのインデクサーは、ユーザーが複雑なクエリを実行し、データを簡単にフィルタリングし、抽出後に解析することを可能にします。さらに、一部のインデクサーは複数のブロックチェーンからのデータソースを集約することをサポートしており、マルチチェーンのDAppで複数のAPIを展開する必要がなくなります。複数のノードに分散して実行されることで、インデクサーは中央集権的なRPCプロバイダーに関連する中断やダウンタイムのリスクを減らしながら、より強固なセキュリティとパフォーマンスを提供します。

一方、インデクサーは、事前定義されたクエリ言語を使用して、基本的な複雑なデータを扱わずに、ユーザーが必要な情報を直接取得できるようにします。このメカニズムは、データの検索の効率と信頼性を大幅に向上させ、ブロックチェーンデータアクセスの重要なイノベーションを表しています。

2.4 フルチェーンデータベース: ストリーミングファーストに向けた整列

インデックス付きノードを使用してデータをクエリすると、通常、APIはオンチェーンデータを消化する唯一のゲートウェイとなります。ただし、プロジェクトがスケーリングフェーズに入ると、標準化されたAPIでは提供できないような柔軟なデータソースがしばしば必要となります。アプリケーションの要求がより複雑になるにつれて、標準化されたインデックスフォーマットを持つ主要なデータインデクサーは、検索、クロスチェーンアクセス、またはオフチェーンデータマッピングなど、ますます多様なクエリニーズに対応するのに次第に苦労することがあります。

In modern data pipeline architecture, a “stream-first” approach has become a solution to the limitations of traditional batch processing, enabling real-time data ingestion, processing, and analysis. This paradigm shift allows organizations to respond immediately to incoming data, yielding insights and making decisions almost instantaneously. Similarly, the development of blockchain data service providers is progressing toward constructing blockchain data streams. Traditional indexing service providers have successively launched products that obtain real-time blockchain data through data streams, such as The Graph’s Substreams and Goldsky’s Mirror, as well as real-time data lakes like Chainbase and SubSquid that generate data streams based on blockchains.

これらのサービスは、ブロックチェーントランザクションのリアルタイム解析の需要を満たすことを目指し、より包括的なクエリ機能を提供します。伝統的なデータパイプラインにおいて「ストリームファースト」アーキテクチャがレイテンシを低減し、応答性を向上させることでデータ処理と消費を革新しているように、これらのブロックチェーンデータストリームプロバイダもより高度で成熟したデータソースを通じたより多くのアプリケーションの開発とオンチェーンデータ分析の支援を目指しています。

最新のデータパイプラインの観点からオンチェーンデータの課題を再定義することで、オンチェーンデータの管理、保存、提供を新しい角度から捉え、その可能性を最大限に引き出すことができます。サブグラフやイーサリアムETLインデックスサービスを、最終的なアウトプットではなく、データパイプライン内のデータストリームとして捉え始めると、高性能なデータセットがあらゆるビジネスユースケースに合わせて調整される世界を思い描くことができます。

3. AI + データベース?The Graph、Chainbase、Space and Timeの詳細な比較

3.1 ザ グラフ

Graphネットワークは、ノードの分散型ネットワークを通じてマルチチェーンデータのインデックス作成とクエリサービスを実現し、開発者がブロックチェーンデータのインデックス作成と分散型アプリケーションの構築を便利に行えるようにします。主な製品モデルには、データクエリ実行市場とデータインデックスキャッシュ市場があり、どちらもユーザーの製品クエリのニーズに応えます。データクエリ実行市場は、特に消費者が必要なデータに対して適切なインデックスノードを支払うことを指し、データインデックスキャッシュ市場は、サブグラフの過去のインデックス作成の人気、収集されたクエリ料金、サブグラフ出力に対するオンチェーンキュレーターからの需要などの要因に基づいてリソースを割り当てるインデックスノードを含みます。

サブグラフはThe Graphネットワーク内の基本的なデータ構造です。これらはブロックチェーンからデータを抽出し変換して問い合わせ可能な形式(例:GraphQLスキーマ)にする方法を定義します。誰でもサブグラフを作成でき、複数のアプリケーションがこれらのサブグラフを再利用することができ、データの再利用性と運用効率が向上します。

The Graph network consists of four key roles: Indexers, Delegators, Curators, and Developers, all of which work together to provide data support for Web3 applications. Their respective responsibilities are as follows:

· インデクサー: インデクサーとは、The Graphネットワーク内のノードオペレーターであり、GRT(The Graphのネイティブトークン)をステーキングして参加します。彼らはインデックス作成およびクエリ処理サービスを提供します。

·デリゲーター:デリゲーターは、インデックスノードの運用をサポートするためにGRTトークンをステークするユーザーです。彼らは、deleGateしたインデックスノードに基づいて報酬の一部を獲得します。

· キュレーター:キュレーターは、ネットワークがインデックス化すべきサブグラフをシグナリングする責任があります。彼らは、価値のあるサブグラフが処理の優先順位になるように支援します。

· 開発者:前の3つの役割とは異なり、開発者は需要側であり、The Graphの主要なユーザーです。彼らはThe Graphネットワークにサブグラフを作成して提出し、ネットワークがデータのニーズを満たすのを待ちます。

3.1 ザ グラフ

The Graphは、経済的なインセンティブが異なる参加者間で流れることにより、完全に分散化されたサブグラフホスティングサービスに移行しました。これにより、システムの運用が確保されます。

· インデクサー報酬:インデクサーは、消費者のクエリ料金と一部のGRTトークンブロック報酬を通じて収入を得ます。

·デリゲーターリワード:デリゲーターは、サポートするインデクサーからリワードの一部を受け取ります。

· キュレーター報酬: キュレーターが価値のあるサブグラフをシグナルすると、クエリ料金の一部を獲得することができます。

実際、The Graphの製品はAIの波の中で急速に進化しています。Semiotic Labsは、The Graphエコシステムの中核開発チームの1つとして、AI技術を活用してインデックス作成の価格設定とユーザークエリ体験を最適化することに注力してきました。現在、AutoAgora、Allocation Optimizer、AgentCなど、Semiotic Labsによって開発されたツールは、エコシステムのパフォーマンスのさまざまな側面を強化しています。

·AutoAgoraは、クエリ量とリソース使用量に基づいてリアルタイムで価格を調整する動的価格設定メカニズムを導入し、価格戦略を最適化してインデクサーの競争力を確保し、収益を最大化します。

・ Allocation Optimizerは、サブグラフリソースの割り当ての複雑な問題に対処し、インデクサーが最適なリソース構成を達成し、収益とパフォーマンスを向上させるのを支援します。

・AgentCは、自然な言語を使用してThe Graphのブロックチェーンデータにアクセスすることができる実験的なツールであり、これによりユーザーエクスペリエンスが向上します。

これらのツールの適用により、The GraphはAIの支援によってシステムの知能と使いやすさをさらに向上させることができました。

3.2 Chainbase

Chainbaseは、すべてのブロックチェーンデータを1つのプラットフォームに統合する包括的なデータネットワークであり、開発者がアプリケーションを構築および維持しやすくします。そのユニークな特徴には次のものがあります:

・リアルタイムデータレイク:Chainbaseは、ブロックチェーンデータストリームに特化したリアルタイムデータレイクを提供し、データが生成されるとすぐにアクセスできるようにします。

·デュアルチェーンアーキテクチャ:ChainbaseはEigenlayer AVS上に構築されており、CometBFTのコンセンサスアルゴリズムと並行して実行される実行レイヤーを作成します。この設計により、クロスチェーンデータのプログラマビリティとコンポーザビリティが向上し、高スループット、低レイテンシ、ファイナリティをサポートすると同時に、デュアルステーキングモデルによってネットワークセキュリティが向上します。

· 革新的なデータフォーマット標準:Chainbaseは、「手稿」と呼ばれる新しいデータフォーマット標準を導入し、暗号通貨業界のデータの構造化と利用を最適化します。

· Cryptoworld Model:Chainbaseは、豊富なブロックチェーンデータリソースを活用し、AIモデル技術を組み合わせて、ブロックチェーン取引を効果的に理解し、予測し、相互作用するAIモデルを作成します。基本モデルであるTheiaは、現在一般公開されています。

これらの機能は、リアルタイムデータのアクセシビリティ、革新的なデータ形式、およびオンチェーンとオフチェーンデータの統合によるスマートなモデルの作成を重視したブロックチェーンのインデックス化プロトコルであるChainbaseを特徴づけています。これにより洞察力を高めるために、データへのアクセスが向上します。

ChainbaseのAIモデルであるTheiaは、他のデータサービスプロトコルとは異なる重要なハイライトです。NVIDIAのDORAモデルに基づいて、Theiaは、オンチェーンおよびオフチェーンのデータと時空間活動を統合し、暗号パターンを学習および分析します。因果関係に基づいて、オンチェーンデータの潜在的な価値とパターンの探索を深め、ユーザーによりインテリジェントなデータサービスを提供します。

AI-enabledデータサービスにより、Chainbaseは単なるブロックチェーンデータサービスプラットフォームから、より競争力のあるインテリジェントデータサービスプロバイダーに変貌しました。堅牢なデータリソースと積極的なAI分析により、Chainbaseはより広範なデータインサイトを提供し、ユーザーのデータ処理ワークフローを最適化できます。

3.3 スペースと時間

Space and Time(SxT)は、分散型データウェアハウス上のゼロ知識証明を拡張し、スマートコントラクト、大規模言語モデル、企業向けの信頼性のあるデータ処理を提供する検証可能な計算レイヤーを作成することを目指しています。Space and Timeは、最新のシリーズAラウンドでFramework Ventures、Lightspeed Faction、Arrington Capital、Hivemind Capitalをリード投資家として2,000万ドルを調達しました。

データのインデックス作成と検証の分野では、Space and Time は新しい技術的アプローチである Proof of SQL を導入しています。これは、Space and Timeによって開発された革新的なゼロ知識証明(ZKP)テクノロジーであり、分散型データウェアハウスで実行されるSQLクエリが改ざん防止され、検証可能であることを保証します。クエリが実行されると、Proof of SQL によって、クエリ結果の整合性と正確性を検証する暗号化証明が生成されます。この証明はクエリ結果に追加されるため、検証者(スマートコントラクトなど)は、処理中にデータが改ざんされていないことを個別に確認できます。従来のブロックチェーンネットワークは通常、データの真正性を検証するためにコンセンサスメカニズムに依存していますが、Space and Time's Proof of SQLはより効率的なデータ検証方法を実装しています。具体的には、Space and Timeのシステムでは、1つのノードがデータ収集を担当し、他のノードがzkテクノロジーを使用してそのデータの真正性を検証します。このアプローチにより、複数のノードが同じデータを冗長にインデックス化してコンセンサスに達することによるリソース消費が削減され、システム全体のパフォーマンスが向上します。この技術が成熟するにつれて、データの信頼性を重視する従来の産業がブロックチェーンデータに基づいて製品を構築するための基盤として機能します。

同時に、SxTはMicrosoftのAI共同イノベーションラボとの緊密な協力を行っており、自然言語を介してブロックチェーンデータを簡単に処理できる生成AIツールの開発を加速しています。現在、Space and Time Studioでは、ユーザーは自然言語のクエリを入力し、AIが自動的にそれをSQLに変換し、ユーザーの代わりにクエリを実行して必要な最終結果を提示します。

3.4 異なる点の比較

4. 結論と展望

要約すると、ブロックチェーンのデータインデックス技術は、初期のノードデータソースからデータの解析とインデクサの開発、AI対応のフルチェーンデータサービスに進化しており、段階的な改善プロセスを示しています。この技術の持続的な進化により、データアクセスの効率と精度が向上するだけでなく、ユーザーに前例のない知的な体験を提供しています。

先を見据えて、AIやゼロ知識証明などの新しい技術の進展により、ブロックチェーンデータサービスはより知能化され、より安全になるでしょう。ブロックチェーンデータサービスは、産業の進歩とイノベーションに強力な支援を提供する基盤として、重要な役割を果たし続けると信じています。

免責事項:

  1. この記事は GateIO から転載されました[Trustless Labs], 著作権は元の著者に帰属します [Trustless Labs], もし転載に異議がある場合は、お問い合わせくださいGate Learnチーム、およびチームは関連する手順に従ってできるだけ早くそれを処理します。

  2. 免責事項:この記事で表明された見解や意見は、著者の個人的な見解を表しているにすぎず、投資アドバイスを構成するものではありません。

  3. 記事の他の言語版はGate Learnチームによって翻訳され、言及されていません。Gate.io翻訳された記事は、再生産、配布、または盗作されない場合があります。

* 投資有風險,入市須謹慎。本文不作為Gate.io提供的投資理財建議或其他任何類型的建議。
* 在未提及Gate.io的情況下,複製、傳播或抄襲本文將違反《版權法》,Gate.io有權追究其法律責任。
即刻開始交易
註冊並交易即可獲得
$100
和價值
$5500
理財體驗金獎勵!