区块链中数据的重要性

数据在区块链技术中非常关键，它构成了开发去中心化应用程序 (dApp) 的基础。虽然现在大部分讨论都集中在数据可用性（DA）上，即确保每个网络参与者都能获取最新的交易数据进行验证，但另一个同样重要且常被忽视的方面是数据可访问性。 在模块化区块链时代，DA 解决方案变得必不可少。这些解决方案确保交易数据对所有参与者可用，支持实时验证和维护网络的完整性。然而，DA 层更像是广告牌而不是数据库。这意味着数据不会被永久存储；它会随着时间的推移被移除，就像广告牌上的海报最终会被新的替换一样。 而数据可访问性则注重检索历史数据的能力，这对 dApp 的开发和区块链分析至关重要。对于需要访问过去数据以确保准确性和执行力的任务来说，这一方面尤为重要。尽管数据可访问性不如数据可用性被频繁提及，但它同样重要。两者在区块链生态系统中发挥着不同但互补的作用，要实现全面的数据管理，必须同时考虑这两方面，以支持强大且高效的区块链应用。

以前是如何检索区块链数据的？

自区块链问世以来，它们在基础设施上带来了革命性变化，并推动了在游戏、金融、社交网络等领域开发去中心化应用程序（dApp）。然而，构建这些 dApp 需要访问大量区块链数据，这既困难又昂贵。 dApp 开发者的一种选择是托管和运行自己的存档 RPC 节点。这些节点存储了从区块链诞生以来的所有历史数据，允许完全访问数据。但维护存档节点成本高昂，查询能力有限，无法以开发者需要的格式查询数据。虽然运行成本较低的节点是一种替代选择，但这些节点的数据检索能力有限，可能会影响 dApp 的正常运行。 另一种方法是使用商业 RPC（远程过程调用）节点提供商。这些提供商负责节点的成本和管理，通过 RPC 端点提供数据。公共 RPC 端点是免费的，但有速率限制，可能会对 dApp 的用户体验产生负面影响。私人 RPC 端点通过减少拥堵来提供更好的性能，但即使是简单的数据检索也需要大量的来回通信。这使得它们在处理复杂数据查询时请求量大且效率低。此外，私人 RPC 端点通常在可扩展性方面存在问题，并且缺乏跨不同网络的兼容性。

一种更好的替代方案：区块链索引器

区块链索引器在组织链上数据并将其发送到数据库以便于查询方面起着关键作用，因此它们常被称为“区块链的 Google”。它们通过索引区块链数据并使用类似 SQL 的查询语言（如 GraphQL API）提供数据。通过提供统一的查询接口，索引器允许开发者使用标准化的查询语言快速准确地获取所需信息，大大简化了这一过程。 不同类型的索引器以不同的方式优化数据检索：

1. 完整节点索引器：运行完整的区块链节点并直接从中提取数据，确保数据的完整和准确，但需要大量存储和处理能力。
2. 轻量级索引器：依赖完整节点在需要时获取特定数据，减少存储需求，但可能增加查询时间。
3. 专用索引器：专门针对某些类型的数据或特定区块链进行优化，如 NFT 数据或 DeFi 交易。
4. 聚合索引器：从多个区块链和来源（包括链外信息）获取数据，提供统一的查询接口，特别适用于多链 dApp。

仅以以太坊为例，使用 Erigon 存档节点需要 3TB 的存储，并随着链的增长不断增加。索引器协议部署多个索引器，实现大数据量的高效索引和高速查询——这是 RPC 无法实现的。 索引器还允许复杂查询，基于不同标准轻松过滤数据，并在提取后进行分析。一些索引器还允许从多个来源聚合数据，避免在多链 dApp 中部署多个 API 的需求。通过分布在多个节点上，索引器比 RPC 提供商在安全性和性能上有更好表现，后者由于集中化可能会遇到中断和停机问题。 总体而言，索引器在数据检索的效率和可靠性方面优于 RPC 节点提供商，同时也降低了部署单个节点的成本。这使得区块链索引器协议成为 dApp 开发者的首选。

索引器用例

如前所述，构建 dApp 需要检索和读取区块链数据以运行其服务。这包括任何类型的 dApp，包括 DeFi、NFT 平台、游戏甚至社交网络，因为这些平台在执行其他交易之前需要读取数据。

DeFi

DeFi 协议在为用户提供特定价格、比率和费用之前需要获取各种信息。自动做市商 (AMM) 需要池的价格和流动性信息来计算交换率，而借贷协议需要利用率来确定借贷利率和清算的债务比率。在计算用户利率之前，将信息输入到 dApp 中是必不可少的。

游戏

GameFi 需要快速索引和数据访问，以确保用户流畅的游戏体验。只有在数据检索和执行速度上达到闪电般的速度，Web3 游戏才能在性能上与 Web2 游戏媲美，从而吸引更多用户。这些游戏需要土地所有权、游戏内代币余额、游戏内动作等数据。使用索引器，它们可以更好地确保数据流的稳定和持续在线，从而确保完美的游戏体验。

NFT

NFT 市场和借贷平台需要访问各种索引数据，例如 NFT 元数据、所有权和转移数据、版税信息等。快速索引这些数据避免了逐个检查每个 NFT 以查找所有权或属性数据的麻烦。

无论是需要价格和流动性信息的 DeFi 自动做市商 (AMM)，还是需要获取新用户发布内容更新的 SocialFi 应用程序，能够快速检索数据对于 dApp 的良好运作至关重要。索引器可以高效、准确地检索数据，从而提供流畅的用户体验。

分析

索引器提供了一种从原始区块链数据中提取特定数据的方法，包括每个区块中的智能合约事件。这使得更具体的数据分析成为可能，从而提供全面的见解。 例如，永续交易协议可以发现哪些代币在主要 DEX 上的交易量较高并产生费用，以决定是否将这些代币列为平台上的永续合约。DEX 开发者可以为自己的产品创建仪表板，提供关于哪个池回报最高或流动性最深的见解。还可以创建公共仪表板，使开发者能够自由灵活地查询任何类型的数据并在图表上展示。 由于存在多个区块链索引器，了解索引协议之间的差异非常重要，以确保开发者选择最适合其需求的索引器。

区块链索引器概览

索引器概览

The Graph

The Graph 是首个在以太坊上推出的索引协议，使得以前难以查询的交易数据变得容易。通过使用子图（subgraphs），它定义并过滤从区块链收集的特定数据集，例如与 Uniswap v3 USDC/ETH 池相关的所有交易。 通过索引证明（Proof of Indexing），索引者质押本地代币 GRT 以提供索引和查询服务，委托者可以选择将他们的代币质押给索引者。策展人访问高质量的子图，帮助索引者识别应索引哪些子图以获取最佳查询费用。随着 The Graph 向更高程度的去中心化过渡，它将最终停止托管服务，并要求子图升级到其网络，同时提供升级索引器。 其基础设施实现了平均每百万次查询 40 美元的成本，这比自行托管节点便宜得多。使用文件数据源（File Data Sources），它还支持同时对链上和链下数据进行并行索引，从而实现高效的数据检索。

从 The Graph 的索引器奖励来看，过去几个季度一直在稳定增长。这不仅是因为查询量的增加，还归功于代币价格的上升，这是由于他们计划在未来整合 AI 辅助查询。

Subsquid

Subsquid 是一个点对点的、水平可扩展的去中心化数据湖，有效地聚合了大量链上和链下数据，并使用 zk 证明进行安全保护。在这个去中心化网络中，每个节点负责存储来自特定区块子集的数据，通过快速识别持有所需数据的节点，加速数据检索过程。 Subsquid 还支持实时索引，允许在区块最终确定之前进行索引。

它还允许以开发者选择的格式存储数据，方便使用 BigQuery、Parquet 或 CSV 等工具进行分析。此外，子图可以在不迁移到 Squid SDK 的情况下部署到 Subsquid 网络，实现无代码部署。 尽管仍处于测试网阶段，Subsquid 已经取得了显著成就，有超过 80,000 名测试网用户，部署了超过 60,000 个 Squid 索引器，并且网络上有超过 20,000 名验证开发者。 6 月 3 日，Subsquid 启动了他们的数据湖主网。

除了索引功能外，Subsquid 网络的数据湖还旨在替代 RPC，用于分析、ZK/TEE 协处理器、AI 代理和预言机等应用。

SubQuery

SubQuery 是一个去中心化的中间件基础设施网络，提供 RPC 和索引数据服务。最初支持 Polkadot 和 Substrate 网络，现在已扩展到包括超过 200 条链。它的工作方式类似于 The Graph，使用索引证明（Proof of Indexing），索引者对数据进行索引并提供查询请求，委托者将代币质押给索引者。然而，SubQuery 引入了消费者的概念，消费者通过提交购买订单来保证索引者的收入。 它将引入 SubQuery 数据节点，支持分片技术，以防止每个节点之间不断同步新数据，从而优化查询效率，并朝着更大的去中心化迈进。用户可以选择按每 1000 次请求支付约 1 SQT 代币的费用，或通过协议为索引者设置自定义费用。

尽管 SubQuery 在今年早些时候才推出了他们的代币，但节点和委托者的奖励在美元价值上逐季度增长，这也反映了他们平台上查询服务的增加。自 TGE 以来，质押的 SQT 总量已从 600 万增加到 1.25 亿，显示了其网络参与度的显著增长。

Covalent

Covalent 是一个去中心化的索引网络，通过区块样本生成者（BSP）网络节点创建区块链数据的副本，并通过大规模导出方法在 Covalent L1 区块链上发布证明。然后，这些数据由区块结果生成者（BRP）节点进行过滤，基于设定的规则筛选出所需的数据。 借助其统一的 API，开发者可以轻松获取相关的区块链数据，并以一致的请求和响应格式呈现，从而无需编写自定义的复杂查询来访问数据。使用 CQT 代币作为支付手段，可以从网络运营商处提取这些预配置的数据集，并在 Moonbeam 上进行结算。

从 23 年第一季度到 24 年第一季度，Covalent 的奖励似乎总体呈增长趋势，部分原因是 Covalent 代币 CQT 价格上涨。

选择索引器时的注意事项

数据的可定制性

某些索引器（例如 Covalent）是通用索引器，仅通过 API 提供标准的预配置数据集。尽管它们可能很快，但它们无法为需要定制数据集的开发人员提供灵活性。通过使用索引器框架，它允许进行更多自定义数据处理，以满足特定于应用程序的需求。

安全

索引数据必须是安全的，否则基于这些索引器构建的 dApps 也会容易受到攻击。例如，如果交易和钱包余额可以被篡改，dApps 可能会被抽干流动性，影响其用户。虽然所有索引器都通过索引者质押代币来实施某种形式的安全措施，但其他索引器解决方案可能会使用证明来进一步确保安全性。 Subsquid 提供了使用乐观和 zk 证明的选项，而 Covalent 也发布包含区块哈希的证明。The Graph 通过乐观挑战窗口期提供了针对索引器查询的争议挑战期，而 SubQuery 生成每个区块的 Merkle Mountain 证明，以计算其数据库中存储的所有数据的每个区块的哈希值。

速度和可扩展性

随着区块链的发展，更多的交易被添加，这使得索引大量数据变得更加繁琐，因为需要更多的处理能力和存储空间。随着区块链网络的扩展，保持效率变得更加困难，但索引协议引入了相应的解决方案以应对这些日益增长的需求。 例如，Subsquid 通过增加更多数据存储节点，实现水平可扩展性，能够随着硬件的改进而扩展。The Graph 提供并行化的流数据同步，更快地同步数据，而 SubQuery 通过引入节点分片来加快同步过程。

支持的网络

尽管大多数区块链活动仍集中在以太坊，但随着时间的推移，不同的区块链越来越受欢迎。例如，Layer 2、Solana、Move 区块链和比特币生态系统链拥有自己不断增长的开发者和活动，这些链也需要索引服务。 为其他索引协议不支持的特定链提供支持，可以捕获更多的市场份额。索引像 Solana 这样数据量大的网络并非易事，到目前为止，只有 Subsquid 成功提供了对其的索引支持。

结论

尽管索引器已广泛应用于 dApp 开发，但其潜力仍然巨大，尤其是在与 AI 集成方面。随着 AI 在 Web2 和 Web3 中的普及，其改进依赖于获取相关数据以训练模型和开发 AI 代理。确保数据完整性对 AI 应用至关重要，这可以防止模型接收到偏差或不准确的信息。

在索引器解决方案方面，Subsquid 在性能和用户指标方面表现出显著进步。用户已经开始使用 Subsquid 构建 AI 代理，展示了该平台在不断发展的数据索引领域的多功能性和潜力。此外，AutoAgora 等工具利用 AI 为 The Graph 提供动态定价的查询服务，而 SubQuery 支持多个 AI 网络，如 OriginTrail 和 Oraichain，以实现透明的数据索引。

AI 与索引器的集成为增强区块链生态系统中的数据可访问性和可用性带来了希望。通过利用 AI 技术，索引器可以提供更高效和准确的数据检索，使开发者能够构建更复杂的 dApp 和分析工具。随着 AI 和索引器的共同发展，我们对数据索引的未来及其在塑造去中心化数字生态中的作用持乐观态度。

声明：

1. 本文转载自[medium]，原文标题“The Evolution of Data Access in Web3”，著作权归属原作者[ DFG官方]，如对转载有异议，请联系Gate Learn团队，团队会根据相关流程尽速处理。

2. 免责声明：本文所表达的观点和意见仅代表作者个人观点，不构成任何投资建议。

3. 文章其他语言版本由Gate Learn团队翻译， 在未提及Gate.io的情况下不得复制、传播或抄袭经翻译文章。