A importância dos dados em blockchains

Os dados são cruciais na tecnologia blockchain, servindo como base para o desenvolvimento de aplicações descentralizadas (dApps). Embora grande parte da conversa atual gire em torno da disponibilidade de dados (DA) — garantindo que os dados de transações recentes sejam acessíveis a todos os participantes da rede para verificação — há outro aspeto igualmente importante que muitas vezes passa despercebido: a acessibilidade dos dados.

Na era das blockchains modulares, as soluções de DA tornaram-se indispensáveis. Estas soluções garantem que os dados das transações estão disponíveis para todos os participantes, permitindo a verificação em tempo real e mantendo a integridade da rede. No entanto, as camadas DA funcionam mais como outdoors do que bancos de dados. Isso significa que os dados não são armazenados indefinidamente; Ele é removido com o tempo, semelhante à forma como os cartazes em outdoors são eventualmente substituídos por novos.

Por outro lado, a acessibilidade de dados se concentra na capacidade de recuperar dados históricos, o que é essencial para o desenvolvimento de dApps e realização de análise de blockchain. Este aspeto é crucial para tarefas que exigem acesso a dados passados para garantir uma representação e execução precisas. Apesar da sua importância, a acessibilidade dos dados é discutida com menos frequência, mas é tão vital como a disponibilidade dos dados. Ambos desempenham funções diferentes, mas complementares, no ecossistema de blockchain, e uma abordagem abrangente ao gerenciamento de dados deve abordar ambos para suporte aplicativos de blockchain robustos e eficientes.

Como Blockchain dados foram recuperados anteriormente

Desde a sua criação, as blockchains revolucionaram a infraestrutura e permitiram a criação de aplicações descentralizadas (dApps) em vários campos, como jogos, finanças e redes sociais. No entanto, a construção desses dApps requer o acesso a grandes quantidades de dados de blockchain, o que pode ser desafiador e caro.

Uma opção para desenvolvedores dApp é host e executar seus próprios nós de RPC de arquivamento. Esses nós armazenam todos os dados históricos do blockchain desde o início, permitindo o acesso total aos dados. No entanto, manter um nó de arquivamento é caro e tem capacidade de consulta limitada, tornando impossível consultar dados em um formato que os desenvolvedores precisam. Embora a execução de nós mais baratos seja uma opção, esses nós têm recursos limitados de recuperação de dados, o que pode dificultar a operação de um dApp.

Outra abordagem é usar provedores de nó comerciais RPC (Remote Procedure Call). Esses provedores lidam com os custos e o gerenciamento dos nós, fornecendo dados por meio de RPC endpoints. Os endpoints de RPC pública são gratuitos, mas têm limites de taxa que podem afetar negativamente a experiência do usuário de um dApp. Os pontos de extremidade de RPC privados oferecem melhor desempenho reduzindo o congestionamento, mas envolvem muita comunicação de ida e volta até mesmo para uma recuperação de dados simples. Isso os torna muito requisitados e ineficientes para consultas de dados complexas. Além disso, os pontos de extremidade de RPC privados muitas vezes lutam com a escalabilidade e a falta de compatibilidade entre diferentes redes.

Uma alternativa superior: Blockchain indexadores

Blockchain indexadores desempenham um papel crucial na organização de na cadeia dados e enviá-los para um banco de dados para facilitar a consulta, e é por isso que eles são frequentemente referidos como o "Google das blockchains". Eles funcionam indexando dados de blockchain e tornando-os prontamente disponíveis através de uma linguagem de consulta semelhante ao SQL, usando APIs como GraphQL. Ao fornecer uma interface unificada para consultar dados, os indexadores permitem que os desenvolvedores usem linguagens de consulta padronizadas para recuperar as informações de que precisam de forma rápida e precisa, simplificando significativamente o processo.

Diferentes tipos de indexadores otimizam a recuperação de dados de várias maneiras:

1. Nó completo Indexadores: Esses indexadores executam um nó blockchain completo e extraem dados diretamente dele, garantindo dados completos e precisos, mas exigindo armazenamento significativo e poder de processamento.
2. Indexadores leves: esses indexadores dependem de nós completos para buscar dados específicos conforme necessário, reduzindo os requisitos de armazenamento, mas potencialmente aumentando o tempo de consulta.
3. Indexadores dedicados: Especializados para certos tipos de dados ou blockchains específicos, esses indexadores otimizam a recuperação para casos de uso específicos, como dados de NFT ou transações DeFi.
4. Agregando indexadores: esses indexadores extraem dados de vários blockchains e fontes, incluindo informações de fora da cadeia, fornecendo uma interface de consulta unificada, que é especialmente útil para dApps de várias cadeias.

Ethereum sozinho requer 3TB de armazenamento com um nó de arquivo Erigon com armazenamento de dados crescente à medida que as cadeias crescem ao longo do tempo. Os protocolos de indexação implantam vários indexadores, permitindo indexação e consulta eficientes de grandes volumes de dados em altas velocidades — algo que as RPCs não conseguem alcançar.

Os indexadores também permitem consultas complexas, fácil filtragem de dados com base em diferentes critérios e dados a serem analisados após serem extraídos. Alguns indexadores também permitem a agregação de dados de várias fontes, o que evita a necessidade de implantar várias APIs em um dApp de várias cadeias. Ao distribuir em vários nós, os indexadores oferecem segurança e desempenho aprimorados em comparação com provedores de RPC que podem enfrentar interrupções e tempo de inatividade devido à sua natureza centralizada.

No geral, os indexadores melhoram a eficiência e a confiabilidade da recuperação de dados em comparação com os provedores de nós RPC, ao mesmo tempo em que reduzem os custos associados à implantação de nós individuais. Isso torna os protocolos indexadores de blockchain a escolha preferida para desenvolvedores dApp.

Indexer Use Cases

Como mencionado anteriormente, a construção de dApps requer a recuperação e leitura de dados de blockchain para executar seu serviço. Isso inclui qualquer tipo de dApp, incluindo plataformas de DeFi, NFT, jogos e até redes sociais, uma vez que essas plataformas exigem que os dados sejam lidos antes de poderem executar outras transações.

DeFi DeFi

protocolos exigem informações diferentes antes de poderem cotar preços, rácios, taxas e muito mais específicos dos seus utilizadores. Os criadores de mercado automatizados (AMM) exigem informações sobre preços e liquidez sobre determinados pools para calcular as taxas de swap, enquanto os protocolos de empréstimo exigem índices de utilização para determinar as taxas de empréstimo/endividamento e os índices de dívida para liquidação. Alimentar as informações em seu dApp é essencial antes que eles calculem as taxas para os usuários executarem.

O GameFi de jogos

requer indexação rápida e acesso a dados para garantir uma jogabilidade suave para os usuários. É apenas com a recuperação rápida de dados e execução pode Web3 jogos comparar com seus homólogos Web2 em desempenho para atrair mais usuários. Esses jogos exigem dados como propriedade de terras, saldo de tokens no jogo, ações no jogo e muito mais. Usando indexadores, eles podem garantir melhor um fluxo de dados estável e um tempo de atividade constante para garantir uma experiência de jogo impecável.

NFT

NFT mercados e plataformas de empréstimo exigem acesso a dados indexados a uma variedade de informações, como metadados de NFT, dados de propriedade e transferência, informações de royalties e muito mais. A indexação rápida desses dados evita ter que passar por cada NFT individualmente para procurar dados de propriedade ou atributos NFT.

Seja um DeFi Criador de mercado automatizado (AMM) que requer informações de preço e liquidez ou um aplicativo SocialFi que requer atualizações sobre as postagens de novos usuários, ser capaz de recuperar dados rapidamente é essencial para permitir que os dApps funcionem bem. Com indexadores, eles fornecem recuperação eficiente e correta de dados para dar uma experiência de usuário suave.

Analytics

Os indexadores fornecem um meio de extrair dados específicos de dados brutos de blockchain, incluindo eventos de contrato inteligente em cada bloco. Isso abre a oportunidade para análises de dados mais específicas para fornecer insights abrangentes.

Por exemplo, os protocolos de negociação perpétua podem descobrir quais tokens têm altos volumes de negociação que estão gerando taxas em principal DEXes para decidir se lista esses tokens como contratos perpétuos em sua plataforma. DEX desenvolvedores podem criar painéis para seus próprios produtos, fornecendo informações sobre quais pools têm o maior retorno ou liquidez mais profunda. Painéis públicos também podem ser criados, dando aos desenvolvedores a liberdade e flexibilidade para consultar qualquer tipo de dados a serem ilustrados em um gráfico.

Como existem vários indexadores de blockchain disponíveis, identificar as diferenças entre os protocolos de indexação é crucial para garantir que os desenvolvedores optem por um indexador que melhor atenda às suas necessidades.

Visão geral dos indexadores de Blockchain

A Look at Indexers

The Graph

The Graph foi o primeiro indexador protocolo lançado pela primeira vez em Ethereum que permitia uma consulta fácil de dados de transações que anteriormente não eram facilmente acessíveis. Usando subgráficos, ele define e filtra um subconjunto de dados que são coletados do blockchain, como todas as transações associadas ao pool de USDC/ETH Uniswap v3.

Usando a Prova de Indexação, os Indexadores stake os GRT de token nativos para serviços de indexação e consulta, com os quais os delegados podem optar por stake seus tokens. Os curadores acessam subgráficos de alta qualidade para ajudar os indexadores a identificar quais subgráficos indexar dados para obter as melhores taxas de consulta. Em sua transição para uma maior descentralização, o The Graph acabará descontinuando seu serviço hospedado e exigirá que os subgráficos atualizem para sua rede, fornecendo um indexador upgrade.

Sua infraestrutura permite um custo médio por consulta de US$ 40 por milhão de consultas, o que custa significativamente menos do que os nós de hospedagem automática. Usando fontes de dados de arquivo, ele também suporta indexação paralela de dados na cadeia e fora da cadeia ao mesmo tempo para recuperação eficiente de dados.

Olhando para as recompensas indexadoras do The Graph, ele tem crescido constantemente nos últimos trimestres. Isso é parcialmente devido ao aumento nas consultas, mas também atribuído ao crescimento no preço do token devido aos seus planos de integrar consultas assistidas por IA no futuro.

Subsquid

Subsquid é um data lake descentralizado ponto a ponto, horizontalmente escalável que agrega eficientemente grandes quantidades de dados na cadeia e fora da cadeia, protegidos com zk-proofs. Uma rede descentralizada de trabalhadores, cada nó é responsável por armazenar dados de um subconjunto específico de blocos, acelerando o processo de recuperação de dados identificando rapidamente os nós que contêm os dados necessários.

O Subsquid também suporta indexação em tempo real, permitindo que os blocos sejam indexados antes de serem finalizados. Ele também permite o armazenamento de dados nos formatos escolhidos pelos desenvolvedores, facilitando análises mais fáceis usando ferramentas como BigQuery, Parquet ou CSVs. Além disso, os subgráficos podem ser implantados na Rede Subsquid sem migrar para o SDK do Squid, permitindo a implantação sem código.

Enquanto ainda está na fase testnet, Subsquid alcançou estatísticas impressionantes, com mais de 80.000 usuários testnet, mais de 60.000 indexadores squid implantados e mais de 20.000 desenvolvedores verificados na rede. Muito recentemente, em 3 de junho, a Subsquid lançou a mainnet de seu data lake.

Além da indexação, o data lake da Subsquid Network destina-se a substituir RPCs em casos de uso como análises, coprocessadores ZK/TEE, agentes de IA e oráculos.

SubQuery

SubQuery é uma rede de infraestrutura de middleware descentralizada que fornece serviços de dados RPC e indexados. Inicialmente suportando as redes Polkadot e Substrato, agora expandiu-se para incluir mais de 200 cadeias. Ele funciona de forma semelhante ao The Graph usando Proof of Indexing, com indexadores que indexam dados e fornecem solicitações de consulta, e delegados que stake a indexadores. No entanto, em vez de curadores, apresenta consumidores que enviar ordens de compra para sinalizar receita garantida para indexadores.

Ele introduzirá o SubQuery Data Nó que suporta fragmentação para evitar a sincronização constante de novos dados entre cada nó, otimizando assim a eficiência da consulta enquanto avança para uma maior descentralização. Os usuários podem optar por pagar por computação de cerca de 1 token SQT por 1000 solicitações ou configurar taxas personalizadas para indexadores por meio de contratos.

Embora o SubQuery só tenha lançado seu token no início deste ano, as recompensas de emissão para nós e delegados têm aumentado a QoQ em valor USD, o que representa uma quantidade crescente de serviços de consulta fornecidos em sua plataforma também. A quantidade total de SQT apostada aumentou de 6M para 125M desde TGE, destacando o crescimento na participação de sua rede.

Covalent Covalent

é uma rede indexadora descentralizada que cria uma réplica de dados de blockchain por nós de rede Bloco Specimen Producers (BSPs) através de um método de exportação em massa e publica uma prova no blockchain Covalent L1. Esses dados são então refinados por nós Bloco Produtor de Resultados (BRP) para filtrar dados com base em regras definidas.

Por meio de seu API unificado, os desenvolvedores podem facilmente extrair dados relevantes do blockchain em um formato consistente de solicitação e resposta que elimina a necessidade de escrever consultas complexas personalizadas para acessar dados. Esses conjuntos de dados pré-configurados podem ser extraídos de operadores de rede usando tokens CQT como meio de pagamento que são liquidados no Moonbeam.

As recompensas da Covalent parecem estar em uma tendência geral de crescimento do 1º trimestre 23 para o 1º trimestre 24, parcialmente atribuída ao aumento no preço do token CQT da Covalent.

Considerações na escolha de um indexador

Customizability of Data

Alguns indexadores, como Covalent, são indexadores de uso geral que fornecem apenas conjuntos de dados padrão pré-configurados por meio de um API. Embora possam ser rápidos, eles não oferecem flexibilidade para desenvolvedores que exigem conjuntos de dados personalizados. Usando estruturas de indexador, ele permite um tratamento de dados mais personalizado para atender às necessidades específicas do aplicativo.

Segurança

Os dados indexados têm de ser seguros, ou os dApps construídos nestes indexadores também são propensos a ataques. Por exemplo, se a transação e o saldo da carteira puderem ser manipulados, os dApps correm o risco de serem drenados de liquidez que afeta seus usuários. Embora todos os indexadores empreguem alguma forma de segurança através da staking de tokens por indexadores, outras soluções de indexadores podem empregar o uso de provas para maior segurança.

Subsquid fornece a opção para o uso de otimista e zk-proof, enquanto Covalent também publica uma prova que contém o hash do bloco. O Graph fornece períodos de contestação de disputa contra as consultas do indexador em um estilo de período de janela de desafio otimista, enquanto o SubQuery gera provas de Merkle Mountain de cada bloco para calcular um hash para cada bloco de todos os dados armazenados em seu banco de dados.

Velocidade e escalabilidade

À medida que as blockchains crescem ao longo do tempo, mais transações são adicionadas, o que torna a indexação de maiores quantidades de dados mais tediosa, uma vez que mais poder de processamento e armazenamento são necessários. Manter a eficiência à medida que as redes blockchain crescem torna-se mais difícil, mas os protocolos indexadores introduzem soluções para atender a esses requisitos crescentes.

Por exemplo, o Subsquid permite escalabilidade horizontal através da adição de mais nós para armazenamento de dados, oferecendo a capacidade de escalar junto com melhorias de hardware. O Graph oferece dados de streaming paralelos para sincronizar dados mais rapidamente, enquanto o SubQuery introduz a fragmentação de nó para acelerar o processo de sincronização.

Redes suportadas

Embora a maioria da atividade de blockchain ainda esteja dentro de Ethereum, diferentes blockchains estão ganhando mais popularidade ao longo do tempo. Por exemplo, as cadeias de ecossistema Layer 2s, Solana, Move e Bitcoin têm seu próprio conjunto de desenvolvedores e atividades crescentes que também exigirão serviços de indexação.

Fornecer suporte a certas cadeias que não são suportadas por outros protocolos indexadores pode capturar mais taxas de participação de mercado. Indexar redes pesadas de dados, como Solana não é tarefa fácil, e apenas o Subsquid conseguiu fornecer suporte de indexação para elas até agora.

Conclusão

Apesar da adoção generalizada de indexadores para o desenvolvimento de dApp, o potencial para indexadores permanece vasto, particularmente com a integração da IA. À medida que a IA continua a proliferar tanto na Web2 como na Web3, a sua capacidade de melhorar depende do acesso a dados relevantes para treinar modelos e desenvolver agentes de IA. Garantir a integridade dos dados é crucial para as aplicações de IA, pois evita que os modelos sejam alimentados com informações tendenciosas ou imprecisas.

No domínio das soluções indexadoras, a Subsquid tem mostrado um progresso significativo com o seu desempenho e métricas de utilizador. Os usuários já começaram a experimentar o Subsquid para build agentes de IA, mostrando a versatilidade e o potencial da plataforma no cenário em evolução da indexação de dados. Além disso, ferramentas como o AutoAgora facilitam os indexadores na oferta de preços dynamic para serviços de consulta no The Graph usando IA, enquanto o SubQuery suporta várias redes de IA como OriginTrail e Oraichain para indexação de dados transparente.

A integração da IA com indexadores é promissora para melhorar a acessibilidade e usabilidade de dados em ecossistemas blockchain. Ao aproveitar as tecnologias de IA, os indexadores podem fornecer recuperação de dados mais eficiente e precisa, permitindo que os desenvolvedores criem dApps e ferramentas de análise mais sofisticadas. À medida que a IA e os indexadores continuam a evoluir juntos, continuamos otimistas sobre o futuro da indexação de dados e seu papel na formação do cenário digital descentralizado.

Declaração de exoneração de responsabilidade:

1. Este artigo foi reproduzido a partir de [medium]. Todos os direitos autorais pertencem ao autor original [DFG Official]. Se houver objeções a essa reimpressão, entre em contato com a equipe Gate Learn e eles lidarão com isso imediatamente.
2. Isenção de Responsabilidade: Os pontos de vista e opiniões expressos neste artigo são exclusivamente do autor e não constituem qualquer conselho de investimento.
3. As traduções do artigo para outros idiomas são feitas pela equipe do Gate Learn. A menos que mencionado, copiar, distribuir ou plagiar os artigos traduzidos é proibido.