A importância dos dados em blockchains

Os dados são cruciais na tecnologia blockchain, servindo como base para o desenvolvimento de aplicativos descentralizados (dApps). Embora grande parte da conversa atual gire em torno da disponibilidade de dados (DA) — garantindo que os dados de transações recentes estejam acessíveis a todos os participantes da rede para verificação — há outro aspecto igualmente importante que muitas vezes passa despercebido: a acessibilidade dos dados.

Na era das blockchains modulares, as soluções DA tornaram-se indispensáveis. Essas soluções garantem que os dados das transações estejam disponíveis para todos os participantes, permitindo a verificação em tempo real e mantendo a integridade da rede. No entanto, as camadas DA funcionam mais como outdoors do que bancos de dados. Isso significa que os dados não são armazenados indefinidamente; ele é removido com o tempo, semelhante a como cartazes em outdoors são eventualmente substituídos por novos.

Por outro lado, a acessibilidade de dados se concentra na capacidade de recuperar dados históricos, o que é essencial para o desenvolvimento de dApps e a realização de análises de blockchain. Esse aspecto é crucial para tarefas que exigem acesso a dados passados para garantir uma representação e execução precisas. Apesar de sua importância, a acessibilidade de dados é menos discutida, mas é tão vital quanto a disponibilidade de dados. Ambos desempenham funções diferentes, mas complementares, no ecossistema blockchain, e uma abordagem abrangente para o gerenciamento de dados deve abordar ambos para apoiar aplicativos de blockchain robustos e eficientes.

Como Blockchain dados foram recuperados anteriormente

Desde sua criação, os blockchains revolucionaram a infraestrutura e permitiram a criação de aplicativos descentralizados (dApps) em vários campos, como jogos, finanças e redes sociais. No entanto, construir esses dApps requer acessar grandes quantidades de dados de blockchain, o que pode ser desafiador e caro.

Uma opção para desenvolvedores de dApp é host e executar seus próprios nós de RPC de arquivamento. Esses nós armazenam todos os dados históricos do blockchain desde o início, permitindo acesso total aos dados. No entanto, manter um nó de arquivamento é caro e tem capacidade de consulta limitada, tornando impossível consultar dados em um formato que os desenvolvedores precisam. Embora a execução de nós mais baratos seja uma opção, esses nós têm recursos limitados de recuperação de dados, o que pode dificultar a operação de um dApp.

Outra abordagem é usar provedores de nó comerciais RPC (Remote Procedure Call). Esses provedores lidam com os custos e o gerenciamento dos nós, fornecendo dados por meio de RPC endpoints. Os endpoints de RPC público são gratuitos, mas têm limites de taxa que podem afetar negativamente a experiência do usuário de um dApp. Os endpoints de RPC privados oferecem melhor desempenho, reduzindo o congestionamento, mas envolvem muita comunicação de ida e volta para recuperação de dados simples. Isso os torna pesados em solicitações e ineficientes para consultas de dados complexas. Além disso, os endpoints de RPC privados geralmente lutam com a escalabilidade e não têm compatibilidade entre diferentes redes.

A Superior Alternative: Blockchain Indexadores

Blockchain indexadores desempenham um papel crucial na organização de dados na rede e enviá-los para um banco de dados para facilitar a consulta, e é por isso que eles são frequentemente referidos como o "Google dos blockchains.". Eles funcionam indexando dados de blockchain e tornando-os prontamente disponíveis por meio de uma linguagem de consulta semelhante ao SQL, usando APIs como GraphQL. Ao fornecer uma interface unificada para consultar dados, os indexadores permitem que os desenvolvedores usem linguagens de consulta padronizadas para recuperar as informações de que precisam de forma rápida e precisa, simplificando significativamente o processo.

Diferentes tipos de indexadores otimizam a recuperação de dados de várias maneiras:

1. Nó completo Indexadores: Esses indexadores executam um nó blockchain completo e extraem dados diretamente dele, garantindo dados completos e precisos, mas exigindo armazenamento e poder de processamento significativos.
2. Indexadores leves: esses indexadores dependem de nós completos para buscar dados específicos conforme necessário, reduzindo os requisitos de armazenamento, mas potencialmente aumentando o tempo de consulta.
3. Indexadores dedicados: Especializados para certos tipos de dados ou blockchains específicos, esses indexadores otimizam a recuperação para casos de uso específicos, como dados NFT ou transações DeFi
.
4. Indexadores agregadores: esses indexadores extraem dados de vários blockchains e fontes, incluindo informações fora da cadeia, fornecendo uma interface de consulta unificada, que é especialmente útil para dApps de várias cadeias.

Ethereum sozinho requer 3TB de armazenamento com um nó de arquivamento Erigon com armazenamento de dados crescente à medida que as cadeias crescem ao longo do tempo. Os protocolos de indexador implantam vários indexadores, permitindo a indexação eficiente e a consulta de grandes volumes de dados em altas velocidades — algo que os RPCs não podem alcançar.

Os indexadores também permitem consultas complexas, fácil filtragem de dados com base em diferentes critérios e dados a serem analisados após serem extraídos. Alguns indexadores também permitem a agregação de dados de várias fontes, o que evita a necessidade de implantar várias APIs em um dApp de várias cadeias. Ao distribuir por vários nós, os indexadores fornecem segurança e desempenho aprimorados em comparação com provedores de RPC que podem enfrentar interrupções e tempo de inatividade devido à sua natureza centralizada.

Em geral, os indexadores aumentam a eficiência e a confiabilidade da recuperação de dados em comparação com RPC provedores de nós, ao mesmo tempo em que reduzem os custos associados à implantação de nós individuais. Isso torna os protocolos indexadores de blockchain a escolha preferida para desenvolvedores de dApp.

Casos de uso do indexador

Como mencionado anteriormente, a criação de dApps requer a recuperação e leitura de dados de blockchain para executar seu serviço. Isso inclui qualquer tipo de dApp, incluindo plataformas de DeFi, NFT, jogos e até redes sociais, já que essas plataformas exigem que os dados sejam lidos antes de poderem executar outras transações.

DeFi DeFi

protocolos exigem informações diferentes antes que possam cotar preços, proporções, taxas e muito mais específicos de seus usuários. Os Formadores de Mercado Automatizados (AMM) exigem informações de preço e liquidez sobre determinados pools para calcular as taxas de swap, enquanto os protocolos de empréstimo exigem índices de utilização para determinar as taxas de empréstimo/empréstimo e os índices de dívida para liquidação. Alimentar informações em seu dApp é essencial antes de calcular as taxas para os usuários executarem.

Gaming

GameFi requer indexação rápida e acesso a dados para garantir uma jogabilidade suave para os usuários. É somente com a recuperação ultrarrápida de dados e execução que os jogos Web3 podem se comparar com seus homólogos Web2 em desempenho para atrair mais usuários. Esses jogos exigem dados como propriedade da terra, saldo de tokens no jogo, ações no jogo e muito mais. Usando indexadores, eles podem garantir melhor o fluxo de dados constante e o tempo de atividade constante para garantir uma experiência de jogo impecável.

NFT

NFT marketplaces e plataformas de empréstimo exigem acesso a dados indexados a uma variedade de informações, como metadados de NFT, dados de propriedade e transferência, informações de royalties e muito mais. A indexação rápida desses dados evita ter que passar por cada NFT individualmente para procurar dados de propriedade ou NFT atributos.

Seja um DeFi Formador de mercado automatizado (AMM) que requer informações de preço e liquidez ou um aplicativo SocialFi que requer atualizações sobre postagens de novos usuários, ser capaz de recuperar dados rapidamente é essencial para permitir que os dApps funcionem bem. Com os indexadores, eles fornecem recuperação eficiente e correta de dados para proporcionar uma experiência de usuário tranquila.

Analytics

Os indexadores fornecem um meio de extrair dados específicos de dados brutos de blockchain, incluindo eventos de contrato inteligente em cada bloco. Isso abre a oportunidade para análises de dados mais específicas para fornecer insights abrangentes.

Por exemplo, protocolos de negociação perpétuos podem descobrir quais tokens têm altos volumes de negociação que estão gerando taxas em principal DEXes para decidir se lista esses tokens como contratos perpétuos em sua plataforma. DEX desenvolvedores podem criar painéis para seus próprios produtos, fornecendo informações sobre quais pools têm o maior retorno ou maior liquidez. Painéis públicos também podem ser criados, dando aos desenvolvedores a liberdade e a flexibilidade de consultar qualquer tipo de dados a serem ilustrados em um gráfico.

Como existem vários indexadores de blockchain disponíveis, identificar as diferenças entre os protocolos de indexação é crucial para garantir que os desenvolvedores optem por um indexador que melhor se adapte às suas necessidades.

Visão geral dos indexadores Blockchain

A Look at Indexers

The Graph

O Graph foi o primeiro protocolo de indexador lançado pela primeira vez em Ethereum que permitiu a consulta fácil de dados de transações que antes não eram facilmente acessíveis. Usando subgráficos, ele define e filtra um subconjunto de dados que é coletado do blockchain, como todas as transações associadas ao pool de USDC/ETH Uniswap v3.

Usando a Prova de Indexação, os indexadores staking o token nativo GRT para serviços de indexação e consulta, com os quais os delegados podem optar por staking seus tokens. Os curadores acessam subgráficos de alta qualidade, para ajudar os indexadores a identificar quais subgráficos indexar dados para ganhar as melhores taxas de consulta. Em sua transição para uma maior descentralização, o The Graph eventualmente descontinuará seu serviço hospedado e exigirá que os subgrafos atualizem para sua rede, fornecendo um indexador upgrade.

Sua infraestrutura permite um custo médio por consulta de US$ 40 por milhão de consultas, o que custa significativamente menos do que nós de hospedagem automática. Usando fontes de dados de arquivo, ele também oferece suporte à indexação paralela de dados na rede e fora da cadeia ao mesmo tempo para recuperação eficiente de dados.

Olhando para as recompensas do indexador do The Graph, ele tem crescido de forma constante nos últimos trimestres. Isso é parcialmente devido ao aumento das consultas, mas também atribuído ao crescimento no preço do token devido aos seus planos de integrar consultas assistidas por IA no futuro.

Subsquid

Subsquid é um data lake descentralizado ponto a ponto, horizontalmente escalável que agrega eficientemente grandes quantidades de dados na rede e fora da cadeia, protegidos com zk-proofs. Uma rede descentralizada de trabalhadores, cada nó é responsável por armazenar dados de um subconjunto específico de blocos, acelerando o processo de recuperação de dados identificando rapidamente os nós que contêm os dados necessários.

O Subsquid também suporta indexação em tempo real, permitindo que os blocos sejam indexados antes de serem finalizados. Ele também permite o armazenamento de dados em formatos escolhidos pelos desenvolvedores, facilitando a análise usando ferramentas como BigQuery, Parquet ou CSVs. Além disso, os subgráficos podem ser implantados na Rede Subsquid sem migrar para o SDK do Squid, permitindo a implantação sem código.

Ainda na fase testnet, o Subsquid alcançou estatísticas impressionantes, com mais de 80.000 usuários testnet, mais de 60.000 indexadores squid implantados e mais de 20.000 desenvolvedores verificados na rede. Muito recentemente, em 3 de junho, a Subsquid lançou a mainnet de seu data lake.

Além da indexação, o data lake da Subsquid Network destina-se a substituir RPCs em casos de uso como análises, coprocessadores ZK/TEE, agentes de IA e oráculos.

SubQuery SubQuery

é uma rede de infraestrutura de middleware descentralizada que fornece serviços de dados RPC e indexados. Inicialmente suportando redes Polkadot e Substrato, agora se expandiu para incluir mais de 200 cadeias. Ele funciona de forma semelhante ao The Graph usando Proof of Indexing, com indexadores que indexam dados e fornecem solicitações de consulta e delegadores que staking a indexadores. No entanto, em vez de curadores, ele apresenta consumidores que enviar ordens de compra para sinalizar receita garantida para os indexadores.

Ele introduzirá o SubQuery Data Nó que suporta sharding para evitar a sincronização constante de novos dados entre cada nó, otimizando assim a eficiência da consulta enquanto avança para uma maior descentralização. Os usuários podem optar por pagar por computação de cerca de 1 token SQT por 1000 solicitações ou configurar taxas personalizadas para indexadores por meio de contratos.

Embora a SubQuery só tenha lançado seu token no início deste ano, as recompensas de emissão para nós e delegados também aumentaram a QoQ em valor USD, o que representa uma quantidade crescente de serviços de consulta fornecidos em sua plataforma também. A quantidade total de SQT apostados aumentou de 6M para 125M desde TGE, destacando o crescimento na participação de sua rede.

Covalent

Covalent é uma rede indexadora descentralizada que cria uma réplica de dados blockchain por Bloquear nós de rede de produtores de espécimes (BSPs) por meio de um método de exportação em massa e publica uma prova no blockchain Covalent L1. Esses dados são refinados por Bloquear nós do Produtor de Resultados (BRP) para filtrar os dados com base em regras definidas.

Por meio de sua API unificada, os desenvolvedores podem facilmente extrair dados relevantes do blockchain em um formato de solicitação e resposta consistente que elimina a necessidade de ter que escrever consultas complexas personalizadas para acessar dados. Esses conjuntos de dados pré-configurados podem ser extraídos de operadores de rede usando tokens CQT como meios de pagamento que são liquidados no Moonbeam.

As recompensas da Covalent parecem estar em uma tendência geral de crescimento do 1º trimestre 23 ao 1º trimestre 24, parcialmente atribuídas ao aumento no preço do token CQT da Covalent.

Considerations in Choosing an Indexer

Customizability of Data

Alguns indexadores, como o Covalent, são indexadores de uso geral que fornecem apenas conjuntos de dados padrão pré-configurados por meio de um API. Embora possam ser rápidos, eles não oferecem flexibilidade para desenvolvedores que exigem conjuntos de dados personalizados. Usando estruturas de indexador, ele permite um tratamento de dados mais personalizado para atender às necessidades específicas do aplicativo.

Segurança

Os dados indexados precisam ser seguros, ou os dApps criados nesses indexadores também são propensos a ataques. Por exemplo, se o saldo da transação e da carteira puder ser manipulado, os dApps correm o risco de serem drenados de liquidez que afeta seus usuários. Embora todos os indexadores empreguem alguma forma de segurança por meio do staking de tokens por indexadores, outras soluções de indexador podem empregar o uso de provas para maior segurança.

Subsquid fornece a opção para o uso de otimista e zk-proof, enquanto Covalent também publica uma prova que contém o cerquilha do bloco. O Graph fornece períodos de desafio de disputa contra as consultas do indexador em um estilo de período de janela de desafio otimista, enquanto o SubQuery gera provas Merkle Mountain de cada bloco para calcular um cerquilha para cada bloco de todos os dados armazenados em seu banco de dados.

Velocidade e escalabilidade

À medida que os blockchains crescem ao longo do tempo, mais transações são adicionadas, o que torna a indexação de maiores quantidades de dados mais tediosa, já que mais poder de processamento e armazenamento são necessários. Manter a eficiência à medida que as redes blockchain crescem se torna mais difícil, mas os protocolos de indexador introduzem soluções para atender a esses requisitos crescentes.

Por exemplo, o Subsquid permite escalabilidade horizontal por meio da adição de mais nós para armazenamento de dados, oferecendo a capacidade de dimensionar junto com melhorias de hardware. O Graph oferece dados de streaming paralelizados para sincronizar dados mais rapidamente, enquanto o SubQuery introduz fragmentação de nó para acelerar o processo de sincronização.

Redes suportadas

Embora a maioria da atividade de blockchain ainda esteja dentro de Ethereum, diferentes blockchains estão ganhando mais popularidade ao longo do tempo. Por exemplo, as cadeias de ecossistemas Layer 2, Solana, Move e Bitcoin têm seu próprio conjunto de desenvolvedores e atividades em crescimento, o que também exigirá serviços de indexação.

Fornecer apoiar a determinadas cadeias que não são suportadas por outros protocolos de indexador pode capturar mais taxas de participação de mercado. Indexar redes pesadas de dados, como Solana não é uma tarefa fácil, e apenas o Subsquid conseguiu fornecer apoiar de indexação para eles até agora.

Conclusão

Apesar da ampla adoção de indexadores para o desenvolvimento de dApp, o potencial para indexadores permanece vasto, particularmente com a integração de IA. À medida que a IA continua a proliferar na Web2 e na Web3, sua capacidade de melhorar depende do acesso a dados relevantes para treinar modelos e desenvolver agentes de IA. Garantir a integridade dos dados é crucial para aplicativos de IA, pois evita que os modelos sejam alimentados com informações tendenciosas ou imprecisas.

No âmbito das soluções de indexador, o Subsquid mostrou um progresso significativo com seu desempenho e métricas de usuário. Os usuários já começaram a experimentar o Subsquid para construir agentes de IA, mostrando a versatilidade e o potencial da plataforma no cenário em evolução da indexação de dados. Além disso, ferramentas como o AutoAgora facilitam os indexadores na oferta de preços dinâmicos para serviços de consulta no The Graph usando IA, enquanto o SubQuery suporta várias redes de IA como OriginTrail e Oraichain para indexação de dados transparente.

A integração da IA com indexadores é promissora para melhorar a acessibilidade e a usabilidade de dados em ecossistemas blockchain. Ao aproveitar as tecnologias de IA, os indexadores podem fornecer recuperação de dados mais eficiente e precisa, permitindo que os desenvolvedores criem dApps e ferramentas de análise mais sofisticadas. À medida que a IA e os indexadores continuam a evoluir juntos, continuamos otimistas sobre o futuro da indexação de dados e seu papel na formação do cenário digital descentralizado.

Isenção de responsabilidade:

1. Este artigo foi reproduzido de [medium]. Todos os direitos autorais pertencem ao autor original [DFG Official]. Se houver objeções a essa reimpressão, entre em contato com a equipe Gate Learn e eles lidarão com isso prontamente.
2. Isenção de responsabilidade: Os pontos de vista e opiniões expressos neste artigo são exclusivamente do autor e não constituem qualquer conselho de investimento.
3. As traduções do artigo para outros idiomas são feitas pela equipe do Gate Learn. A menos que mencionado, copiar, distribuir ou plagiar os artigos traduzidos é proibido.