Editor's Note: This article is reproduced from the original content published by Turan Vural Yuki Yuminaga of Fenbushi Capital on April 5, 2024. Fenbushi Capital was established in 2015 and is a leading blockchain asset management company in Asia, with assets under management of $1.6 billion. The company aims to play a significant role in shaping the future of blockchain technology through research and investment. This article is an example of these efforts and represents the independent views of the authors, who have agreed to publish it here.

A disponibilidade de dados (DA) é uma tecnologia central na expansão do Ethereum, que permite que os nós verifiquem eficientemente se os dados estão disponíveis na rede, sem a necessidade de hospedar os dados relevantes. Isso é crucial para construir eficientemente escalabilidade vertical, como o rollup e outras formas, permitindo que os nós de execução garantam que os dados das transações estejam disponíveis durante a liquidação. Isso também é crucial para escalabilidade horizontal, como o planejado nas futuras atualizações da rede Ethereum, onde os nós precisam provar que os dados das transações (ou blob) armazenados em fragmentação de rede estão realmente disponíveis na rede.

Recentemente, várias soluções de DA (Distribuição de Aplicativos) foram discutidas e lançadas, como Celestia, EigenDA e Avail. O objetivo dessas soluções é fornecer uma infraestrutura de alto desempenho e segura para a distribuição de aplicativos.

Comparado com L1, como Ethereum, a vantagem das soluções externas de DA está em fornecer um veículo de baixo custo e alto desempenho para dados na cadeia. As soluções de DA geralmente consistem em suas próprias cadeias públicas, que visam alcançar armazenamento barato e sem permissões. Mesmo que seja modificado, o armazenamento de dados hospedado localmente na cadeia de blocos ainda é extremamente ineficiente.

Dado isso, descobrimos que é muito intuitivo explorar soluções de otimização de armazenamento, como o Filecoin, como base para a camada de DA. O Filecoin utiliza sua blockchain para coordenar transações de armazenamento entre usuários e provedores de armazenamento, mas permite que os dados sejam armazenados fora da cadeia.

Neste artigo, exploramos a viabilidade de construir uma solução de DA baseada em uma rede de armazenamento descentralizada (DSN). Consideramos especialmente o Filecoin, pois é o DSN mais amplamente adotado até o momento. Resumimos as oportunidades que esse tipo de solução trará e os desafios que precisam ser superados para construí-la.

DA camada fornece as seguintes funcionalidades para os serviços que dependem dela:

1. Segurança do usuário: Nenhum nó pode ter certeza de que dados indisponíveis estão disponíveis.

2. Segurança Global: Exceto por alguns nós, todos os nós concordam com a disponibilidade/inacessibilidade dos dados.

3. Capacidade eficiente de busca de dados.

Todos esses precisam ser concluídos de forma eficiente para alcançar a escalabilidade. A camada DA oferece um desempenho mais alto a um custo menor nos três pontos mencionados acima. Por exemplo, qualquer nó pode solicitar uma cópia completa dos dados para provar a hospedagem, mas isso é ineficiente. Ao fornecer um sistema que atende aos três pontos mencionados acima, implementamos uma camada DA que oferece a segurança necessária para a coordenação entre L2 e L1 e fornece um limite inferior mais forte, mesmo na presença de uma maioria maliciosa.

Hospedagem de dados

Os dados publicados para a solução DA têm um ciclo de vida válido: tempo suficiente para resolver disputas ou verificar a transição de estado. Os dados da transação só precisam de tempo suficiente para verificar a transição de estado correta ou dar aos validadores oportunidades suficientes para construir provas de fraude. No momento da redação deste artigo, Ethereum calldata é a solução mais comumente usada para projetos de disponibilidade de dados (rollups).

Verificação de Dados Eficiente

A amostragem de disponibilidade de dados (DAS) é o método padrão para resolver problemas de DA. Ele tem a vantagem adicional de segurança, melhorando a capacidade do ator de rede de verificar informações de estado de validação de seus pares. No entanto, depende dos nós para realizar a amostragem: os nós devem responder às solicitações de DAS para garantir que as transações de mineração não sejam rejeitadas, mas as solicitações de amostra de nó não têm incentivo positivo ou negativo. Do ponto de vista do nó que solicita a amostra, não realizar o DAS não será penalizado negativamente. Por exemplo, Celestia fornece a primeira e única implementação leve do DAS para clientes, oferecendo aos usuários suposições de segurança mais robustas e reduzindo o custo de validação de dados.

Acesso eficiente

DA precisa fornecer acesso eficiente aos dados para os projetos que o utilizam. Um DA lento pode se tornar um gargalo para os serviços que dependem dele, resultando em baixa eficiência ou até mesmo erros no sistema.

Descentralização de rede de armazenamento

Rede de Armazenamento Descentralizada (DSN, conforme descrito no White Paper do Filecoin) é uma rede não autorizada composta por provedores de armazenamento que oferece serviços de armazenamento aos usuários da rede. Em termos informais, ela permite que provedores independentes de armazenamento coordenem transações de armazenamento com usuários que necessitam desses serviços, fornecendo armazenamento de dados barato e flexível para usuários que procuram por serviços de armazenamento de baixo custo. Isso é coordenado através de uma blockchain que registra transações de armazenamento e suporta a execução de contratos inteligentes.

DSN é uma tupla de três protocolos: Put, Get e Manage. Esta tupla possui propriedades de tolerância a falhas e incentivos de participação.

Colocar (Dados) → Chave

Para armazenar dados em uma chave secreta única, o lado do usuário executa o comando Put. Isso é feito especificando o prazo de armazenamento dos dados na rede, a quantidade de cópias de dados armazenadas para redundância e negociando o preço com o provedor de armazenamento.

Get(Chave Secreta) → dados

O cliente executa o comando Get para recuperar os dados armazenados sob a chave.

Gerir

Os participantes da rede chamam o protocolo de gestão para coordenar o espaço de armazenamento e os serviços fornecidos pelos provedores, bem como para corrigir erros. No caso do Filecoin, isso é feito por meio de gerenciamento em blockchain. O blockchain registra as transações de dados entre os usuários e os provedores de dados, bem como as provas de armazenamento correto dos dados, garantindo assim a integridade das transações de dados. A prova de armazenamento é fornecida pelos provedores de dados como resposta aos desafios da rede para comprovar se os dados estão armazenados corretamente. Quando os provedores de armazenamento não conseguem gerar as provas de replicação ou prova de espaço-tempo conforme exigido pelo protocolo de gestão, ocorrem erros de armazenamento, o que resulta na redução dos direitos dos provedores de armazenamento. Se vários provedores hospedarem cópias dos dados na rede, as transações podem ser cumpridas encontrando novos provedores de armazenamento, garantindo assim a auto-recuperação.

Oportunidade DSN

Até agora, o trabalho realizado pelo projeto DA tem sido transformar a blockchain em uma plataforma de armazenamento em cache. Como o DSN otimiza o armazenamento, ao invés de transformar a blockchain em uma plataforma de armazenamento, podemos simplesmente transformar a plataforma de armazenamento em uma plataforma que fornece disponibilidade de dados. Os provedores de armazenamento podem fornecer segurança econômica através de garantias na forma de tokens FIL nativos, garantindo assim o armazenamento de dados. Por fim, a programabilidade das transações de armazenamento pode fornecer flexibilidade para os termos de disponibilidade de dados.

O motivo mais poderoso para converter a funcionalidade DSN em uma solução DA é reduzir o custo de armazenamento de dados da solução DA. Como mencionado abaixo, o custo de armazenamento de dados no Filecoin é muito mais barato do que no Ethereum. Com base no preço atual do Ether em relação ao dólar, gravar 1 GB de calldata no Ethereum custaria mais de 3 milhões de dólares e ainda seria cortado após 21 dias. Essa taxa de calldata pode representar mais da metade do custo total das transações agregadas no Ethereum. No entanto, o custo de armazenamento de 1 GB no Filecoin é inferior a 0,0002 dólares por mês. A esse preço ou a qualquer preço semelhante, garantir que o DA reduza o custo das transações para os usuários e ajude a melhorar o desempenho e a escalabilidade da Web3.

Segurança Econômica

Em Filecoin, fornecer espaço de armazenamento requer Garantia. Se o provedor não cumprir a transação ou não seguir as garantias de rede, a Garantia será reduzida. Os provedores de armazenamento que não conseguem fornecer serviços enfrentam o risco de perder a Garantia e todos os lucros obtidos.

Ajuste do mecanismo de incentivo

Filecoin adota várias medidas de incentivo que são consistentes com os objetivos do DA. O Filecoin fornece medidas de contenção para comportamentos maliciosos ou preguiçosos: durante o período de consenso, os provedores de armazenamento devem fornecer ativamente provas de armazenamento na forma de prova de replicação e prova de espaço-tempo, para continuamente provar a existência do armazenamento sem presumir uma maioria honesta. Se um provedor de armazenamento não conseguir fornecer provas, ele terá sua participação reduzida, será removido do consenso e também será penalizado. A solução atual do DA carece de incentivos para os nós executarem o DAS, dependendo apenas de comportamentos altruístas temporários para provar o DA.

Programabilidade

定制ização da capacidade de negociação de dados também faz do DSN uma plataforma atraente para DA. A negociação de dados pode ter diferentes durações, permitindo que os usuários de DA baseados em DSN paguem apenas pelas taxas de DA necessárias e também ajustem a capacidade de tolerância a falhas definindo o número de cópias a serem armazenadas em toda a rede. A personalização adicional é suportada por contratos inteligentes (atores) no Filecoin, o que impulsiona ainda mais o crescente ecossistema de DApps do Filecoin, desde soluções de armazenamento computacionalmente priorizadas, como o Bacalhau, até soluções de DeFi e liquidez, como o Glif. O Retriev fornece incentivos com ganchos de recuperação com árbitros licenciados por meio dos Atores do Filecoin. A programabilidade do Filecoin pode ser usada para personalizar os requisitos de DA necessários para diferentes soluções, para que as plataformas dependentes de DA não precisem pagar por DA além do necessário.

Desafios enfrentados pela arquitetura DA baseada em DSN

Na nossa pesquisa, identificamos desafios significativos a serem superados antes de construir o serviço DA na DSN. Agora estamos discutindo a viabilidade e iremos focar na análise de Filecoin.

Latência de comprovação

Filecoin requer uma prova criptográfica de integridade dos dados para transações e armazenamento. Quando os dados são enviados para a rede, eles são divididos em setores de 32 GB e "selados". O selamento dos dados é a base da Prova de Replicação (PoRep) e da Prova de Espaço-Tempo (PoST), onde a primeira prova que o provedor de armazenamento possui uma ou mais cópias únicas dos dados, e a segunda prova que o provedor de armazenamento mantém uma única cópia dos dados durante toda a transação de armazenamento. O custo computacional do selamento deve ser alto para garantir que os provedores de armazenamento não possam selar os dados sob demanda, comprometendo a PoRep necessária. Quando o protocolo solicita periodicamente aos provedores de armazenamento uma prova de armazenamento único e contínuo, o tempo de segurança necessário para o selamento deve ser maior que a janela de resposta, de modo que os provedores de armazenamento não possam falsificar temporariamente as provas ou as cópias. Portanto, um provedor pode levar cerca de três horas para selar um setor de dados.

Limites de armazenamento

Devido ao alto custo computacional das operações de encapsulamento, o tamanho do setor de encapsulamento de dados deve ter um valor econômico. Para os provedores de armazenamento, o preço de armazenamento deve provar que os custos de encapsulamento são razoáveis, da mesma forma, os custos de armazenamento de dados resultantes também devem ser suficientemente baixos (no caso deste exemplo, cerca de 32 GB de blocos de dados) para que os usuários estejam dispostos a armazenar dados no Filecoin. Embora seja possível encapsular setores menores, isso elevará o preço de armazenamento para compensar os provedores de armazenamento. Para resolver esse problema, os agregadores de dados coletam blocos de dados menores dos usuários e os enviam para o Filecoin como um bloco de dados de cerca de 32 GB. Os agregadores de dados comprometem os dados do usuário com Prova de Inclusão de Dados em Setor (PoDSI) e CID de sub-bloco (pCID), em que a PoDSI garante que os dados do usuário estejam incluídos no setor e o pCID é usado para recuperar os dados da rede quando o usuário precisa.

Restrições de Consenso

Filecoin utiliza o mecanismo de consenso "Consensus Esperado" (Expected Consensus) com um tempo de bloco de 30 segundos e tempo de confirmação final de várias horas, o que pode melhorar no futuro (consulte o FIP-0086 para obter mais informações sobre a rápida finalidade do Filecoin). Isso geralmente é muito lento para suportar a capacidade de transações necessária para as camadas 2 que dependem do processamento de dados por DA. O tempo de bloco do Filecoin é limitado pelo mínimo de hardware dos provedores de armazenamento. Quanto menor o tempo de bloco, mais difícil é para os provedores de armazenamento gerar e fornecer provas de armazenamento, e mais penalidades por falha em fornecer as provas de armazenamento corretas dentro da janela de prova eles recebem. Para superar esse problema, é possível usar uma sub-rede de consenso interestelar (IPC) para reduzir o tempo de consenso. O IPC utiliza um consenso semelhante ao Tendermint e implementa a aleatoriedade com o DRAND: quando o DRAND se torna um gargalo, podemos usar a sub-rede IPC para alcançar um tempo de bloco de 3 segundos; quando o Tendermint se torna um gargalo, implementações como o Narwhal permitem tempos de bloco de algumas centenas de milissegundos.

Velocidade de recuperação

O último obstáculo é a recuperação. Com base nas restrições acima, podemos inferir que o Filecoin é adequado para armazenamento a frio ou armazenamento em temperatura ambiente. No entanto, os dados do DA são quentes e requerem suporte para aplicativos de alto desempenho. No Filecoin, é difícil incentivar a recuperação; os dados precisam ser desbloqueados antes de serem fornecidos ao cliente final, o que aumenta a latência. Atualmente, a recuperação rápida é alcançada por meio do SLA ou armazenando dados não encapsulados junto com setores encapsulados, mas esses dois métodos não são confiáveis ​​em uma arquitetura de aplicativo segura e sem permissão no Filecoin. Especialmente, embora a recuperação possa ser garantida pelo FVM através de provas de recuperação, a recuperação rápida com incentivos no Filecoin ainda é uma área a ser explorada mais a fundo.

Análise de custos

Nesta seção, consideraremos os custos decorrentes desses fatores de design. Mostramos os custos de armazenamento de 32 GB como calldata Ethereum, blobdata Celestia, blobdata EigenDA e setores Filecoin (usando preços de mercado próximos aos atuais).

A análise enfatiza o preço do calldata do Ethereum: o preço de 32 GB de dados é de 100 milhões de dólares. Esse preço reflete o custo de segurança por trás do consenso do Ethereum e é afetado pela flutuação do Ethereum e dos preços do Gas. A atualização do Dencun introduz o Proto-Danksharding (EIP-4844), introduz transações de Blob e tem como objetivo 3 Blobs por bloco, cada um com cerca de 125 KB, e introduz preços variáveis de Gas Blob, mantendo assim a quantidade alvo de Blobs por bloco. Essa atualização reduziu o custo do DA Ethereum em 1/5: ou seja, os dados de Blob de 32 GB custam 20 milhões de dólares.

Celestia e EigenDA tiveram melhorias significativas: 32 GB de dados custam, respectivamente, 8.000 dólares e 26.000 dólares. Ambos são afetados pela flutuação dos preços de mercado e refletem em certa medida o custo da segurança dos dados de consenso: Celestia usa seu token nativo TIA, enquanto EigenDA usa Ether.

Em todas as situações acima mencionadas, os dados armazenados não são permanentes. O tempo de armazenamento para calldatas do Ethereum é de 3 semanas, para blobs é de 18 dias e para EigenDA, o prazo de armazenamento padrão para blobs é de 14 dias. No atual sistema Celestia, os nós de arquivamento armazenam os dados de blobs por tempo indeterminado, mas os nós de luz só podem amostrar no máximo 30 dias.

As traduções são as seguintes:

"最后两张表是 Filecoin 和当前 DA 解决方案之间的直接比较。成本等价首先列出给定平台上单个字节数据的成本，然后显示相同成本下在相同时间内可存储的 Filecoin 字节数量。"

Traduzido para o português (Portugal):

"As últimas duas tabelas são uma comparação direta entre o Filecoin e a solução atual de Armazenamento Distribuído (DA). O custo equivalente lista primeiro o custo de dados por byte em uma plataforma específica e, em seguida, mostra a quantidade de bytes do Filecoin que podem ser armazenados com o mesmo custo."

Isso indica que o Filecoin é várias ordens de magnitude mais barato do que as soluções atuais de DA, custando apenas uma fração de um centavo para armazenar a mesma quantidade de dados no mesmo período de tempo. Ao contrário dos nós do Ethereum e outras soluções de DA, os nós do Filecoin foram otimizados para fornecer serviços de armazenamento, onde o sistema de prova permite que os nós provem o armazenamento, em vez de replicar o armazenamento entre cada nó na rede. Desconsiderando os benefícios econômicos para os provedores de armazenamento, como o custo de energia para encapsular dados, os custos básicos do processo de armazenamento do Filecoin podem ser negligenciados. Em comparação com o Ethereum, isso significa que sistemas capazes de fornecer serviços de DA seguros e de alto desempenho no Filecoin têm oportunidades de mercado avaliadas em milhões de dólares por GB.

Throughput

Abaixo, vamos considerar a capacidade da solução DA e as necessidades principais geradas pelos rollups da Camada 2.

Devido ao fato de a blockchain do Filecoin ser organizada em tipsets, cada altura do bloco tem vários blocos, assim, a quantidade de transações que podem ser realizadas não é limitada pelo consenso ou tamanho do bloco. A restrição rigorosa de dados do Filecoin é a capacidade de armazenamento em toda a rede, e não a capacidade permitida pelo consenso.

Para as necessidades diárias do DA, obtemos dados dos Rollups DA e ution fornecidos por Terry Chung e Wei Dai, incluindo a média diária nos últimos 30 dias e os dados de um único dia de amostragem. Dessa forma, podemos considerar a demanda média sem ignorar desvios médios (por exemplo, a demanda da Optimism em 15 de agosto de 2023 foi de cerca de 261.000.000 bytes, mais de quatro vezes a média de 64.000.000 bytes nos últimos 30 dias).

A partir desta seleção, é possível perceber que, embora o custo do DA possa ser reduzido, é necessário aumentar significativamente a demanda de DA para aproveitar efetivamente o tamanho do setor de 32 GB do Filecoin. Embora seja um desperdício de recursos encapsular dados de menos de 32 GB em um setor de 32 GB, podemos fazer isso e ainda obter vantagens de custo.

Arquitetura

Nesta seção, vamos considerar a arquitetura técnica que pode ser construída hoje. Vamos considerar essa arquitetura no contexto de aplicativos L2 arbitrários e das cadeias L1 servidas pelo L2. Como essa solução é uma solução DA externa, assim como Celestia e EigenDA, não consideraremos o Filecoin como um exemplo de L1.

Component

Mesmo em um nível alto, o DA no Filecoin usará muitas funcionalidades diferentes do ecossistema do Filecoin.

Negociação: Os usuários finais realizam negociações em plataformas que requerem DA, possivelmente sendo L2.

Plataformas que utilizam DA: Essas plataformas utilizam DA como serviço, o que pode ser o envio de dados de transações para o Filecoin DA na L2, ou o compromisso com o L1 (como o Ethereum).

Camada 1: Esta é qualquer L1 que contenha um compromisso de dados apontando para uma solução DA. Pode ser Ethereum ou um L2 que suporta o uso de soluções DA do Filecoin.

Agregador: O front-end da solução DA baseada em FIL é um agregador que é um componente centralizado que recebe dados de transações de L2 e outros usuários de DA e os agrega em setores de 32 GB adequados para encapsulamento. Embora uma simples prova de conceito inclua um agregador centralizado, as plataformas que usam soluções DA também podem executar seus próprios agregadores. Por exemplo, como um dispositivo auxiliar para o sequenciador L2, a centralização do agregador é semelhante à do sequenciador L2 ou do dispositivo descentralizado do EigenDA. Uma vez que o agregador compila uma carga próxima a 32 GB, ele atinge um protocolo de armazenamento com o provedor de armazenamento para armazenar os dados. Os utilizadores têm a garantia de que os seus dados serão incluídos nesse setor sob a forma de PoDSI (Data Segment Inclusion Proof) e que os seus dados serão identificados através do pCID assim que entrarem na rede. Este pCID será incluído no compromisso estatal em L1 e será usado para referenciar os dados que suportam a transação.

validadores: Os validadores solicitam dados ao provedor de armazenamento para garantir a integridade do compromisso de estado e estabelecer prova de fraude. Em caso de fraude comprovada, essas provas serão enviadas para L1.

Transação de Armazenamento: Assim que o agregador compilar uma carga útil de cerca de 32 GB, ele fará uma transação de armazenamento com o provedor de armazenamento para armazenar os dados.

Publicar blob (Put): Para iniciar o Put, o cliente DA envia um blob contendo os dados da transação para o agregador. Isso pode ser feito fora da cadeia ou através de um oráculo de agregação na cadeia. Para confirmar o recebimento do blob, o agregador retorna ao cliente um PoDSI para provar que o blob está incluído no setor agregado que será enviado para a sub-rede, juntamente com um pCID (identificador de conteúdo de sub-fragmento). Assim que o blob for disponibilizado no Filecoin, o cliente e outras partes interessadas irão referenciá-lo.

Os dados da transação aparecerão na cadeia dentro de alguns minutos após a conclusão da transação. A maior barreira para a latência é o tempo de encapsulamento, que pode levar até três horas. Isso significa que, embora a transação tenha sido concluída e os usuários possam ter certeza de que os dados aparecerão na rede, os dados não podem ser consultados até que o processo de encapsulamento seja concluído. O cliente Lotus possui recursos de recuperação rápida, onde cópias não encapsuladas dos dados são armazenadas juntamente com as cópias encapsuladas, e o serviço pode ser fornecido imediatamente após a transferência dos dados não encapsulados para o provedor de armazenamento, desde que a recuperação da transação não dependa da prova de que os dados encapsulados estão presentes na rede. No entanto, esse recurso é decidido pelo provedor de dados e não é fornecido como uma garantia de criptografia como parte do protocolo. Para fornecer uma garantia de recuperação rápida, é necessário alterar o consenso e os mecanismos de punição/recompensa para aplicação obrigatória.

Recuperando blobs (Get): A recuperação é semelhante a uma operação put. Uma transação de recuperação precisa ser feita, e a transação aparecerá no na cadeia dentro de alguns minutos. A latência de recuperação dependerá dos termos da transação e se uma cópia não encapsulada dos dados é armazenada para recuperação rápida. No caso de recuperação rápida, o latência dependerá das condições da rede. Sem recuperação rápida, os dados precisam ser deslacrados antes de poderem ser servidos ao usuário, o que é o mesmo tempo do encapsulamento, que é de cerca de três horas. Assim, sem otimização, temos um tempo máximo de ida e volta de seis horas, o que requer melhorias significativas nos serviços de dados antes que ele possa se tornar um sistema DA ou prova de fraude viável.

DA Prova: A prova DA pode ser dividida em dois passos: a oferta de PoDSI, fornecida ao enviar dados para o agregador durante o processo de transação, e o compromisso contínuo fornecido por PoRep e PoST, por meio do mecanismo de consenso Filecoin. Como mencionado acima, PoRep e PoST fornecem garantias planejadas e comprováveis para armazenamento e persistência de dados.

Esta solução fará uso extensivo de pontes, porque qualquer cliente dependente do DA (Independentemente de construir uma prova) precisa ser capaz de interagir com o Filecoin. Para transições de estado publicadas no L1 que incluam o pCID, os validadores podem realizar verificações preliminares para garantir que nenhum pCID falso seja enviado. Existem várias maneiras de fazer isso, como publicar um Oráculo de dados do Filecoin no L1 ou verificar se existem transações de dados ou setores correspondentes ao pCID por meio de validadores. Da mesma forma, a validação da validade ou prova de fraude publicada no L1 também pode exigir o uso de pontes para garantir a validade ou fraude da prova. As pontes disponíveis atualmente são Axelar e Celer.

Análise de Segurança

O Filecoin garante a integridade reduzindo a garantia. A garantia pode ser reduzida em dois casos: erro de armazenamento ou erro de consenso. Erro de armazenamento refere-se à incapacidade do provedor de armazenamento de fornecer prova de armazenamento de dados (PoRep ou PoST), o que está relacionado à falta de disponibilidade de dados em nosso modelo. Erro de consenso refere-se a comportamento malicioso no consenso, que é o protocolo que governa o livro-razão de transações, enquanto o FEVM é uma abstração do livro-razão de transações.

• O erro do setor refere-se a uma penalidade resultante da falha em apresentar uma prova de armazenamento contínua. O provedor de armazenamento tem um período de carência de um dia durante o qual não será penalizado por erros de armazenamento. Após 42 dias de ocorrência do erro do setor, o setor será terminado e os custos associados serão destruídos.

BR(t) = Fração de Recompensa Projetada(t) * Poder Ajustado de Qualidade do Setor

• Se um setor apresentar erros por 42 dias ou se o provedor de armazenamento encerrar a transação intencionalmente, o setor será terminado. A taxa de término será igual à maior quantia que o setor recebeu antes do término, com um limite de 90 dias de renda. As taxas de transação não pagas serão reembolsadas aos usuários. As taxas já pagas serão destruídas.

max(SP(t), BR(StartEpoch, 20 d) + BR(StartEpoch, 1 d) * terminationRewardFactor * min(SectorAgeInDays, 140))

• No final da transação, haverá uma redução do Ator do Mercado de Armazenamento, que é uma redução da garantia fornecida pelo provedor de armazenamento após a transação.

Filecoin fornece uma segurança muito diferente de outras blockchains. Normalmente, a segurança dos dados em blockchains é garantida pelo consenso, mas o consenso do Filecoin garante apenas a segurança do livro-razão das transações e não dos dados de referência das transações. Os dados armazenados no Filecoin só são incentivados a serem armazenados se tiverem segurança suficiente. Isso significa que os dados armazenados no Filecoin são garantidos por meio de penalidades por erros e incentivos comerciais, como a reputação do usuário. Em outras palavras, erros nos dados da blockchain equivalem a violações do consenso, o que pode comprometer a segurança da blockchain ou a validade das transações. O Filecoin possui tolerância a falhas em termos de armazenamento de dados, portanto, a segurança de suas atividades de transação e livro-razão é garantida apenas pelo consenso. Os provedores de armazenamento que não cumprem suas transações de dados são multados em até 90 dias de recompensas de armazenamento e perdem suas garantias fornecidas para garantir as transações.

Portanto, o custo de um ataque de retenção de dados iniciado pelo provedor do Filecoin é apenas o custo de oportunidade de uma transação de recuperação. A recuperação de dados no Filecoin depende das taxas pagas pelos usuários para incentivar os provedores de armazenamento. No entanto, não responder a solicitações de recuperação de dados não terá um impacto negativo nos provedores de armazenamento. Para reduzir o risco de um único provedor de armazenamento ignorar ou recusar transações de recuperação de dados, os dados no Filecoin podem ser armazenados por vários provedores de armazenamento.

Devido à baixa segurança econômica por trás dos dados do Filecoin em comparação com soluções baseadas em blockchain, é necessário considerar a prevenção da manipulação de dados. A manipulação de dados é protegida pelo sistema de prova do Filecoin. Os dados são referenciados por CID, e é possível detectar imediatamente qualquer dano nos dados através do CID. Portanto, os provedores de dados não podem fornecer dados corrompidos, pois é fácil verificar se os dados obtidos correspondem ao CID solicitado. Os provedores de dados não podem armazenar dados corrompidos no lugar de dados não corrompidos. Após receber os dados do usuário, o provedor deve fornecer uma prova de encapsulamento correta do setor de dados para iniciar a transação de dados (selecione esta opção). Portanto, não é possível iniciar uma transação de armazenamento com dados corrompidos. Durante o período de validade da transação de armazenamento, será fornecido um PoST para provar a limpeza da hospedagem (observe que isso prova tanto a situação de hospedagem do setor encapsulado quanto a situação de hospedagem desde o último PoST). Como o PoST depende da geração de provas no setor encapsulado, setores corrompidos resultarão em um PoST falsificado, levando a erros de setor. Portanto, os provedores de armazenamento não podem armazenar nem fornecer dados corrompidos, não podem ser recompensados por fornecer serviços para dados não corrompidos e não podem evitar punições por adulteração de dados do usuário.

Você pode aumentar a segurança adicionando garantia ao mercado de armazenamento comprometido pelo ator de mercado de armazenamento. A garantia é decidida atualmente pelos provedores de armazenamento e pelos usuários. Se assumirmos que o valor da garantia é suficientemente alto (por exemplo, o mesmo que o dos validadores Ethereum) para incentivar os provedores a não violarem o contrato, podemos pensar em outras medidas de segurança necessárias (embora isso seja extremamente ineficiente em termos de capital, pois a garantia é necessária para garantir a segurança de cada bloco de transação ou setor agregado de bloco). Agora, os provedores de dados podem optar por tornar os dados indisponíveis no mercado de armazenamento dentro de um período de até 41 dias antes de encerrar a transação de armazenamento. Se assumirmos que o tempo de transação de dados é curto, podemos supor que os dados não estarão disponíveis até o último dia da transação. Na ausência de coordenação de atores maliciosos, é possível mitigar essa situação replicando em vários provedores de armazenamento para que o serviço de dados possa continuar sendo fornecido.

Podemos considerar o custo para um atacante derrubar o consenso, seja aceitando provas falsas ou reescrevendo o histórico do livro-razão, removendo transações do livro de pedidos, sem punir os provedores de armazenamento responsáveis. No entanto, é importante observar que, em caso de violação de segurança como essa, o atacante pode manipular livremente o livro-razão do Filecoin. Para realizar esse tipo de ataque, o atacante precisa ter pelo menos a maioria do poder na rede Filecoin. O poder está relacionado ao armazenamento fornecido à rede, que atualmente é de 25 EiB (10¹⁶ bytes) de dados na cadeia do Filecoin, e o atacante precisaria ter pelo menos 12.5 EiB para criar sua própria cadeia e ganhar a regra de escolha de garfo. Através de reduções relacionadas a erros de consenso, é possível mitigar ainda mais essa situação, cujas penalidades incluem a perda de todas as garantias e recompensas de bloco empenhadas, além da suspensão da participação no consenso.

Nota lateral: Parar os ataques a outras soluções de DA

Apesar dessas situações acima mostrarem que o Filecoin tem deficiências na proteção contra ataques de retenção de dados, ele não é o único exemplo.

• Ethereum: Em geral, a única maneira de garantir uma resposta para uma solicitação na rede Ethereum é executar um nó completo. Portanto, os nós completos não precisam atender a solicitações de recuperação de dados fora do consenso. Estruturas como PeerDAS introduzem um sistema de pontuação de pares em resposta à recuperação de dados, onde nós com pontuação baixa (essencialmente, reputação DA) podem ser isolados da rede.
• Celestia: Em comparação com a estrutura do Filecoin, o Celestia possui uma segurança por byte mais forte, capaz de resistir a ataques de retenção, mas a única maneira de aproveitar essa segurança é por meio de nós completos hospedados. Solicitações feitas à infraestrutura do Celestia que não pertençam à propriedade e operação internas serão revisadas e não sofrerão penalidades.
• EigenDA : Semelhante ao Celestia, qualquer serviço pode executar um nó EigenDA Operator para garantir a recuperação de seus próprios dados. Portanto, qualquer solicitação de recuperação de dados fora do protocolo será revisada. Observe também que o EigenDA possui um distribuidor centralizado e confiável, responsável pela codificação de dados, compromissos KZG e distribuição de dados, semelhante ao nosso agregador.

Pesquisa de Segurança

É necessário que a recuperabilidade seja possível para um DA. Idealmente, as forças do mercado incentivariam provedores de armazenamento economicamente racionais a aceitar transações de recuperação e competir com outros provedores, reduzindo os preços para os usuários. Supondo que isso seja suficiente para os provedores de dados oferecerem serviços de recuperação, é também razoável exigir uma segurança mais alta, dada a importância do DA.

Atualmente, a recuperação não pode ser garantida através da segurança econômica mencionada acima. Isso ocorre porque é difícil confiar em uma forma de minimização da criptografia para provar que os dados não foram recebidos pelo cliente (quando o cliente precisa contestar a alegação do provedor de armazenamento de envio de dados). Para garantir a segurança da recuperação através da segurança econômica do Filecoin, é necessário um mecanismo de recuperação local do protocolo. Com alterações mínimas no protocolo, isso significa que a recuperação precisa estar associada a erros de setor ou terminação de transações. O Retriev é uma validação conceitual que pode fornecer garantia de recuperação de dados, mediar disputas de recuperação de dados usando um "árbitro" confiável.

Suplemento: Pesquisa de outras soluções de DA

Como mencionado anteriormente, o Filecoin carece de um protocolo nativo de garantia de recuperação que seja necessário para prevenir comportamentos egoístas por parte dos provedores de armazenamento (ou recuperação). No caso do Ethereum e do Celestia, a única maneira de garantir a leitura dos dados do protocolo é hospedar um nó completo por conta própria ou confiar no SLA do provedor de infraestrutura. Como provedor de armazenamento do Filecoin, garantir a recuperação não é fácil. Uma configuração semelhante no Filecoin é se tornar um provedor de armazenamento (o que requer um alto custo de infraestrutura) e ter sucesso em aceitar transações de armazenamento iguais às dos provedores de armazenamento que são publicados como usuários. Nesse caso, as pessoas pagariam para fornecer seu próprio armazenamento.

Análise de latência

Devido ao design do sistema de prova de Filecoin e à falta de incentivo à recuperação, a Filecoin não foi otimizada para oferecer alta latência de ida e volta, desde os dados de publicação inicial até os dados de recuperação inicial. A recuperação de alta performance do Filecoin é uma área de pesquisa ativa, que está em constante evolução à medida que a capacidade dos provedores de armazenamento melhora e o Filecoin introduz novos recursos. Definimos "ida e volta" como o tempo que leva desde a transação de envio de dados até o momento em que os dados podem ser baixados após serem enviados para o Filecoin.

tempo de bloco

Na consenso esperado do Filecoin, as transações de dados podem ser concluídas em um tempo de bloco de 30 segundos. 1 hora é o tempo típico de confirmação na cadeia para dados sensíveis (como transferências de moedas).

Processamento de Dados

O tempo de processamento dos dados varia de acordo com o provedor de armazenamento e a configuração. Com o hardware de armazenamento padrão do provedor, o processo de empacotamento leva 3 horas. Os provedores de armazenamento geralmente reduzem esse tempo por meio de configurações especiais do cliente, paralelização e investimento em hardware mais poderoso. Essa alteração também afetará a duração do desbloqueio do setor, mas as opções de recuperação rápida do cliente Filecoin (como o Lotus) podem contornar completamente essa situação. A configuração de recuperação rápida armazena cópias não empacotadas dos dados junto com os dados empacotados, o que acelera significativamente o tempo de recuperação. Com base nisso, podemos assumir que a pior latência possível, do momento em que a transação de dados é aceita até que os dados estejam disponíveis na cadeia, é de 3 horas.

Conclusão e Direções Futuras

Este artigo discute como construir um DA utilizando a DSN existente (ou seja, Filecoin). Consideramos os requisitos de um DA como componente-chave da infraestrutura de expansão do Ethereum. Exploramos a viabilidade de construir um DA na DSN baseada em Filecoin e como isso pode trazer oportunidades para o ecossistema do Ethereum ou qualquer oportunidade que se beneficie de uma camada de DA eficiente em termos de custo.

Filecoin prova que o DSN pode melhorar significativamente a eficiência de armazenamento de dados em sistemas descentralizados baseados em blockchain. Com base nos preços de mercado atuais, economiza-se 100 milhões de dólares para cada 32 GB de dados gravados. Embora a demanda por DA ainda não seja suficiente para preencher um setor de 32 GB, a vantagem de custo do DA ainda existe se os setores vazios forem lacrados. Embora a latência de armazenamento e recuperação no Filecoin atual não seja adequada para necessidades de armazenamento a quente, operações específicas do provedor de armazenamento podem fornecer um desempenho razoável, garantindo que os dados estejam disponíveis em até 3 horas.

Filecoin aumenta a confiança dos provedores de armazenamento ajustando a garantia variável, como no EigenDA. O Filecoin estende essa segurança ajustável permitindo o armazenamento de um grande número de cópias na rede, aumentando assim a tolerância a falhas bizantinas ajustável. Para prevenir efetivamente ataques de retenção de dados, é necessário resolver o problema de recuperação de dados com garantia e alto desempenho. No entanto, como qualquer outra solução, o único método realmente garantido de garantir a capacidade de recuperação é hospedar nós por conta própria ou confiar em provedores de infraestrutura.

Nós vemos oportunidades para DA no desenvolvimento adicional do PoDSI, que pode substituir o DAS (juntamente com a prova atual do Filecoin) para garantir que os dados estejam incluídos em setores maiores de encapsulamento. Dependendo do caso concreto, isso pode tornar aceitável a lentidão na circulação dos dados, porque a prova de fraude pode ser publicada em um período de 1 dia a 1 semana, enquanto o DA pode ser garantido conforme necessário. PoDSI é uma tecnologia nova e está em intenso desenvolvimento, por isso ainda não sabemos o quão eficiente será o PoDSI, nem os mecanismos necessários para construir um sistema em torno dele. Como já existem soluções para fazer cálculos nos dados do Filecoin, uma solução para calcular PoDSI em dados encapsulados ou não encapsulados pode não estar fora de alcance.

Com o desenvolvimento do DA e do domínio Filecoin, novas combinações de soluções e tecnologias de suporte podem trazer novas verificações de conceitos. Como demonstrado pela integração da Solana com a rede Filecoin, o DSN possui potencial como uma tecnologia de expansão. Os custos de armazenamento de dados no Filecoin oferecem uma oportunidade aberta com grande espaço para otimização. Embora os desafios discutidos neste artigo sejam apresentados no contexto do suporte ao DA, suas soluções finais construirão uma infinidade de novas ferramentas e sistemas além do DA.

Os dados dos gráficos relacionados são provenientes de Filecoin spec, EIP-4844, EigenDA, Celestia implementation, Celenium, Starboard, file.app, Rollups DA e ution, bem como o preço de mercado atual aproximado.

"Link original"