Ao aproveitar o poder dos algoritmos, do poder computacional e dos dados, o avanço da tecnologia de IA está a redefinir os limites do processamento de dados e da tomada de decisão inteligente. Ao mesmo tempo, o DePin representa uma mudança de paradigma de uma infraestrutura centralizada para redes descentralizadas baseadas em blockchain.

À medida que o mundo acelera o seu ritmo rumo à transformação digital, a IA e a DePin (infraestrutura física descentralizada) tornaram-se tecnologias fundamentais que impulsionam a transformação em todos os setores. A fusão da IA e do DePin não só promove uma rápida iteração tecnológica e uma aplicação generalizada, mas também abre um modelo de serviço mais seguro, transparente e eficiente, trazendo mudanças profundas à economia global.

DePin: A descentralização passa da virtualidade para a realidade, o pilar da economia digital

DePin é a abreviatura de Infraestrutura Física Descentralizada. Num sentido restrito, DePin refere-se principalmente à rede distribuída da infra-estrutura física tradicional suportada pela tecnologia de contabilidade distribuída, tal como rede de energia, rede de comunicação, rede de posicionamento, etc. Em termos gerais, todas as redes distribuídas suportadas por dispositivos físicos podem chamar-se DePin, tais como redes de armazenamento e redes de computação.

Fonte da imagem: Messari

Se a Crypto trouxe mudanças descentralizadas a nível financeiro, então o DePin é uma solução descentralizada na economia real. Pode-se dizer que a máquina mineira PoW é uma espécie de DePin. Então, o DePin tem sido um pilar central da Web3 desde o primeiro dia.

Os Três Elementos da IA — Algoritmo, Poder de Computação e Dados. DePin possui exclusivamente dois

O desenvolvimento da inteligência artificial é geralmente considerado como dependente de três elementos-chave: algoritmos, poder de computação e dados. Os algoritmos referem-se aos modelos matemáticos e à lógica do programa que impulsionam os sistemas de IA, o poder de computação refere-se aos recursos de computação necessários para executar esses algoritmos e os dados são a base para treinar e otimizar modelos de IA.

Qual dos três elementos é o mais importante? Antes do surgimento do ChatGPT, as pessoas normalmente pensavam nele como um algoritmo, caso contrário, as conferências académicas e os artigos de periódico não seriam preenchidos com o ajuste fino do algoritmo um após o outro. Mas quando o ChatGPT e o modelo de linguagem grande LLM que suporta a sua inteligência foram revelados, as pessoas começaram a perceber a importância dos dois últimos. O poder de computação maciço é o pré-requisito para o nascimento de modelos. A qualidade e a diversidade dos dados são cruciais para a construção de um sistema de IA robusto e eficiente. Em comparação, os requisitos para algoritmos já não são tão exigentes como antes.

Na era dos modelos grandes, a IA passou do ajuste fino para a força bruta, com uma procura crescente de poder computacional e dados. DePin consegue fornecer isso. Os incentivos de token alavancarão o mercado de cauda longa, onde o enorme poder de computação e armazenamento de nível de consumo se tornarão o melhor alimento para modelos grandes.

A descentralização da IA não é uma opção, mas uma necessidade

Claro, alguém pode perguntar, porquê escolher o DePin em vez de serviços centralizados quando tanto o poder computacional como os dados estão disponíveis nos data centers da AWS e, além disso, a AWS supera o DePin em termos de estabilidade e experiência do utilizador?

Esta afirmação tem naturalmente o seu raciocínio. Afinal, olhando para a situação atual, quase todos os grandes modelos são desenvolvidos direta ou indiretamente por grandes empresas de internet. Por trás do ChatGPT está a Microsoft, e atrás do Gemini está o Google. Na China, quase todas as grandes empresas de internet têm um modelo grande. Porque é que isso? É porque só as grandes empresas de internet têm o poder computacional suportado por dados de alta qualidade e fortes recursos financeiros. Mas isso não está correto. As pessoas já não querem ser manipuladas por gigantes da internet.

Por um lado, a IA centralizada acarreta riscos de privacidade e segurança de dados e pode estar sujeita a censura e controlo. Por outro lado, a IA produzida por gigantes da Internet fortalecerá ainda mais a dependência das pessoas, levará à concentração do mercado e aumentará as barreiras à inovação.

de: https://www.gensyn.ai/

A humanidade não deveria mais precisar de um Martin Luther na era da IA. As pessoas devem ter o direito de falar diretamente com Deus.

DePin De Uma Perspectiva Empresarial: Redução de Custos e Aumento de Eficiência São Fundamentes-chave

Mesmo deixando de lado o debate entre valores de descentralização e centralização, do ponto de vista empresarial, ainda existem vantagens em usar o DePin para IA.

Em primeiro lugar, é importante reconhecer que embora os gigantes da Internet controlem um grande número de recursos de placas gráficas topo de gama, a combinação de placas gráficas de nível de consumo nas mãos de indivíduos ainda pode formar uma rede de poder de computação significativa, conhecida como o efeito de cauda longa do poder de computação. Estas placas gráficas de consumo têm frequentemente altas taxas de inactivo. Desde que os incentivos fornecidos pelo DePin excedam o custo da eletricidade, os utilizadores têm a motivação para contribuir com o seu poder de computação para a rede. Além disso, com os utilizadores a gerir a infra-estrutura física eles próprios, a rede DePin não suporta os custos operacionais que os fornecedores centralizados não podem evitar e pode concentrar-se apenas no design do protocolo.

Para os dados, a rede DePin pode desbloquear a potencial usabilidade dos dados e reduzir os custos de transmissão através da computação de ponta e outros métodos. Além disso, a maioria das redes de armazenamento distribuído tem capacidades de desduplicação automática, reduzindo a necessidade de limpeza extensiva de dados no treino de IA.

Por último, a economia cripto trazida pela DePin aumenta a tolerância a falhas do sistema e tem o potencial de alcançar uma situação ganha-ganha para os fornecedores, consumidores e plataformas.

Imagem de: UCLA

Caso não acredite, a pesquisa mais recente da UCLA mostra que a utilização de computação descentralizada atinge um desempenho 2,75 vezes melhor do que os clusters tradicionais de GPU ao mesmo custo. Especificamente, é 1,22 vezes mais rápido e 4.83 vezes mais barato.

Estrada difícil pela frente: Que desafios vai encontrar o AixDePin?

Escolhemos ir à lua e fazer outras coisas nesta década não porque são fáceis, mas porque são difíceis. — John Fitzgerald Kennedy

Usar o armazenamento distribuído e a computação distribuída do DePin para construir modelos de IA sem confiança ainda apresenta muitos desafios.

Verificação de trabalho

Essencialmente, tanto a computação do modelo de aprendizagem profunda como a mineração PoW são formas de computação geral, com as alterações de sinal subjacentes entre circuitos de porta. A nível macro, a mineração PoW é uma “computação inútil”, tentando encontrar um valor de hash com um prefixo de n zeros através de inúmeros cálculos aleatórios de geração de números e funções hash. Por outro lado, a computação de aprendizagem profunda é “computação útil”, calculando os valores dos parâmetros de cada camada na aprendizagem profunda através da propagação para frente e para trás, construindo assim um modelo de IA eficiente.

O facto é que “cálculos inúteis” como a mineração PoW usam funções hash. É fácil calcular a imagem a partir da imagem original, mas é difícil calcular a imagem original a partir da imagem, para que qualquer pessoa possa verificar de forma fácil e rápida a validade do cálculo; Para o cálculo do modelo de aprendizagem profunda, devido à estrutura hierárquica, a saída de cada camada é usada como entrada da próxima camada. Portanto, verificar a validade do cálculo requer a realização de todo o trabalho anterior e não pode ser verificado de forma simples e eficaz.

Imagem de: AWS

A verificação do trabalho é muito crítica, caso contrário, o fornecedor do cálculo não poderia realizar o cálculo e apresentar um resultado gerado aleatoriamente.

Uma ideia é fazer com que servidores diferentes executem as mesmas tarefas de computação e verifiquem a eficácia do trabalho repetindo a execução e verificando se é o mesmo. No entanto, a grande maioria dos cálculos do modelo não são determinísticos e os mesmos resultados não podem ser reproduzidos mesmo no mesmo ambiente de computação, e só podem ser semelhantes num sentido estatístico. Além disso, a dupla contagem levará a um rápido aumento dos custos, o que é inconsistente com o objetivo principal do DePin de reduzir custos e aumentar a eficiência.

Outra categoria de ideias é o mecanismo otimista, que assume com otimismo que o resultado é calculado corretamente e permite que qualquer pessoa verifique o resultado do cálculo. Se forem encontrados erros, pode ser apresentada uma Prova de Fraude. O protocolo penaliza o fraudador e recompensa o denunciante.

Paralelização

Como mencionado anteriormente, o DePin alavanca principalmente o mercado de poder de computação de consumo de cauda longa, o que significa que o poder de computação fornecido por um único dispositivo é relativamente limitado. Para modelos de IA grandes, o treino num único dispositivo levará muito tempo e a paralelização deve ser utilizada para encurtar o tempo de treino.

A principal dificuldade em paralelizar o treino de aprendizagem profunda reside na dependência entre tarefas anteriores e subsequentes, o que torna a paralelização difícil de alcançar.

Atualmente, a paralelização do treinamento de aprendizagem profunda é dividida principalmente em paralelismo de dados e paralelismo de modelo.

O paralelismo de dados refere-se à distribuição de dados entre várias máquinas. Cada máquina guarda todos os parâmetros de um modelo, utiliza dados locais para formação e, finalmente, agrega os parâmetros de cada máquina. O paralelismo de dados funciona bem quando a quantidade de dados é grande, mas requer comunicação síncrona para agregar parâmetros.

O paralelismo do modelo significa que quando o tamanho do modelo é demasiado grande para caber numa única máquina, o modelo pode ser dividido em várias máquinas, e cada máquina guarda uma parte dos parâmetros do modelo. As propagações para frente e para trás requerem comunicação entre máquinas diferentes. O paralelismo do modelo tem vantagens quando o modelo é grande, mas a sobrecarga de comunicação durante a propagação para frente e para trás é grande.

A informação de gradiente entre diferentes camadas pode ser dividida em atualização síncrona e atualização assíncrona. A atualização síncrona é simples e direta, mas aumentará o tempo de espera; o algoritmo de atualização assíncrona tem um tempo de espera curto, mas introduzirá problemas de estabilidade.

Imagem de: Universidade de Stanford, Aprendizagem Profunda Paralela e Distribuída

Privacidade

A tendência global de proteger a privacidade pessoal está a aumentar e os governos de todo o mundo estão a reforçar a proteção da segurança da privacidade dos dados pessoais. Embora a IA faça uso extensivo de conjuntos de dados públicos, o que realmente diferencia os diferentes modelos de IA são os dados proprietários do utilizador de cada empresa.

Como obter os benefícios dos dados proprietários durante a formação sem expor a privacidade? Como garantir que os parâmetros do modelo de IA construído não sejam vazados?

Estes são dois aspetos da privacidade, privacidade de dados e privacidade do modelo. A privacidade dos dados protege os utilizadores, enquanto a privacidade do modelo protege a organização que constrói o modelo. No cenário atual, a privacidade dos dados é muito mais importante do que a privacidade do modelo.

Estão a ser tentadas várias soluções para resolver a questão da privacidade. A aprendizagem federada garante a privacidade dos dados treinando na fonte dos dados, mantendo os dados localmente e transmitindo os parâmetros do modelo; e a prova de conhecimento zero pode tornar-se uma estrela em ascensão.

Análise de Caso: Quais são os projetos de alta qualidade no mercado?

Gensyn

Gensyn é uma rede de computação distribuída concebida para treinar modelos de IA. A rede utiliza uma cadeia de blocos de camada um baseada no Polkadot para verificar a execução adequada de tarefas de aprendizagem profunda e acionar pagamentos através de comandos. Fundada em 2020, divulgou uma ronda de financiamento da Série A de 43 milhões de dólares em junho de 2023, com a a16z a liderar o investimento.

A Gensyn usa os metadados do processo de otimização baseado em gradiente para construir certificados do trabalho realizado, executados consistentemente por um protocolo de precisão multi-granular baseado em gráfico e avaliador cruzado para permitir que os trabalhos de validação sejam executados novamente e comparados quanto à consistência e, finalmente, pela cadeia Confirme-se você mesmo para garantir a validade do cálculo. Para reforçar ainda mais a fiabilidade da verificação do trabalho, a Gensyn introduz o staking para criar incentivos.

Existem quatro tipos de participantes no sistema: submetentes, solucionadores, verificadores e denunciantes.

• Os remetentes são utilizadores finais do sistema que fornecem tarefas a calcular e são pagos pelas unidades de trabalho concluídas.
• O solucionador é o principal trabalhador do sistema, realizando o treinamento do modelo e gerando provas para inspeção pelo verificador.
• O validador é a chave para ligar o processo de treino não determinístico com a computação linear determinística, replicar provas parciais do solucionador e comparar distâncias com os limiares esperados.
• O denunciante é a última linha de defesa, verificando o trabalho do verificador e levantando desafios, e recebendo recompensas depois de passar o desafio.

O solucionador precisa fazer uma promessa e o denunciante testa o trabalho do solucionador. Se ele descobrir o mal, vai desafiá-lo. Depois que o desafio for aprovado, os tokens apostados pelo solucionador serão multados e o denunciante será recompensado.

De acordo com as previsões da Gensyn, espera-se que esta solução reduza os custos de formação para 1/5 dos dos fornecedores centralizados.

Fonte: Gensyn

FedML

O FedML é uma plataforma de aprendizagem automática colaborativa descentralizada para IA descentralizada e colaborativa, em qualquer lugar e a qualquer escala. Mais especificamente, o FedML fornece um ecossistema MLOPS que treina, implementa, monitora e melhora continuamente os modelos de machine learning enquanto colabora em dados combinados, modelos e recursos de computação de uma forma que preserva a privacidade. Fundada em 2022, a FedML divulgou uma ronda de sementes de 6 milhões de dólares em março de 2023.

O FedML consiste em dois componentes principais: FedML-API e FedML-core, que representam API de alto nível e API de baixo nível, respectivamente.

O FedML-Core inclui dois módulos independentes: comunicação distribuída e formação de modelos. O módulo de comunicação é responsável pela comunicação subjacente entre diferentes trabalhadores/clientes e é baseado no MPI; o módulo de formação modelo é baseado no PyTorch.

O FedML-API é construído sobre o FedML-core. Com o FedML-Core, novos algoritmos distribuídos podem ser facilmente implementados através da adoção de interfaces de programação orientadas para o cliente.

O trabalho mais recente da equipa da FedML demonstra que a utilização do FedML Nexus AI para inferência do modelo de IA na GPU RTX 4090 de nível de consumo é 20 vezes mais barata e 1,88 vezes mais rápida do que a utilização do A100.

de: FedML

Future Outlook: DePin traz a democratização da IA

Um dia, a IA vai evoluir ainda mais para AGI, e o poder de computação vai tornar-se a moeda universal de facto. O DePin fará com que este processo aconteça com antecedência.

A intersecção e colaboração da IA e da DePin abriu um novo ponto de crescimento tecnológico, proporcionando enormes oportunidades para o desenvolvimento da inteligência artificial. O DePin fornece à IA um enorme poder de computação distribuída e dados, o que ajuda a treinar modelos de maior escala e a obter uma inteligência mais forte. Ao mesmo tempo, o DePin também permite que a IA se desenvolva para uma direção mais aberta, segura e confiável, reduzindo a dependência de uma única infraestrutura centralizada.

Olhando para o futuro, a IA e o DePin continuarão a desenvolver-se em sinergia. As redes distribuídas fornecerão uma base sólida para a formação de modelos super-grandes, que desempenharão um papel importante nas aplicações DePin. Ao mesmo tempo que protege a privacidade e a segurança, a IA também contribuirá para a otimização dos protocolos e algoritmos de rede DePin. Estamos ansiosos para que a IA e o DePin tragam um mundo digital mais eficiente, justo e confiável.

Isenção de responsabilidade：

1. Este artigo foi reimpresso de []. Todos os direitos de autor pertencem ao autor original [**]. Se houver objeções a esta reimpressão, contacte a equipa do Gate Learn, e eles tratarão disso imediatamente.
2. Isenção de responsabilidade: As
   opiniões e opiniões expressas neste artigo são exclusivamente do autor e não constituem nenhum conselho de investimento.
3. As traduções do artigo para outras línguas são feitas pela equipa do Gate Learn. A menos que mencionado, é proibido copiar, distribuir ou plagiar os artigos traduzidos.