Intensificação da Concorrência de Dados e Tendências Rumo à Democratização dos Dados

Os dados são a base e a força motriz para treinar e melhorar os modelos de IA. Sem dados suficientes e de alta qualidade, os modelos de IA não podem melhorar o seu desempenho ou adaptar-se a diferentes cenários. Ao mesmo tempo, os dados são um recurso escasso e valioso. As empresas com acesso a uma grande quantidade de novos dados podem ganhar vantagens competitivas e poder de barganha. Consequentemente, várias partes procuram ativamente e desenvolvem novas fontes de dados enquanto protegem os seus próprios dados contra infrações.

No entanto, o actual ecossistema de dados enfrenta alguns problemas e desafios, tais como:

• Monopólio de Dados: As grandes empresas de internet formaram monopólios de dados significativos recolhendo, armazenando, analisando e utilizando os dados pessoais dos utilizadores, o que exclui outros concorrentes e inovadores.
• Privacidade de dados: Os dados pessoais dos utilizadores são obtidos, mal utilizados, vazados ou vendidos por grandes empresas de internet sem consentimento, violando os direitos de privacidade e a autonomia dos utilizadores.
• Qualidade dos dados: Devido a razões como fontes de dados opacas, padrões de dados inconsistentes e processamento inadequado de dados, surgem problemas de qualidade dos dados, como incompletude, inconsistência, ruído ou viés.
• Exaustão de dados: À medida que os modelos de IA se tornam cada vez mais complexos e massivos, são necessários mais e mais dados de qualidade superior para a formação e melhoria. No entanto, as fontes de dados existentes podem não satisfazer esta procura, o que representa um risco de esgotamento dos dados.

Para resolver estes problemas e desafios, a indústria sugere várias soluções possíveis:

• Síntese de Dados: Utilizando técnicas como Generative Adversarial Networks (GANs), gere dados virtuais mas realistas para expandir conjuntos de dados existentes.
• Federações de Dados: Utilize tecnologias de encriptação, distribuídas e colaborativas para conseguir partilha e colaboração de dados interinstitucionais, inter-regionais e entre domínios, protegendo a privacidade e a segurança dos dados.
• Data Marketplaces: Utilize tecnologias como blockchain, contratos inteligentes e tokens para permitir transações e circulação de dados descentralizadas, transparentes e justas.

Entre eles, o modelo de construção de um volante de dados através da arquitetura distribuída Web3 chamou a nossa atenção. Web3 refere-se à internet de próxima geração construída sobre tecnologia blockchain e redes descentralizadas. A Web3 permite que os utilizadores tenham total controlo e propriedade dos seus dados enquanto incentiva a partilha e troca de dados através de tokens. Desta forma, os construtores de modelos de IA podem obter os dados autorizados dos utilizadores através da plataforma Web3, e os utilizadores podem receber as recompensas correspondentes. Este modelo promove a circulação de dados e a inovação ao mesmo tempo que protege a privacidade e a segurança dos dados.

Como construir um volante de dados descentralizado para modelos grandes

Para alavancar a arquitetura distribuída da Web3 para criar um volante descentralizado de big model data, precisamos de considerar os seguintes aspectos:

Estabelecer Estratégia e Objetivos de Dados

Antes de começar a recolher e usar dados, é necessária uma visão clara, esclarecendo o que deve ser alcançado através dos dados e como se alinha com os objetivos de negócio. Também é necessário identificar as principais partes interessadas, métricas e resultados que orientam o projeto de dados. Por exemplo, numa plataforma de comércio eletrónico de IA construída sobre a infraestrutura Web3, é essencial estabelecer dados com base nas necessidades do utilizador, usando dados do lado do consumidor para criar uma base de dados vetorial de procura. Quando o lado da produção faz interface com a base de dados do consumidor, o pagamento do Token correspondente deve ser feito de acordo com contratos inteligentes.

Recolher e armazenar dados de várias fontes

Para criar um conjunto de dados abrangente e diversificado, os dados devem ser recolhidos e armazenados de várias fontes, tais como web scraping, interações do utilizador, sensores, etc. Uma plataforma cloud fiável e escalável, como a Amazon Web Services, deve ser utilizada para um armazenamento e gestão de dados seguros e eficientes. A recolha de dados deve ser feita através de várias bases de dados vetoriais verticais através de aquisições contratuais.

Transformar e enriquecer dados

Para tornar os dados adequados para fins de aprendizado de máquina, devem ser submetidos a pré-processamento, limpeza, rotulagem, aprimoramento e organização. As ferramentas de etiquetagem e engenharia de dados, como Labelbox ou ATScale, devem ser utilizadas para automatizar e otimizar estes processos.

Construir e treinar modelos grandes

Utilize dados para construir e treinar modelos de machine learning em larga escala que possam fornecer resultados precisos e fiáveis. Modelos básicos como ChatGPT ou PalM podem ser usados como pontos de partida para a construção de modelos personalizados, ou frameworks como PyTorch ou TensorFlow podem ser empregados para implementar e treinar modelos.

Implantar e gerir modelos grandes em produção

Para fornecer resultados de modelo aos utilizadores e clientes, os modelos precisam de ser implementados e geridos em ambientes de produção. Plataformas e ferramentas como MLCommons ou TensorBoard devem ser utilizadas para garantir o desempenho, a segurança e a escalabilidade do modelo.

Integrar Modelos Grandes em Produtos e Serviços

Para fornecer valor aos utilizadores e clientes, os modelos grandes devem ser integrados em produtos e serviços que resolvam os seus problemas ou satisfaçam as suas necessidades. APIs e bibliotecas como o OpenAI Playground ou o Hugging Face Transformers podem ser utilizadas para aceder e utilizar modelos grandes para várias tarefas.

Recolher e Analisar Feedback sobre Saídas de Grandes Modelos de Utilizadores e Clientes

Para melhorar modelos grandes com base no feedback de utilizadores e clientes, as suas classificações, comentários, opiniões, cliques, compras, etc., devem ser recolhidos e analisados. Ferramentas analíticas e de pesquisa como o Google Analytics ou o Google Forms podem ser usadas para rastrear e medir o seu comportamento e opiniões.

Principais fases do Volante de Dados

Com base nos aspectos mencionados, vamos explorar mais detalhadamente como utilizar o volante de dados em grandes aplicações de modelo construídas na infraestrutura unificada da Web3 para valor de dados pessoais e públicos. Este tipo de volante de dados tem de considerar as seguintes etapas importantes:

Aquisição de dados: Os dados são obtidos ponto a ponto através de portais de aplicações de IA e os utilizadores são incentivados com Tokens. Isto significa que os utilizadores podem ganhar um retorno partilhando os seus dados, em vez de serem explorados e controlados por grandes empresas como na Web 2.0. Os possíveis métodos de aquisição de dados incluem raspagem na web, interações do utilizador, sensores, etc. Estes dados podem ser verificados, autorizados e recompensados através de contratos inteligentes na plataforma Web3, protegendo assim os direitos de dados e a privacidade dos utilizadores.

Transformação de dados: Os dados são rotulados vetorialmente e é estabelecido um sistema de quantificação de dados. Os tokens são pagos por links ponto a ponto de dados unitários distribuídos e os dados são precificados através de contratos inteligentes durante a etiquetagem. Isto significa que os dados podem ser pré-processados, limpos, rotulados, melhorados e organizados para se adequarem a finalidades de aprendizagem automática. Estes processos podem ser normalizados, coordenados e incentivados através de contratos inteligentes na plataforma Web3, melhorando assim a qualidade e a eficiência dos dados.

Desenvolvimento de modelos: Treine modelos verticais grandes com dados de base de dados vetoriais em domínios segmentados. Isto implica a utilização de dados para construir e treinar modelos de machine learning em larga escala que fornecem resultados precisos e fiáveis. Estes modelos podem ser concebidos, otimizados e avaliados através de contratos inteligentes na plataforma Web3, melhorando o seu desempenho e adaptabilidade.

Consumo de modelo e dados: Ambos têm preços através de contratos inteligentes, e qualquer utilizador de API deve pagar através de contratos inteligentes para usar o modelo e os dados. Isto significa que os modelos e os dados podem ser integrados em produtos e serviços, proporcionando valor aos utilizadores e clientes, tais como compreensão de linguagem natural, visão computacional, sistemas de recomendação, etc. Estes produtos e serviços podem ser negociados, distribuídos e recompensados através de contratos inteligentes na plataforma Web3, permitindo assim a circulação de dados e a inovação.

Feedback do modelo e dos dados: Como recolher e analisar o feedback do utilizador e do cliente sobre as saídas e dados do modelo. Isto significa melhorar modelos e dados com base nas avaliações dos utilizadores e clientes, comentários, opiniões, cliques, compras, etc. Este feedback pode ser recolhido, analisado e recompensado através de contratos inteligentes na plataforma Web3, conseguindo assim uma otimização contínua de modelos e dados.

Objetivos do Volante de Dados Descentralizados

O objetivo do volante descentralizado de big model data não é apenas treinar modelos grandes mas também alcançar business intelligence. Os dados atualizados em tempo real são utilizados não apenas para a formação de grandes modelos para alavancar o seu valor público mas também para perceber o valor pessoal dos utilizadores através de sistemas de transmissão de dados ponto a ponto. Visa preencher a lacuna entre os dados do consumidor e os dados de produção, estabelecendo um sistema de cadeia industrial que liga o lado da oferta ao lado da procura, formando uma sociedade empresarial verdadeiramente descentralizada e realizando a democratização dos dados, autonomia e criação de valor.

Para atingir este objetivo, podemos implementá-lo das seguintes maneiras:

O volante de dados pode melhorar a eficiência do treino e a eficácia dos modelos grandes. Ao utilizar a arquitetura distribuída Web3, os utilizadores podem ter controlo e propriedade completos dos seus dados, ao mesmo tempo que partilham e trocam dados através de um mecanismo de incentivo de Token. Assim, os construtores de modelos de IA podem adquirir dados autorizados dos utilizadores através da plataforma Web3, e os utilizadores podem receber recompensas correspondentes. Este modelo pode promover a circulação de dados e a inovação ao mesmo tempo que protege a privacidade e a segurança dos dados. Estes dados podem ser usados para construir e treinar modelos de machine learning em larga escala que fornecem resultados precisos e fiáveis, tais como compreensão de linguagem natural, visão computacional, sistemas de recomendação, etc.

O volante de dados pode ligar os dados do consumidor com os dados de produção. Ao usar contratos inteligentes para preços, qualquer utilizador da API precisa de pagar através de contratos inteligentes para usar o modelo e os dados. Isto significa que os modelos e os dados podem ser integrados em produtos e serviços, proporcionando valor aos utilizadores e clientes. Estes produtos e serviços podem ser negociados, distribuídos e recompensados através de contratos inteligentes na plataforma Web3, permitindo assim a circulação de dados e a inovação. Desta forma, os dados do consumidor podem estabelecer um banco de dados de vetores do consumidor e, quando o lado da produção faz interface com o banco de dados do consumidor, o pagamento por token é exigido de acordo com contratos inteligentes. Este método pode estabelecer um sistema de cadeia industrial que liga os lados da oferta e da procura, melhorando assim a eficiência e eficácia do negócio.

O volante de dados pode formar uma sociedade empresarial verdadeiramente descentralizada. Ao utilizar um volante de dados de grandes modelos de aplicações construídas na infra-estrutura unificada de valor de dados pessoais e públicos da Web3, a colaboração e a vitória mútua entre utilizadores, fornecedores e plataformas podem ser alcançadas. As próximas leis de proteção de dados são difíceis de implementar no ambiente Web2.0 e não podem proteger completamente os dados do utilizador e o monopólio anti-dados de uma perspectiva técnica. Em contraste, no ambiente técnico da estrutura do volante de dados do big model distribuído, os utilizadores podem ganhar um retorno partilhando os seus dados, em vez de serem explorados e controlados por grandes empresas como na Web 2.0. Os programadores podem construir e treinar modelos grandes de alto desempenho usando os dados autorizados dos utilizadores e integrá-los em produtos e serviços. As plataformas podem promover a inovação de dados e modelos, fornecendo mecanismos de negociação e circulação seguros, transparentes e justos. Este método pode alcançar a democratização dos dados, a autonomia e a criação de valor.

Conclusão

Construir um volante descentralizado de big model data através da arquitetura distribuída Web3 é uma solução promissora que pode resolver alguns dos problemas e desafios existentes no ecossistema de dados atual e promover a circulação de dados e a inovação. Para atingir este objetivo, precisamos de considerar vários aspectos, desde o estabelecimento de estratégias e objetivos de dados até a recolha e análise do feedback dos utilizadores, evitando algumas armadilhas comuns. Também precisamos de considerar como usar o volante de dados de grandes modelos de aplicações construídas na infra-estrutura unificada de valor de dados pessoais e públicos da Web3, conseguindo assim a colaboração e benefícios mútuos entre utilizadores, fornecedores e plataformas. Esperamos que este artigo possa fornecer-lhe algumas informações e insights úteis.

Isenção de responsabilidade：

1. Este artigo foi reimpresso de [FlerKens]. Todos os direitos de autor pertencem ao autor original []. Se houver objeções a esta reimpressão, contacte a equipa do Gate Learn, e eles tratarão disso imediatamente.
2. Isenção de responsabilidade: As opiniões e opiniões expressas neste artigo são exclusivamente do autor e não constituem nenhum conselho de investimento.
3. As traduções do artigo para outras línguas são feitas pela equipa do Gate Learn. A menos que mencionado, é proibido copiar, distribuir ou plagiar os artigos traduzidos.