Encaminhar o Título Original: d/acc: um ano depois

Há cerca de um ano, escrevi um artigo sobre o techno-otimismo, descrevendo meu entusiasmo geral pela tecnologia e os enormes benefícios que ela pode trazer, bem como minha cautela em relação a algumas preocupações específicas, principalmente centradas em uma inteligência artificial superinteligente e no risco que ela pode trazer, seja o destino ou a desempoderamento humano irreversível, se a tecnologia for construída de maneira errada. Uma das ideias centrais do meu post foi a filosofia de: aceleração defensiva descentralizada e democrática diferencial. Acelere a tecnologia, mas foque diferencialmente nas tecnologias que melhoram nossa capacidade de defesa, em vez de nossa capacidade de causar danos, e em tecnologias que distribuam poder em vez de concentrá-lo nas mãos de uma elite singular que decide o que é verdadeiro, falso, bom ou mau em nome de todos. Defesa como em democracia.Suíçae historicamente quase-anarquistaZomia, não como os senhores e castelos do feudalismo medieval.

No ano desde então, a filosofia e as ideias amadureceram significativamente. Eu falei sobre as ideias em 80,000 Horas, e tenho visto muitas respostas, em grande parte positivas e algumas críticas. O trabalho em si continua e está dando frutos: estamos vendo progressoem verificávelvacinas de código aberto, crescente reconhecimento do valor de um ar interior saudável, as Community Notes continuam a brilhar, um ano de destaque para mercados de previsão como uma ferramenta de informação, ZK-SNARKs em ID do governoerede social (e segurançaEthereumcarteirasatravésabstração de conta), ferramentas de imagem de código abertocom aplicações na medicina e BCI, e muito mais. No outono, tivemos o primeiro evento significativo de d/acc: “d/acc Discovery Day” (d/aDDy) na Devcon, que contou com um dia inteiro de palestrantes de todos os pilares do d/acc (bio, física, cibernética, defesa de informações, além de neurotecnologia). Pessoas que trabalham nessas tecnologias há anos estão cada vez mais cientes do trabalho umas das outras, e as pessoas de fora estão cada vez mais cientes da história maior: os mesmos tipos de valores que motivaram Ethereum e criptomoedas.pode ser aplicado ao mundo em geral.

Índice

• O que é e o que não é d/acc
• A terceira dimensão: sobreviver e prosperar
• A difícil questão: segurança da IA, prazos curtos e regulamentação
• O papel da cripto no d/acc
• d/acc e financiamento de bens públicos
• O futuro

O que é e o que não é d/acc

É o ano de 2042. Está a ver notícias na comunicação social sobre uma nova pandemia potencialmente na sua cidade. Está habituado a isto: as pessoas ficam demasiado entusiasmadas com cada mutação de doença animal, e a maioria delas não dá em nada. As duas pandemias potenciais anteriores foram detetadas muito cedo através monitorização de águas residuaiseanálise de código aberto das redes sociais, e pararam completamente no caminho. Mas desta vez, os mercados de previsão estão mostrando uma chance de 60% de pelo menos 10.000 casos, então você está mais preocupado.

A sequência do vírus foi identificada ontem. Atualizações de software para o seu bolso.testador de arpermitir que detete o novo vírus (de um único sopro, ou de 15 minutos de exposição ao ar interior numa sala) já estão disponíveis. Instruções de código aberto e código para gerar uma vacina usando equipamento que pode ser encontrado em qualquer instalação médica moderna em todo o mundo devem estar disponíveis dentro de semanas. A maioria das pessoas ainda não está a tomar qualquer ação, confiando principalmente na adoção generalizada de filtragem do ar e ventilação para as proteger. Tem uma condição imune, por isso está mais cauteloso: o seu assistente pessoal de IA em execução local de código aberto, que trata, entre outras tarefas, da navegação e recomendação de restaurantes e eventos, também está a ter em conta dados de testes de ar em tempo real e de CO2 para apenas recomendar os locais mais seguros. Os dados são fornecidos por milhares de participantes e dispositivos usando Zk-SNARKs e privacidade diferencialminimizar o risco de que os dados possam ser vazados ou utilizados para qualquer outro fim (se desejar contribuir com dados para esses conjuntos de dados, há outros assistentes pessoais de IA que verificam provas formais de que esses dispositivos criptográficos realmente funcionam).

Dois meses depois, a pandemia desapareceu: parece que 60% das pessoas que seguem o protocolo básico de colocar uma máscara se o testador de ar apitar e mostrar a presença do vírus e ficar em casa se testarem positivo pessoalmente, foi suficiente para empurrar a taxa de transmissão, já muito reduzida devido à filtragem pesada passiva do ar, para abaixo de 1. Uma doença que simulações mostram que poderia ter sido cinco vezes pior do que a Covid há vinte anos acaba por ser uma não questão hoje.

Dia de d/acc Devcon

Uma das conclusões mais positivas do evento d/acc na Devcon foi a extensão em que o guarda-chuva d/acc conseguiu reunir pessoas de áreas muito diferentes e fazê-las interessar-se realmente pelo trabalho umas das outras.

Criar eventos com “diversidade” é fácil, mas fazer com que pessoas diferentes com origens e interesses diferentes se relacionem de fato é difícil. Ainda tenho memórias de ser obrigado a assistir óperas longas no ensino médio e no ensino médio, e pessoalmente achá-las entediantes. Eu sabia que eu era “suposto” apreciá-las, porque se não o fizesse, seria um programador sem cultura, mas eu não me conectava com o conteúdo em um nível mais genuíno. O dia d/acc não foi assim de forma alguma: parecia que as pessoas realmente gostavam de aprender sobre diferentes tipos de trabalho em diferentes áreas.

Se queremos criar uma alternativa mais brilhante à dominação, desaceleração e condenação, precisamos desse tipo de construção de coalizão ampla. d/acc parecia estar de fato tendo sucesso nisso, e isso por si só mostra o valor da ideia.

A ideia central do d/acc é simples: aceleração defensiva diferencial descentralizada e democrática. Construir tecnologias que desloquem o equilíbrio ofensivo/defensivo para a defesa, e fazê-lo de uma forma que não dependa de transferir mais poder para autoridades centralizadas. Existe uma ligação inerente entre esses dois lados: qualquer tipo de estrutura política descentralizada, democrática ou liberal prospera melhor quando a defesa é fácil e enfrenta mais desafios quando a defesa é difícil - nesses casos, o resultado muito mais provável é algum período de guerra de todos contra todos e, eventualmente, um equilíbrio de governação pelos mais fortes.

O princípio fundamental do d/acc estende-se por muitos domínios:

Gráfico de O meu Techno-Optimismismo, no ano passado

Uma maneira de entender a importância de tentar ser descentralizado, defensivo e acelerado ao mesmo tempo, é contrastá-lo com a filosofia que você obtém quando você desiste de cada um dos três.

• Aceleração descentralizada, mas não se importe com a parte "defensiva diferencial". Basicamente, seja ume/acc, mas descentralizado. Há muitas pessoas que adotam essa abordagem, algunsque se rotulam como d/acc mas descrevem seu foco como 'OFENSIVO', mas também muitos outros que estão entusiasmados com 'IA descentralizada' e tópicos similares de forma mais moderada, mas, na minha opinião, não prestam atenção suficiente no aspecto 'defensivo'.

Na minha opinião, esta abordagem pode evitar o risco de ditadura humana global pela tribo específica que preocupa, mas não tem resposta para o problema estrutural subjacente: num ambiente favorável à ofensa, há um risco constante de catástrofe ou de alguém se posicionar como protetor e estabelecer-se permanentemente no topo. No caso específico da IA, também não tem uma boa resposta para o risco de os humanos como um todo serem desempoderados em comparação com as IAs.

• Aceleração defensiva diferencial, mas não se preocupe com a "descentralização e democracia". Abraçar o controle centralizado em prol da segurança tem um apelo permanente para um subconjunto de pessoas, e os leitores certamente já estão familiarizados com muitos exemplos e suas desvantagens. Recentemente, alguns têm se preocupado que o controle centralizado extremo seja a única solução para os extremos das futuras tecnologias: veja este cenário hipotéticoonde "Todos são equipados com uma 'etiqueta de liberdade' - um sequente para os dispositivos de vigilância vestíveis mais limitados familiar hoje, como a etiqueta de tornozelo usada em vários países como uma alternativa à prisão ... vídeo e áudio cifrados são continuamente carregados e interpretados por máquina em tempo real". No entanto, o controle centralizado é um espectro. Uma versão mais branda de controle centralizado que geralmente é ignorada, mas ainda é prejudicial, é a resistência à escrutínio público em biotecnologia (por exemplo.comida, vacinas) e as normas de código fechado que permitem que essa resistência não seja contestada.

O risco dessa abordagem é, é claro, que o centro muitas vezes é ele próprio a fonte de risco. Vimos isso na Covid, onde a pesquisa de ganho de função financiada pelo gatemúltiplos grandes governos mundiaispode ter sido a fonte da pandemia, a epistemologia centralizada levou a OMSnão reconhecendoparaanosque o Covid é transmitido pelo ar e coercivodistanciamento social e vacinamandatos levaram a reação política que pode repercutir por décadas. Uma situação semelhante pode muito bem acontecer em torno de quaisquer riscos relacionados à IA, ou outras tecnologias arriscadas. Uma abordagem descentralizada abordaria melhor os riscos do próprio centro.

• Defesa descentralizada, mas não se importam com a aceleração - basicamente, tentando retardar o progresso tecnológico ou econômicodecrescimento.

O desafio com esta estratégia é duplo. Primeiro, em termos gerais, a tecnologia e o crescimento económico têm sido extremamente benéficos para a humanidade, e qualquer atraso nissoimpõe custosque sãodifícil de exagerar. Em segundo lugar, num mundo não totalitário, não avançar é instável: quem "enganar" mais e encontrar formas plausivelmente negáveis de avançar de qualquer maneira sairá na frente. As estratégias desaceleracionistas podem funcionar até certo ponto em alguns contextos: a alimentação europeia ser mais saudável do que a comida americana é um exemplo, o sucesso da não proliferação nuclear até agora é outro. Mas não podem trabalhar para sempre.

Com d/acc, queremos:

• Seja principista num momento em que grande parte do mundo está a tornar-se tribal, e não apenas construa o que quer que seja - queremos construir coisas específicas que tornem o mundo mais seguro e melhor.
• Reconhecer que o progresso tecnológico exponencial significa que o mundo vai ficar muito, muito estranho, e que a "pegada" total da humanidade no universo só vai aumentar. Nossa capacidade de manter animais, plantas e pessoas vulneráveis longe do perigo deve melhorar, mas a única saída é avançar.
• Construir tecnologia que nos mantém seguros sem supor que os “bons (ou bons AIs) estão no comando”. Fazemos isso construindo ferramentas que são naturalmente mais eficazquando usado para construir e proteger do que quando usado para destruir.

Outra forma de pensar em d / acc é voltar a um quadro deos movimentos do Partido Piratana Europa, no final dos anos 00: empoderamento.

O objetivo é construir um mundo onde preservamos a agência humana, alcançando ambosa liberdade negativa de evitar interferência ativa (seja de outras pessoas atuando como cidadãos privados, seja de governos, seja de bots superinteligentes) com nossa capacidade de moldar nossos próprios destinos, e a liberdade positiva de garantir que tenhamos o conhecimento e os recursos para. Isso ecoa uma tradição liberal clássica de séculos, que também inclui o foco de Stewart Brand em “acesso às ferramentas“ e de John Stuart Mill ênfase na educaçãoao ladoliberdadecomo componentes-chave do progresso humano - e talvez, pode-se acrescentar, o desejo de Buckminster Fuller de ver o processo de solução global serparticipativo e amplamente distribuído. Podemos ver d/acc como uma forma de alcançar esses mesmos objetivos dadas as paisagens tecnológicas do século 21.

A terceira dimensão: sobreviver e prosperar

No meu post do ano passado, d/acc focou especificamente nas tecnologias defensivas: defesa física, defesa biológica, defesa cibernética e defesa de informações. No entanto, a defesa descentralizada não é suficiente para tornar o mundo excelente: você também precisa de uma visão positiva e voltada para o futuro do que a humanidade pode fazer uso de sua nova descentralização e segurança para alcançar.

O post do ano passado continha uma visão positiva, em dois lugares:

1. Concentrando-me nos desafios da superinteligência, propus um caminho (longe do original para mim) de como podemos ter superinteligência sem desempoderamento:
   1. Hoje, construa IA como ferramentas em vez de IA como agentes altamente autônomos
   2. Amanhã use ferramentas como realidade virtual, myoelétricose interfaces cérebro-computador para criar um feedback cada vez mais apertado entre IA e humanos
   3. Com o tempo, avançar em direção a um desfecho final em que a superinteligência é uma combinação intimamente ligada de máquinas e de nós.
2. Ao falar sobre info-defesa, também mencionei tangencialmente que, além da tecnologia social defensiva que tenta ajudar comunidades a manter a coesão e ter um discurso de alta qualidade diante dos agressores, há também a tecnologia social progressiva que pode ajudar as comunidades a fazer julgamentos de alta qualidade mais prontamente: pol.isé um exemplo, e previsão mercadossão outros.

Mas estes dois pontos pareciam desconexos do argumento d/acc: "aqui estão algumas ideias para criar um mundo mais democrático e favorável à defesa na camada base, e já agora aqui estão algumas ideias não relacionadas sobre como poderíamos desenvolver a superinteligência".

No entanto, penso que na realidade existem algumas conexões muito importantes entre o que foi rotulado acima como tecnologia “defensiva” e “progressiva” d/acc. Vamos expandir o gráfico d/acc do post do ano passado, adicionando este eixo (além disso, vamos renomeá-lo “sobreviver versus prosperarAdicionar ")" ao gráfico e ver o que resulta:

Existe um padrão consistente, em todos os domínios, de que a ciência, as ideias e as ferramentas que podem nos ajudar a 'sobreviver' em um domínio estão intimamente relacionadas com a ciência, as ideias e as ferramentas que podem nos ajudar a 'prosperar'. Alguns exemplos:

• Muitas pesquisas anti-Covid recentes se concentram emO papel da persistência viralno corpo como um mecanismo para explicar por que a Covid Longa é um problema. Recentemente, também há sinais de persistência viralpode ser responsável pela doença de Alzheimer - Se for verdade, isso implica que abordar a persistência viral em todos os tipos de tecido pode ser a chave para resolver o envelhecimento.
• Baixo custo e em miniaturaferramentas de imagemcomo aqueles sendoconstruído por Openwaterpode ser poderoso para tratarmicrocoágulos, ou persistência viral, cânceres e também podem ser usados para BCI.
• Ideias muito semelhantes motivam a construção de ferramentas sociais desenvolvidas para ambientes altamente adversos, como Notas da Comunidade, e ferramentas sociais construídas para ambientes razoavelmente cooperativos, como pol.is.
• Os mercados de previsão são valiosoem ambosalta-cooperação e alta adversidadeambientes.
• Provas de conhecimento zero e tecnologias semelhantes para realizar cálculos em dados enquanto preservam a privacidade aumentam tanto os dados disponíveis para trabalhos úteis, como a ciência, quanto a privacidade.
• Energia solar e baterias são ótimas para potencializar a próxima onda de crescimento econômico limpo, mas também são incríveis para descentralização e resiliência física.

Além disso, existem também importantes interdependências entre as áreas temáticas:

• O BCI é muito relevante como uma tecnologia de infodefesa e colaboração, porque poderia permitir uma comunicação muito mais detalhada dos nossos pensamentos e intenções. BCI não é apenas bot-to-consciousness: também pode ser consciousness-to-bot-to-consciousness. Isso ecoa Pluralidade de ideias sobre o valor do BCI.
• Muito da biotecnologia depende da partilha de informações e, em muitos contextos, as pessoas só se sentirão confortáveis em partilhar informações se tiverem a certeza de que serão utilizadas para uma aplicação e apenas uma aplicação. Isso depende da tecnologia de privacidade (por exemplo, ZKP, FHE, ofuscação...)
• A tecnologia de colaboração pode ser usada para coordenar o financiamento de qualquer uma das outras áreas de tecnologia

A pergunta difícil: segurança da IA, prazos curtos e regulamentação

Pessoas diferentes têm linhas temporais de IA muito diferentes. Gráfico de Zuzalu em Montenegro, 2023.

O argumento contra o meu post do ano passado que achei mais convincente foi uma crítica da comunidade de segurança de IA. O argumento é o seguinte: 'claro, se tivermos meio século até obtermos uma IA forte, podemos concentrar nossas energias e construir todas essas coisas boas. Mas na verdade, parece que temos prazos de três anos até a IA geral (AGI) e mais três anos até a superinteligência. E, portanto, se não quisermos que o mundo seja destruído ou caia em uma armadilha irreversível, não podemos apenas acelerar o bem, também temos que desacelerar o mal, e isso significa aprovar regulamentações poderosas que podem deixar pessoas poderosas chateadas'. No meu post do ano passado, de fato, não chamei para nenhuma estratégia específica para 'desacelerar o mal', além de apelos vagos para não construir formas arriscadas de superinteligência. Portanto, aqui vale a pena abordar a pergunta diretamente: se estamos vivendo na mundo menos conveniente, onde o risco de IA é alto e os prazos são potencialmente de cinco anos, que regulamentação eu apoiaria?

Em primeiro lugar, a necessidade de prudência em torno de novos regulamentos

No ano passado, a principal regulamentação proposta de IA foi a Projeto de lei SB-1047 na Califórnia. O SB-1047 exigia que os desenvolvedores dos modelos mais potentes (aqueles que levam mais de US $ 100 milhões para treinar, ou mais de US $ 10 milhões no caso de ajustes finos) tomassem algumas medidas de teste de segurança antes de lançar. Além disso, impôs responsabilidade aos desenvolvedores de modelos de IA se eles não tomarem cuidado suficiente. Muitos detratores argumentaram que o projeto de lei era "uma ameaça ao código aberto"; Discordo, porque os limites de custo significavam que isso afetava apenas os modelos mais poderosos: até mesmo o LLama3 era gate"provavelmente abaixo do limiar. Olhando para trás, no entanto, acho que havia um problema maior com o projeto de lei: como a maioria dos regulamentos, ele estava sobreadaptado à situação atual. O foco no custo de treinamento já está se mostrando frágil diante da nova tecnologia: o recente modelo Deepseek v3 de qualidade de última geração foi treinado a um custo de apenas $6 milhões, e em novos modelos como o1os custos estão a mudar da formação para a inferência de forma mais geral.

Em segundo lugar, os atores mais prováveis que seriam realmente responsáveis por um cenário de desgraça da superinteligência artificial são realisticamente militares. Como nós viram no último meio século de biossegurança(e além disso), os militares estão dispostos a fazer coisas assustadoras e podem facilmente cometer erros. O uso militar de IA está avançando rapidamente hoje em dia (veja Ucrânia, Gaza). E qualquer regulamentação de segurança que um governo promulgue, por padrão, isentaria seu próprio militar e corporações que cooperam estreitamente com o militar.

Dito isto, esses argumentos não são razões para jogarmos as mãos para o ar e não fazer nada. Pelo contrário, podemos usá-los como um guia e tentar estabelecer regras que despertem essas preocupações o mínimo possível.

Estratégia 1: Responsabilidade

Se alguém age de alguma forma que cause danos legalmente exigíveis, elespoderia serprocessado. Isso não resolve o problema dos riscos provenientes de militares e outros atores “acima da lei”, mas é uma abordagem muito geral que evita o ajuste excessivo e é frequentemente suportadopor defensores do libertarianismoeconomistaspor esta razão exata.

Os principais alvos de responsabilidade que foram considerados até agora são:

• Utilizadores - as pessoas que utilizam a IA
• Deployers - intermediários que oferecem IA como serviço para usuários
• Desenvolvedores - as pessoas que constroem a IA

Responsabilizar os utilizadores parece ser mais compatível com incentivos. Enquanto a ligação entre como um modelo é desenvolvido e como ele acaba sendo usado é frequentemente pouco claro, o usuário decide exatamente como a IA é usada. A responsabilidade dos usuários cria uma forte pressão para fazer IA da maneira que considero correta: focar na construção de trajes mecânicos para a mente humana, não na criação de novas formas de vida inteligente auto-sustentável. O primeiro responde regularmente à intenção do usuário e, portanto, não causaria ações catastróficas a menos que o usuário desejasse. Este último teria o maior risco de se desviar e criar um cenário clássico de “IA se revoltando”. Outro benefício de colocar a responsabilidade o mais próximo possível do uso final é minimizar o risco de que a responsabilidade leve as pessoas a tomar ações que sejam prejudiciais de outras maneiras (por exemplo, fonte fechada, KYC e vigilância, conluio entre estado/empresa para restringir clandestinamente os usuários, como o desbancar, bloquear grandes regiões do mundo).

Há um argumento clássico contra a responsabilização apenas dos utilizadores: os utilizadores podem ser indivíduos comuns, sem muito dinheiro, ou mesmo anónimos, não deixando ninguém que possa realmente pagar por um dano catastrófico. Esse argumento pode ser exagerado: mesmo que alguns usuários sejam muito pequenos para serem responsabilizados, o cliente médio de um desenvolvedor de IA não é, e, portanto, os desenvolvedores de IA ainda seriam incentivados a criar produtos que possam dar aos seus usuários a garantia de que eles não enfrentarão alto risco de responsabilidade. Dito isto, continua a ser um argumento válido e que tem de ser abordado. Você precisa incentivar alguém no pipeline que tenha os recursos para tomar o nível apropriado de cuidado para fazê-lo, e implantadores e desenvolvedores são alvos facilmente disponíveis que ainda ter muita influênciasobre o quão seguro ou inseguro um modelo é.

A responsabilidade do implementador parece razoável. Uma preocupação comumente citada é que isso não funcionaria para modelos de código aberto, mas isso parece gerenciável, especialmente porque há uma alta probabilidade de que os modelos mais poderosos sejam de código fechado de qualquer maneira (e se eles se revelarem abertos, então, embora a responsabilidade do implementador não seja muito útil, também não causa muito dano). A responsabilidade do desenvolvedor tem a mesma preocupação (embora com modelos de código aberto haja uma certa dificuldade em ajustar um modelo para fazer algo originalmente proibido), mas o mesmo contra-argumento se aplica. Como princípio geral, colocar um 'imposto' no controle e essencialmente dizer 'você pode'.construir coisas que não controlas, ou você pode construir coisas que você controla, mas se você construir coisas que você controla, então 20% do controle deve ser usado para nossos propósitos”, parece uma posição razoável para os sistemas legais terem.

Uma ideia pouco explorada é atribuir responsabilidade a outros intervenientes na cadeia, que têm maior garantia de recursos. Uma ideia muito amigável para o desenvolvimento de software seguro é atribuir responsabilidade aos proprietários ou operadores de qualquer equipamento que um IA assuma o controlo (por exemplo, através de hacking) no processo de execução de alguma ação catastrófica. Isso criaria um incentivo muito amplo para realizar o trabalho árduo de tornar a infraestrutura do mundo (especialmente a computação e a bio) o mais segura possível.

Estratégia 2: Botão global de “pausa suave” em hardware de escala industrial

Se eu estivesse convencido de que precisamos de algo mais "musculado" do que as regras de responsabilidade, é isso que eu procuraria. O objetivo seria ter a capacidade de reduzir a computação disponível em todo o mundo em ~90-99% por 1-2 anos em um período crítico, para ganhar mais tempo para a humanidade se preparar. O valor de 1-2 anos não deve ser sobrestimado: um ano de "modo de guerra" pode facilmente valer cem anos de trabalho em condições de complacência. Formas de implementar um "pausa"foram exploradas várias opções, incluindo propostas concretas como"requerendo registro e ainda verificando localizaçãode hardware.

Uma abordagem mais avançada é usar truques criptográficos inteligentes: por exemplo, equipamentos de IA em escala industrial (mas não para consumidores) que são produzidos poderiam ser equipados com um chip de hardware confiável que só permite que ele continue funcionando se receber 3/3 assinaturas uma vez por semana de grandes organismos internacionais, incluindo pelo menos um não militar. As assinaturas seriam independentes do dispositivo (se desejado, até poderíamos exigir uma prova de conhecimento zero de que elas foram publicadas em uma blockchain), então seria tudo ou nada: não haveria uma maneira prática de autorizar um dispositivo a continuar funcionando sem autorizar todos os outros dispositivos.

Isso parece que "verifica as caixas" em termos de maximizar os benefícios e minimizar os riscos:

• É uma capacidade útil de se ter: se recebermos sinais de alerta de que a IA quase superinteligente está começando a fazer coisas que representam riscos de danos catastróficos, vamos querer fazer a transição de forma mais lenta.
• Até que ocorra um momento crítico, apenas ter a capacidade de pausar suavemente causaria pouco dano aos desenvolvedores.
• Focar em hardware em escala industrial e ter como objetivo apenas 90-99% evitaria esforços distópicos de colocar chips espiões ou interruptores de desligamento em laptops de consumo ou aplicar medidas draconianas em países pequenos contra sua vontade.
• Concentrar-se no hardware parece ser muito robusto às mudanças na tecnologia. Temos visto ao longo de várias gerações de IA que a qualidade depende muito da capacidade de cálculo disponível, especialmente nas primeiras versões de um novo paradigma. Assim, reduzir a capacidade de cálculo disponível em 10-100 vezes pode facilmente fazer a diferença entre uma IA superinteligente descontrolada vencer ou perder uma batalha acelerada contra os humanos que tentam impedi-la.
• A irritação inerente de precisar se conectar uma vez por semana para uma assinatura criaria uma forte pressão contra a extensão do esquema para hardware de consumo.
• Poderia ser verificado com inspeção aleatória, e fazê-lo a nível de hardware tornaria difícil isentar usuários específicos (abordagens que se baseiam em forçar legalmente o desligamento, em vez de tecnicamente, não têm essa propriedade de tudo ou nada, o que os torna muito mais arriscados de escorregadio em isenções para militares, etc)

A regulamentação de hardware já está a ser fortemente considerada, embora geralmente através do enquadramento decontroles de exportação, que têm inerentemente uma filosofia de 'confiamos no nosso lado, mas não no outro lado'. Leopold Aschenbrenner defendeu famosamente que os EUA deveriam Corrida para obter uma vantagem decisivae depoisessencialmente forçar a Chinapara assinar um protocolo limitando quantas caixas eles têm permissão para executar. Para mim, essa abordagem parece arriscada e poderia combinar as falhas de corridas multipolarese centralização. Se tivermos que limitar as pessoas, parece melhor limitar a todos em pé de igualdade e fazer o trabalho árduo de tentar cooperar para organizar isso em vez de uma parte procurar dominar todos os outros.

tecnologias d/acc no risco de IA

Ambas essas estratégias (responsabilidade e o botão de pausa do hardware) têm falhas e está claro que são apenas soluções temporárias: se algo se tornar possível de ser feito em um supercomputador no tempo T, provavelmente será possível em um laptop no tempo T + 5 anos. E, portanto, precisamos de algo mais estável para ganhar tempo. Muitas tecnologias d/acc são relevantes aqui. Podemos analisar o papel da tecnologia d/acc da seguinte forma: se a IA dominar o mundo, como ela o faria?

• Ele invade nossos computadores → ciberdefesa
• Cria uma super-praga → bio-defesa
• Convence-nos (a confiar nele ou a desconfiar uns dos outros) → info-defense

Como brevemente mencionado acima, as regras de responsabilidade são um estilo naturalmente amigável ao D/Acc de regulamentação, porque podem motivar de forma muito eficiente todas as partes do mundo a adotar essas defesas e levá-las a sério. Taiwan tem estado a experimentarcom responsabilidade por publicidade enganosa recentemente, o que pode ser visto como um exemplo do uso da responsabilidade para incentivar a defesa da informação. Não devemos ser muito entusiasmados em impor responsabilidade em todos os lugares e devemos lembrar dos benefícios da boa e velha liberdade para permitir que o homem comum participe da inovação sem medo de processos judiciais, mas onde queremos um impulso maior para a segurança, a responsabilidade pode ser bastante flexível e eficaz.

O papel da criptomoeda na d/acc

Muito do d/acc vai além dos típicos tópicos de blockchain: biosegurança, BCI e ferramentas de discurso colaborativo parecem distantes das coisas que uma pessoa de criptografia normalmente fala. No entanto, acredito que existem algumas conexões importantes entre cripto e d/acc, especialmente:

• d/acc é uma extensão dos valores subjacentes da criptomoeda (descentralização, resistência à censura, economia global aberta e sociedade) para outras áreas da tecnologia.
• Porque os usuários de criptografia são naturalmente adotantes precoces, e há uma alinhamento de valores, as comunidades de criptografia são usuários naturais precoces da tecnologia d/acc. O forte ênfase na comunidade (tanto online quanto offline, por exemplo, eventos e popups), e o fato de que essas comunidades realmente fazem coisas de alto risco em vez de apenas conversar umas com as outras, torna as comunidades de criptografia incubadoras e bancos de testes particularmente atraentes para tecnologias d/acc que funcionam fundamentalmente em grupos em vez de indivíduos (por exemplo, uma grande fração da defesa de informações e da defesa de biol). As pessoas de criptografia simplesmente fazem coisas, juntas.
• Muitas tecnologias criptográficas podem ser usadas em áreas de assunto d/acc: blockchains para construir infraestrutura financeira, governança e de mídia social mais robusta e descentralizada, provas de conhecimento zero para proteger a privacidade, etc. Hoje, muitos dos maiores mercados de previsão são construídos em blockchains e estão gradualmente se tornando mais sofisticados, descentralizados e democráticos.
• Existem também oportunidades de ganha-ganha para colaborar em tecnologias relacionadas com criptomoedas que são muito úteis para projetos de cripto, mas também são essenciais para alcançar objetivos de d/acc:verificação formal, software de computador e segurança de hardware, e tecnologia de governança adversarialmente robusta. Estas coisas tornam a blockchain Ethereum, carteiras e DAOs mais seguros e robustos, e também alcançam importantes objetivos de defesa civilizacional, como reduzir a nossa vulnerabilidade a ciberataques, incluindo potencialmente de uma IA superinteligente.

Cursive, um aplicativo que usa criptografia completamente homomórfica (FHE) para permitir que os usuários identifiquem áreas de interesse comum com outros usuários, preservando a privacidade. Isso foi usado em Edge City, uma das muitas ramificações de gate.Zuzalu, em Chiang Mai.

Além dessas interseções diretas, há também outro ponto de interesse crucial compartilhado: mecanismos de financiamento.

Financiamento d/acc e de bens públicos

Um dos meus interesses em curso é criar mecanismos melhores para financiar bens públicos: projetos que são valiosos para grupos muito grandes de pessoas, mas que não temum modelo de negócio naturalmente acessível. O meu trabalho passado nisso inclui as minhas contribuições para financiamento quadráticoe o seu uso emDoações do Gitcoin, retro PGF, e mais recentemente financiamento profundo.

Muitas pessoas são céticas em relação aos bens públicos como conceito. O ceticismo geralmente advém de duas fontes:

1. O fato de que os bens públicos historicamente têm sido utilizados como justificativa para planejamento central pesado e intervenção governamental na sociedade e economia.
2. Uma percepção geral de que o financiamento de bens públicos carece de rigor e é administrado na [gate]viés de desejo social - o que soa bem, em vez do que é bom - e favorece os insiders que conseguem jogar o jogo social.

Estas são críticas importantes e boas críticas. No entanto, eu argumentaria que o financiamento forte de bens públicos descentralizados é essencial para uma visão d/acc, porque um objetivo chave d/acc (minimizar pontos de controle central) frustra muitos modelos de negócios tradicionais. É possível construir negócios bem-sucedidos em código aberto - váriasBalvigranteesestão fazendo isso - mas em algumas situações é difícil o suficiente que projetos importantes precisam de suporte contínuo adicional. Portanto, temos que fazer a coisa difícil e descobrir como financiar bens públicos de uma maneira que aborde ambas as críticas acima mencionadas.

A solução para o primeiro problema é basicamente neutralidade credível e @VitalikButerin/o significado da descentralização. O planeamento central é problemático porque dá o controlo aos elites que podem tornar-se abusivos e porque frequentemente overajusta à situação atuale torna-se cada vez menos eficaz ao longo do tempo. O financiamento quadrático e mecanismos similares foram precisamente sobre o financiamento de bens públicos de uma forma tão credível, neutra e (arquitetonicamente e politicamente) descentralizada quanto possível.

O segundo problema é mais desafiador. Com financiamento quadrático, uma crítica comum tem sido que ele rapidamente se torna um concurso de popularidade, exigindo que os financiadores do projeto gastem muito esforço em campanhas públicas. Além disso, os projetos que estão “na frente dos olhos das pessoas” (por exemplo, aplicações para utilizadores finais) recebem financiamento, mas os projetos que estão mais em segundo plano (o arquétipo “dependência mantida por um cara em Nebraska“) não recebem financiamento algum. O financiamento retroativo do Optimismo depende de um número menor de detentores de crachá especialista; aqui, os efeitos de concurso de popularidade são diminuídos, mas os efeitos sociais de ter laços pessoais próximos com os detentores de crachá são amplificados.

Financiamento profundoé o meu mais recente esforço para resolver este problema. O financiamento profundo tem duas inovações principais:

1. O gráfico de dependência. Em vez de perguntar a cada jurado uma pergunta global ("qual é o valor do projeto A para a humanidade?"), fazemos uma pergunta local ("o projeto A ou o projeto B é mais valioso para o resultado C? E por quanto?"). Os humanos são notoriamente ruins em perguntas globais: em estudo famoso, quando perguntados quanto dinheiro pagariam para salvar N pássaros, os respondentes responderam aproximadamente $80 para N=2.000, N=20.000 e N=200.000. As perguntas locais são muito mais tratáveis. Em seguida, combinamos as respostas locais em uma resposta global, mantendo um “gráfico de dependência”: para cada projeto, quais outros projetos contribuíram para o seu sucesso e quanto?
2. AI como juízo humano destiladoOs jurados recebem apenas uma pequena amostra aleatória de todas as perguntas. Existe uma competição aberta através da qual qualquer pessoa pode enviar modelos de IA que tentam preencher eficientemente todas as arestas no gráfico. A resposta final é a soma ponderada dos modelos que é mais compatível com as respostas do júri. Veraqui para um exemplo de código. Esta abordagem permite que o mecanismo seja dimensionado para uma dimensão muito grande, ao mesmo tempo que exige que o júri apresente apenas um pequeno número de "bits" de informação. Isso reduz a oportunidade de corrupção e garante que cada bit seja de alta qualidade: os jurados podem se dar ao luxo de pensar por um longo tempo em cada pergunta, em vez de clicar rapidamente em centenas. Ao usar uma competição aberta de IAs, reduzimos o viés de qualquer processo de treinamento e administração de IA. Mercado aberto de IAs como o motor, humanos como o volante.

Mas o financiamento profundo é apenas o exemplo mais recente; houve outras ideias de mecanismos de financiamento de bens públicos antes e haverá muitas mais no futuro.allo.expertfaz um bom trabalho ao catalogá-los. O objetivo subjacente é criar um dispositivo social que possa financiar bens públicos com um nível de precisão, equidade e entrada aberta que pelo menos se aproxime da forma como os mercados financiam bens privados. Não precisa ser perfeito; afinal, os mercados estão longe de ser perfeitos. Mas deve ser eficaz o suficiente para que os desenvolvedores trabalhando em projetos de código aberto de alta qualidade que beneficiam a todos possam se dar ao luxo de continuar fazendo isso sem sentir a necessidade de fazer compromissos inaceitáveis.

Hoje, os principais projetos na maioria das áreas de assunto d/acc: vacinas, BCI, “fronteiriço BCI” como eletromiografia de pulso e rastreamento ocular, medicamentos anti-envelhecimento, hardware, etc., são proprietários. Isso tem grandes desvantagens em termos de garantir a confiança pública, como vimos em muitosdoacimaáreasjá. Também desloca a atenção para a dinâmica competitiva ("NOSSA EQUIPE deve vencer esta indústria crítica!"), e afasta-se da competição maior de garantir que essas tecnologias cheguem rápido o suficiente para proteger-nos num mundo de IA superinteligente. Por estas razões, o financiamento de bens públicos robustos pode ser um forte impulsionador da abertura e liberdade. Esta é outra forma em que a comunidade de criptomoedas pode ajudar d/acc: ao dedicar esforços sérios na exploração destes mecanismos de financiamento e fazê-los funcionar bem no seu próprio contexto, preparando-os para uma adoção muito mais ampla para a ciência de código aberto e tecnologia de forma mais geral.

O futuro

As próximas décadas trazem desafios importantes. Há dois desafios que têm estado em minha mente recentemente:

• Poderosas novas ondas de tecnologia, especialmente IA avançada, estão chegando rapidamente, e essas tecnologias vêm com armadilhas importantes que precisamos evitar. Pode levar cinco anos para a 'superinteligência artificial' chegar aqui, pode levar cinquenta. De qualquer forma, não está claro que o resultado padrão seja automaticamente positivo, e como descrito neste post e ...o anterior, existem várias armadilhas a evitar.
• O mundo está a tornar-se menos cooperativo. Muitos atores poderosos que antes pareciam pelo menos às vezes agir com base em princípios elevados (cosmopolitismo, liberdade, humanidade comum... a lista continua) estão agora a seguir de forma mais aberta e agressiva os interesses pessoais ou tribais.

No entanto, cada um desses desafios tem um lado positivo. Primeiro, agora temos ferramentas muito poderosas para realizar nosso trabalho restante mais rapidamente:

• A IA atual e futura pode ser usada para construir outras tecnologias e pode ser usada como ingrediente em governança (como em financiamento profundo ou informação financeira). Também é muito relevante para BCI, que por si só pode proporcionar mais ganhos de produtividade.
• A coordenação em grande escala agora é possível em escalas muito maiores do que antes. A internet e as redes sociais ampliaram o alcance da coordenação, as finanças globais (incluindo criptomoedas) aumentaram seu poder e agora as ferramentas de defesa e colaboração de informações podem aumentar sua qualidade e talvez em breve o BCI, em sua forma de humano-para-computador-para-humano, possa aumentar sua profundidade.
• Verificação formal, sandboxing (navegadores da web, Docker, Qubes, GrapheneOS, e muito mais), módulos de hardware seguros e outras tecnologias estão melhorando a ponto de tornar uma segurança cibernética muito melhor possível.
• Escrever qualquer tipo de software é significativamente mais fácil do que era há dois anos.
• A recente pesquisa básica sobre a compreensão de como os vírus funcionam, especialmente a compreensão simples de que a forma mais importante de transmissão a ser protegida é aérea, está mostrando um caminho muito mais claro para melhorar a defesa biológica.
• Avanços recentes em biotecnologia (por exemplo, CRISPR, avançosembio-imagem) estão desenvolvendo todos os tipos de biotecnologia, seja para defesa ou longevidade, ou super-felicidade, ou explorando múltiplonovel biohipóteses, ou simplesmente fazendo coisas realmente legais, muito mais acessível.
• Os avanços na computação e na biotecnologia juntos estão permitindo o uso de ferramentas bio sintéticas que você pode usar para adaptar, monitorar e melhorar sua saúde. Tecnologia de ciberdefesa, como a criptografia, torna a dimensão personalizada disso muito mais viável.

Em segundo lugar, agora que muitos princípios que nos são caros já não estão ocupados por alguns segmentos específicos da velha guarda, podem ser recuperados por uma ampla coligação à qual qualquer pessoa no mundo é bem-vinda. Esta é provavelmente a maior vantagem dos recentes "realinhamentos" políticos em todo o mundo, e que vale a pena aproveitar. Crypto já fez um excelente trabalho aproveitando isso e encontrando apelo global; d/acc pode fazer o mesmo.

O acesso às ferramentas significa que somos capazes de adaptar e melhorar nossas biologias e nossos ambientes, e a parte "defesa" de d/acc significa que somos capazes de fazer isso sem infringir a liberdade dos outros de fazer o mesmo.Princípios pluralistas liberaissignifica que podemos ter muita diversidade em como isso é feito, e nosso compromisso com metas de humanidade comuns significa que deve ser feito.

Nós, humanos, continuamos a ser a estrela mais brilhante. A tarefa que temos pela frente, de construir um século XXI ainda mais brilhante que preserve a sobrevivência, a liberdade e a agência humanas enquanto avançamos em direção às estrelas, é desafiadora. Mas estou confiante de que estamos à altura dela.

Aviso legal:

1. Este artigo é reproduzido de [Vitalik Buterin]. Encaminhar o Título Original: d/acc: um ano depois. Todos os direitos autorais pertencem ao autor original [Vitalik Buterin]. Se houver objeções a esta reimpressão, entre em contato com o Gate Aprenderequipa e eles vão tratar disso prontamente.
2. Aviso de responsabilidade: As opiniões expressas neste artigo são exclusivamente do autor e não constituem qualquer conselho de investimento.
3. A equipe da Gate Learn faz traduções do artigo para outros idiomas. A menos que mencionado, copiar, distribuir ou plagiar os artigos traduzidos é proibido.