Religião Amarga: A guerra sagrada em torno da expansão da IA

No campo da inteligência artificial, a interseção da fé e da tecnologia gerou um intenso debate em torno da eficácia e do desenvolvimento futuro da 'lei da expansão'. Este artigo explora a ascensão, divisões e possíveis impactos desta 'religião amarga', revelando a complexa relação entre fé e ciência. A comunidade de inteligência artificial está envolvida em uma batalha sobre seu futuro e se há escala suficiente para criar a doutrina divina. Este artigo é derivado de um artigo escrito por Mario Gabriele, organizado e traduzido pela Block unicorn. (Antecedentes: O xAI de Musk concluiu uma rodada de financiamento Série C de 6 bilhões de dólares, com investimentos de peso de empresas como Nvidia, BlackRock, a16z...). (Contexto adicional: O próximo lançamento da Nvidia é a plataforma de computação de robôs humanóides 'Jetson Thor', será a hora do ChatGPT físico da IA chegar?). A guerra sagrada da inteligência artificial Eu prefiro viver minha vida como se Deus existisse e descobrir no final que Ele não existe, do que viver como se Deus não existisse e descobrir no final que Ele existe. - Blaise Pascal A religião é algo interessante. Talvez porque é completamente indemonstrável em qualquer direção, ou talvez como minha frase favorita: 'Você não pode confrontar sentimentos com fatos'. A característica da fé religiosa é que, durante o processo de ascensão, elas se desenvolvem em uma velocidade incrível, a ponto de ser quase impossível duvidar da existência de Deus. Como você pode duvidar da existência de uma divindade quando as pessoas ao seu redor estão cada vez mais crentes nisso? Onde há lugar para hereges quando o mundo se reorganiza em torno de uma doutrina? Quando templos e catedrais, leis e normas são todos ajustados de acordo com um novo Evangelho inabalável, onde está o espaço para objeção? Quando as religiões abraâmicas apareceram e se espalharam pelos continentes ou o budismo se espalhou da Índia para toda a Ásia, a grande força da fé criou um ciclo de auto-reforço. Com mais e mais pessoas se convertendo e desenvolvendo sistemas teológicos e rituais complexos em torno dessas crenças, tornou-se cada vez mais difícil questionar essas premissas fundamentais. Em um mar de fé cega, tornar-se um herege não é fácil. Grandes igrejas, textos religiosos complexos e monastérios prósperos servem como evidências físicas da existência divina. Mas a história da religião também nos mostra o quão facilmente essas estruturas podem desmoronar. Com a propagação do cristianismo na península escandinava, a antiga fé nórdica desmoronou em apenas algumas gerações. O sistema religioso do antigo Egito durou milhares de anos, mas acabou desaparecendo com o surgimento de uma nova e mais duradoura fé e a ascensão de estruturas de poder maiores. Mesmo dentro da mesma religião, vemos divisões dramáticas - a Reforma dividiu o cristianismo ocidental e o Grande Cisma levou à divisão da Igreja Oriental e Ocidental. Essas divisões muitas vezes começam com divergências aparentemente insignificantes na doutrina e evoluem para sistemas de crenças completamente diferentes. Escrituras 'Deus é uma metáfora que transcende todos os níveis de pensamento racional. É tão simples assim. - Joseph Campbell Em termos simples, acreditar em Deus é religião. Talvez criar Deus não seja muito diferente. Desde o início, os pesquisadores otimistas de inteligência artificial imaginaram seu trabalho como a criação de Deus. Nos últimos anos, o explosivo desenvolvimento dos Grandes Modelos de Linguagem (LLMs) fortaleceu ainda mais a crença dos fiéis de que estamos trilhando um caminho sagrado. Também confirma um artigo de blog escrito em 2019. Embora as pessoas fora do campo da inteligência artificial só tenham conhecido recentemente, 'As Lições Amargas' do cientista da computação canadense Richard Sutton se tornaram um texto cada vez mais importante na comunidade, evoluindo de conhecimento secreto para uma nova e valiosa base religiosa. Em 1.113 palavras (cada religião precisa de um número divino), Sutton resume uma observação técnica: 'A maior lição que podemos aprender em 70 anos de pesquisa em inteligência artificial é que a abordagem generalizada do cálculo é a mais eficaz e tem uma enorme vantagem.' O avanço dos modelos de inteligência artificial se deve ao aumento exponencial dos recursos computacionais, impulsionado por uma grande onda de acordo com a Lei de Moore. Ao mesmo tempo, Sutton observa que grande parte da pesquisa em inteligência artificial se concentra em otimizar o desempenho por meio de técnicas especializadas - aumentando o conhecimento humano ou ferramentas estreitas. Embora essas otimizações possam ajudar a curto prazo, para Sutton, elas acabam sendo um desperdício de tempo e recursos, como ajustar as nadadeiras de uma prancha de surfe ou tentar um novo tipo de cera quando uma grande onda está chegando. Esta é a base da 'religião amarga'. Ela tem apenas um mandamento, comumente chamado de 'lei da expansão': calcular de forma exponencial para impulsionar o desempenho; o resto é tolice. A religião amarga se expandiu de LLMs para modelos globais e está se espalhando rapidamente para templos não transformados, como biologia, química e inteligência encarnada (robótica e veículos autônomos). No entanto, à medida que a doutrina de Sutton se espalha, a definição também está começando a mudar. Este é um sinal de todas as religiões ativas e vigorosas - debate, expansão, anotação. A 'lei da expansão' não se refere mais apenas à expansão computacional (a arca não é apenas um navio), mas agora abrange várias tentativas de aprimorar transformadores e eficiência computacional, incluindo alguns truques. Agora, a canonização inclui tentativas de otimizar cada parte do empilhamento de IA, desde técnicas aplicadas ao modelo principal (modelos combinados, especialistas mistos (MoE) e destilação de conhecimento) até a geração de dados sintéticos para alimentar esses deuses sempre famintos, tudo isso acompanhado por muitos experimentos. Seitas em guerra Recentemente, surgiu uma questão na comunidade de inteligência artificial que tem um ar de guerra sagrada: a 'religião amarga' ainda está correta? Esta semana, um novo artigo intitulado 'A expansão da precisão da lei da expansão' foi publicado por Harvard, Stanford e MIT, provocando esse conflito. O artigo discute o fim dos ganhos de eficiência técnica, uma série de melhorias no desempenho dos modelos de inteligência artificial que têm sido muito benéficas para o ecossistema de código aberto. Tim Dettmers, cientista de pesquisa do Instituto de Inteligência Artificial Allen, resumiu sua importância em um post, chamando-o de 'o artigo mais importante em muito tempo'. Ele representa a continuação de uma conversa que vem se intensificando nas últimas semanas e revela uma tendência notável: a consolidação crescente de duas religiões. O CEO da OpenAI, Sam Altman, e o CEO da Anthropic, Dario Amodei, pertencem à mesma seita. Ambos estão confiantes de que alcançaremos a inteligência artificial geral (AGI) em cerca de 2-3 anos. Altman e Amodei são dois dos mais devotos seguidores da 'religião amarga'. Todas as suas medidas motivacionais tendem a exagerar e criar o máximo de agitação possível para acumular capital neste jogo quase totalmente dominado por economias de escala. Se a 'lei da expansão' não é o 'Alfa e Ômega', o começo e o fim, por que você precisa de 22 bilhões de dólares? O ex-cientista-chefe da OpenAI, Ilya Sutskever, defende um princípio diferente. Ele e outros pesquisadores (incluindo muitos da própria equipe da OpenAI, de acordo com informações vazadas recentemente) acreditam que a 'lei da expansão' está se aproximando de seu limite. Este grupo acredita que para manter o progresso e tornar a AGI uma realidade, será necessária nova ciência e pesquisa. Sutskever razoavelmente aponta que, do ponto de vista econômico, a contínua adesão à doutrina da expansão é inviável. Como a inteligência artificial...