Original: Tencent Technology

Nos últimos anos, a Meta, empresa-mãe do Facebook, investiu pesadamente no Metaverso e trabalhou continuamente no desenvolvimento de hardware e software relacionado, talvez até ignorando as últimas tendências no campo da inteligência artificial para esse fim. Mas, à medida que a inteligência artificial generativa explodiu, a Meta pareceu reorientar a empresa e começou a se esforçar no campo da inteligência artificial. Na quinta-feira, horário local nos Estados Unidos, a Meta lançou dois chips autodesenvolvidos para inteligência artificial e revelou seu mais recente progresso na supercomputação de inteligência artificial.

Em um evento virtual na quinta-feira, a Meta demonstrou a infraestrutura interna que desenvolveu para cargas de trabalho de inteligência artificial, incluindo suporte para execução de IA generativa, uma nova tecnologia que a empresa integrou em suas recém-lançadas ferramentas de design e criação de anúncios. Esta é uma tentativa da Meta de mostrar sua força. Anteriormente, a empresa demorava a adotar sistemas de hardware compatíveis com IA, prejudicando sua capacidade de acompanhar rivais como Google e Microsoft.

"Construir nossos próprios recursos de hardware nos permite controlar todas as camadas da pilha, desde o design do data center até as estruturas de treinamento", disse Alexis Bjorling, vice-presidente de infraestrutura da Meta. "Esse nível de integração vertical é necessário para levar a pesquisa de IA adiante."

Ao longo da última década, a Meta gastou bilhões recrutando cientistas de dados de ponta e construindo novos tipos de inteligência artificial, incluindo a inteligência artificial que agora alimenta o mecanismo de descoberta, filtros de moderação e recomendações de anúncios em seus aplicativos e serviços. Mas a empresa tem lutado para transformar muitas de suas ambiciosas inovações em pesquisa de IA em produtos, especialmente quando se trata de IA generativa.

Até 2022, a Meta executará suas cargas de trabalho de IA usando CPUs e chips personalizados projetados para acelerar os algoritmos de IA. Mas a Meta cancelou o chip personalizado que planejava lançar em grande escala em 2022 porque exigiria uma grande reformulação de vários de seus data centers e, em vez disso, encomendou GPUs Nvidia multibilionárias.

Chip Acelerador de IA

Para mudar as coisas, a Meta planeja começar a desenvolver um chip interno mais ambicioso, com lançamento previsto para 2025. Este chip pode ser usado para treinar modelos de inteligência artificial e também dar suporte à sua execução.

A Meta chama o novo chip de Meta Training and Inference Accelerator, ou MTIA, e o classifica como uma "família de chips" para acelerar o treinamento de IA e as cargas de trabalho de inferência. "Inferência" refere-se à execução de um modelo treinado. Um MTIA é um circuito integrado de aplicação específica (ASIC), um chip que combina diferentes circuitos em uma única placa de circuito, permitindo que seja programado para executar uma ou mais tarefas em paralelo.

Figura 1: Chips de IA personalizados para cargas de trabalho de IA

Bjorling continuou: "Para obter melhor eficiência e desempenho em nossas importantes cargas de trabalho, precisávamos de uma solução personalizada projetada em conjunto com o modelo, a pilha de software e o hardware do sistema para proporcionar uma experiência melhor."

Os chips personalizados de inteligência artificial estão se tornando cada vez mais um item básico das grandes empresas de tecnologia. O Google desenvolveu um processador TPU (Tensor Processing Unit) para treinar grandes sistemas geradores de inteligência artificial, como PaLM-2 e Imagen. A Amazon fornece aos clientes da AWS chips proprietários para treinamento (Trainium) e inferência (Inferentia). A Microsoft está supostamente trabalhando com a AMD em um chip interno de inteligência artificial chamado "Athena".

A Meta disse que a empresa desenvolveu a primeira geração do MTIA (MTIA v1) em 2020 e a produziu usando um processo de 7 nm. Ele pode ser expandido de 128 MB para 128 GB de memória e, em benchmarks projetados pela Meta, a Meta afirma que a MTIA pode lidar com modelos de IA de "baixa complexidade" e "média complexidade" com mais eficiência do que as GPUs.

Meta disse que ainda há muito trabalho a ser feito nas áreas de memória de chip e rede, ambas as quais permanecem gargalos à medida que os modelos de IA crescem em tamanho e precisam distribuir cargas de trabalho em vários chips. Coincidentemente, a Meta adquiriu recentemente a equipe de tecnologia de rede de inteligência artificial baseada em Oslo do unicórnio de chips britânico Graphcore. Tal como está, o foco do MTIA está na inferência rigorosa, não no treinamento, na "carga de trabalho de recomendação" para a família de aplicativos Meta.

Mas a Meta enfatizou que a melhoria do MTIA melhorou "significativamente" a eficiência da empresa ao executar cargas de trabalho de recomendação, permitindo que a Meta execute cargas de trabalho de IA "mais aprimoradas" e "de ponta".

Supercomputador AI

Talvez um dia no futuro, a Meta entregue a maior parte de suas cargas de trabalho de IA para a MTIA. Mas, por enquanto, a gigante das redes sociais está contando com seu Research SuperCluster, seu supercomputador focado em pesquisa.

O Research SuperCluster será lançado em janeiro de 2022, montado pela Penguin Computing, Nvidia e Pure Storage, e concluiu a segunda fase de construção. O Research SuperCluster agora contém um total de 2.000 sistemas Nvidia DGX A100 com 16.000 GPUs Nvidia A100, disse a Meta.

Então, por que a Meta está construindo um supercomputador internamente? Primeiro, há pressão de outros gigantes da tecnologia. Alguns anos atrás, a Microsoft divulgou seu supercomputador de inteligência artificial desenvolvido em cooperação com a OpenAI e recentemente disse que cooperará com a Nvidia para construir um novo supercomputador de inteligência artificial na nuvem Azure. Enquanto isso, o Google também está divulgando seu próprio supercomputador de inteligência artificial, que possui 26.000 GPUs Nvidia H100, superando em muito o supercomputador da Meta.

Figura 2: Supercomputador da Meta para pesquisa em inteligência artificial

Mas a Meta diz que, além de acompanhar outros pares, o Research SuperCluster permite que seus pesquisadores usem exemplos do mundo real do sistema da Meta para treinar modelos. Isso difere da infraestrutura de IA anterior da empresa, que só podia aproveitar conjuntos de dados de código aberto e disponíveis publicamente.

Um porta-voz da Meta disse: "O supercomputador Research SuperCluster AI é usado para promover a pesquisa de IA em várias áreas, incluindo IA generativa. Na verdade, isso está intimamente relacionado à produtividade da pesquisa de IA. desenvolver modelos e dar a eles uma plataforma de treinamento para avançar no desenvolvimento de IA."

Em seu auge, o Research SuperCluster poderia atingir 5 exaflops de poder de computação, que a Meta afirma ser um dos computadores mais rápidos do mundo. A Meta diz que usa o Research SuperCluster para treinar o LLaMA, um grande modelo de linguagem. No início deste ano, a Meta abriu o acesso a pesquisadores em um "lançamento fechado" de grandes modelos de linguagem. O maior modelo LLaMA foi treinado em 2048 GPUs A100 e levou 21 dias, disse a Meta.

"O Research SuperCluster ajudará os pesquisadores de IA da Meta a criar novos e melhores modelos de IA que podem aprender com trilhões de exemplos, trabalhando em centenas de idiomas diferentes, sem problemas", disse um porta-voz da Meta. Analisando texto, imagens e vídeos, desenvolvendo uma nova realidade aumentada ferramentas e muito mais."

Transcodificador de vídeo

Além do MTIA, a Meta está desenvolvendo outro chip para lidar com tipos específicos de cargas de trabalho de computação. O chip é chamado Meta Scalable Video Processor, ou MSVP para abreviar, e é a primeira solução de circuito integrado de aplicação específica (ASIC) da Meta desenvolvida internamente, projetada especificamente para lidar com as demandas de processamento de vídeo sob demanda e streaming.

Como alguns devem se lembrar, a Meta começou a conceber chips de vídeo personalizados do lado do servidor anos atrás e, em 2019, anunciou um ASIC para transcodificação e inferência de vídeo. O MSVP é um dos frutos desses esforços e resultado de uma competição renovada no espaço de streaming.

"Somente no Facebook, as pessoas gastam 50% do tempo assistindo a vídeos. Precisamos atender a vários dispositivos em todo o mundo (como dispositivos móveis, laptops, TVs etc.), por exemplo, vídeos enviados para o Facebook ou Instagram são transcodificados em vários bitstreams com diferentes formatos de codificação, resoluções e qualidades, o MSVP é programável e escalável e pode ser configurado para suportar com eficiência a transcodificação de alta qualidade necessária para VOD, bem como a baixa latência e tempos de processamento mais rápidos necessários para transmissão ao vivo."

Figura 3: o silício personalizado do Meta foi projetado para acelerar as cargas de trabalho de vídeo, como streaming e transcodificação

Meta disse que o plano da empresa é transferir a maior parte de suas cargas de trabalho de processamento de vídeo "estáveis e maduras" para MSVP, usando codificação de vídeo de software apenas para cargas de trabalho que exigem personalização específica e qualidade "dramaticamente" aprimorada. Meta também disse que o trabalho do MSVP continua a melhorar a qualidade do vídeo por meio de métodos de pré-processamento, como redução inteligente de ruído e aprimoramento de imagem, e métodos de pós-processamento, como remoção de artefatos e super-resolução.

“No futuro, o MSVP nos permitirá oferecer suporte a mais casos de uso e requisitos mais importantes do Meta, incluindo vídeos curtos, permitindo a entrega eficiente de inteligência artificial generativa, AR/VR e outros conteúdos de realidade virtual”, disseram Reddy e Chen Yunqing.

Foco em IA

Se há algo em comum entre os últimos anúncios de hardware, é que a Meta está tentando desesperadamente acelerar o ritmo do desenvolvimento da IA, especialmente quando se trata de IA generativa.

Em fevereiro deste ano, o CEO da Meta, Mark Zuckerberg, disse ter feito da melhoria do poder de computação de IA da Meta uma prioridade máxima, anunciando a formação de uma nova equipe de IA generativa de alto nível que, em suas palavras, forneceria à empresa o desenvolvimento de "carregamento turbo". O Meta CTO Andrew Bosworth também disse recentemente que a IA generativa é a área em que ele e Zuckerberg passam mais tempo. De acordo com Yang Likun, cientista-chefe da Meta, a empresa planeja implantar ferramentas de inteligência artificial generativas para criar objetos em realidade virtual.

Em abril, Zuckerberg disse na teleconferência de resultados do primeiro trimestre da Meta: "Estamos explorando experiências de bate-papo no WhatsApp e no Messenger, ferramentas de criação visual para postagens e anúncios no Facebook e Instagram e vídeo ao longo do tempo. e uma experiência multimodal. Espero que estes as ferramentas serão valiosas para todos, de pessoas comuns a criadores e empresas. Por exemplo, prevejo que, assim que tivermos essa experiência, haverá muitas pessoas interessadas em informações comerciais Interesse em agentes de IA na entrega e suporte ao cliente. Com o tempo isso também se estenderá ao nosso trabalho em mundos virtuais, onde será mais fácil para as pessoas criarem avatares, objetos, mundos e amarrar todos esses códigos juntos."

De certa forma, a Meta está sentindo a crescente pressão dos investidores preocupados com o fato de a empresa não estar se movendo rápido o suficiente para capturar uma parte do enorme mercado potencial de inteligência artificial generativa. Atualmente, a empresa não possui produtos que possam competir com chatbots como Bard, Bing ou ChatGPT. Também não houve muito progresso na geração de imagens, outra área-chave de crescimento explosivo.

Se essas previsões estiverem corretas, o tamanho total do mercado endereçável para software de IA generativa pode chegar a US$ 150 bilhões. O banco de investimentos americano Goldman Sachs prevê que isso aumentará o PIB em 7%.

Mesmo que algumas de suas previsões se tornem realidade, isso pode compensar bilhões perdidos em investimentos do Metaverse em fones de ouvido de realidade aumentada, software de conferência e tecnologias do Metaverse como Horizon Worlds. A Reality Labs, divisão de realidade aumentada da Meta, registrou um prejuízo líquido de US$ 4 bilhões no último trimestre e espera que as perdas operacionais continuem aumentando ao longo de 2023.