Original: Tecnología Tencent

En los últimos años, la empresa matriz de Facebook, Meta, ha invertido mucho en Metaverse y ha estado trabajando continuamente en el desarrollo de hardware y software relacionado, tal vez incluso ignorando las últimas tendencias en el campo de la inteligencia artificial para este propósito. Pero a medida que explotó la inteligencia artificial generativa, Meta pareció reorientar la empresa y comenzó a hacer esfuerzos en el campo de la inteligencia artificial. El jueves, hora local en los Estados Unidos, Meta lanzó dos chips de desarrollo propio para inteligencia artificial y reveló su último progreso en supercomputación de inteligencia artificial.

En un evento virtual el jueves, Meta demostró la infraestructura interna que ha desarrollado para cargas de trabajo de inteligencia artificial, incluido el soporte para ejecutar IA generativa, una nueva tecnología que la compañía ha integrado en sus herramientas de creación y diseño de anuncios recientemente lanzadas. Este es un intento de Meta de mostrar su fuerza. Anteriormente, la empresa ha tardado en adoptar sistemas de hardware amigables con la IA, lo que socava su capacidad para seguir el ritmo de rivales como Google y Microsoft.

"Construir nuestras propias capacidades de hardware nos permite controlar cada capa de la pila, desde el diseño del centro de datos hasta los marcos de capacitación”, dijo Alexis Bjorling, vicepresidente de infraestructura de Meta. "Este nivel de integración vertical es necesario para hacer avanzar la investigación de IA".

Durante la última década, Meta ha gastado miles de millones en contratar a los mejores científicos de datos y crear nuevos tipos de inteligencia artificial, incluida la inteligencia artificial que ahora impulsa el motor de descubrimiento, los filtros de moderación y las recomendaciones de anuncios en sus aplicaciones y servicios inteligentes. Pero la compañía ha tenido problemas para convertir muchas de sus ambiciosas innovaciones de investigación de IA en productos, especialmente cuando se trata de IA generativa.

Hasta 2022, Meta ejecutará sus cargas de trabajo de IA mediante el uso de CPU y chips personalizados diseñados para acelerar los algoritmos de IA. Pero Meta canceló el chip personalizado que planeaba implementar a escala en 2022 porque requeriría un rediseño importante de varios de sus centros de datos y, en cambio, ordenó GPU Nvidia multimillonarias.

Chip acelerador de IA

Para cambiar las cosas, Meta planea comenzar a desarrollar un chip interno más ambicioso, cuyo lanzamiento está previsto para 2025. Este chip se puede usar para entrenar modelos de inteligencia artificial y también para ejecutarlos.

Meta llama al nuevo chip Meta Training and Inference Accelerator, o MTIA para abreviar, y lo clasifica como una "familia de chips" para acelerar el entrenamiento de IA y las cargas de trabajo de inferencia. "Inferencia" se refiere a ejecutar un modelo entrenado. Un MTIA es un circuito integrado de aplicación específica (ASIC), un chip que combina diferentes circuitos en una sola placa de circuito, lo que permite programarlo para realizar una o más tareas en paralelo.

Figura 1: chips de IA personalizados para cargas de trabajo de IA

Bjorling continuó: "Para lograr una mejor eficiencia y rendimiento en nuestras importantes cargas de trabajo, necesitábamos una solución personalizada codiseñada con el modelo, la pila de software y el hardware del sistema para brindar una mejor experiencia".

Los chips de inteligencia artificial personalizados se están convirtiendo cada vez más en un elemento básico de las grandes empresas tecnológicas. Google ha desarrollado un procesador TPU (Tensor Processing Unit) para entrenar grandes sistemas de inteligencia artificial generativa como PaLM-2 e Imagen. Amazon proporciona a los clientes de AWS chips patentados para capacitación (Trainium) e inferencia (Inferentia). Según los informes, Microsoft está trabajando con AMD en un chip de inteligencia artificial interno llamado "Athena".

Meta dijo que la compañía desarrolló la primera generación de MTIA (MTIA v1) en 2020 y la produjo utilizando un proceso de 7nm. Puede expandirse de 128 MB de memoria a 128 GB, y en los puntos de referencia diseñados por Meta, Meta afirma que MTIA puede manejar modelos de IA de "complejidad baja" y "complejidad media" de manera más eficiente que las GPU.

Meta dijo que todavía queda mucho trabajo por hacer en las áreas de memoria de chip y redes, las cuales siguen siendo cuellos de botella a medida que los modelos de IA crecen en tamaño y necesitan distribuir las cargas de trabajo en múltiples chips. Coincidentemente, Meta adquirió recientemente el equipo de tecnología de red de inteligencia artificial con sede en Oslo del chip unicornio británico Graphcore. Tal como está, el enfoque de MTIA está en la inferencia rigurosa, no en el entrenamiento, en la "carga de trabajo de recomendación" para la familia de aplicaciones Meta.

Pero Meta enfatizó que la mejora de MTIA ha mejorado "significativamente" la eficiencia de la empresa al ejecutar cargas de trabajo de recomendación, lo que le permite a Meta ejecutar cargas de trabajo de IA "más mejoradas" y "de vanguardia".

Supercomputadora con IA

Quizás algún día en el futuro, Meta entregará la mayor parte de sus cargas de trabajo de IA a MTIA. Pero por ahora, el gigante de las redes sociales confía en su Research SuperCluster, su supercomputadora enfocada en la investigación.

Research SuperCluster debutará en enero de 2022, ensamblado por Penguin Computing, Nvidia y Pure Storage, y ha completado la segunda fase de construcción. Research SuperCluster ahora contiene un total de 2,000 sistemas Nvidia DGX A100 con 16,000 GPU Nvidia A100, dijo Meta.

Entonces, ¿por qué Meta está construyendo una supercomputadora internamente? Primero, hay presión de otros gigantes tecnológicos. Hace unos años, Microsoft promocionó su supercomputadora de inteligencia artificial desarrollada en cooperación con OpenAI, y recientemente dijo que cooperará con Nvidia para construir una nueva supercomputadora de inteligencia artificial en la nube de Azure. Mientras tanto, Google también está promocionando su propia supercomputadora de inteligencia artificial, que tiene 26,000 GPU Nvidia H100, superando con creces a la supercomputadora de Meta.

Figura 2: la supercomputadora de Meta para la investigación de inteligencia artificial

Pero Meta dice que además de mantenerse al día con otros pares, Research SuperCluster permite a sus investigadores usar ejemplos del mundo real del sistema de Meta para entrenar modelos. Esto difiere de la infraestructura de IA anterior de la empresa, que solo podía aprovechar conjuntos de datos de código abierto y disponibles públicamente.

Un portavoz de Meta dijo: "La supercomputadora Research SuperCluster AI se utiliza para avanzar en la investigación de IA en varias áreas, incluida la IA generativa. En realidad, esto está estrechamente relacionado con la productividad de la investigación de IA. Proporcionar una infraestructura de vanguardia para permitirles desarrollar modelos y brindarles una plataforma de capacitación para avanzar en el desarrollo de la IA".

En su apogeo, Research SuperCluster podría alcanzar 5 exaflops de potencia informática, que según Meta es una de las computadoras más rápidas del mundo. Meta dice que usa Research SuperCluster para entrenar LLaMA, un gran modelo de lenguaje. A principios de este año, Meta abrió el acceso a los investigadores en un "lanzamiento cerrado" de grandes modelos de lenguaje. El modelo LLaMA más grande se entrenó en 2048 GPU A100 y tomó 21 días, dijo Meta.

"El Research SuperCluster ayudará a los investigadores de IA de Meta a construir nuevos y mejores modelos de IA que puedan aprender de billones de ejemplos, trabajando en cientos de idiomas diferentes, sin problemas", dijo un portavoz de Meta. Analizando texto, imágenes y video, desarrollando una nueva realidad aumentada herramientas y más".

Transcodificador de vídeo

Además de MTIA, Meta está desarrollando otro chip para manejar tipos específicos de cargas de trabajo informáticas. El chip se llama Meta Scalable Video Processor, o MSVP para abreviar, y es la primera solución de circuito integrado específico de la aplicación (ASIC) de Meta desarrollada internamente, diseñada específicamente para manejar las demandas de procesamiento de video a pedido y transmisión.

Como algunos recordarán, Meta comenzó a concebir chips de video personalizados del lado del servidor hace años, y en 2019 anunció un ASIC para transcodificación e inferencia de video. MSVP es uno de los frutos de estos esfuerzos y el resultado de una competencia renovada en el espacio de transmisión.

"Solo en Facebook, las personas pasan el 50 % de su tiempo viendo videos. Necesitamos atender varios dispositivos en todo el mundo (como dispositivos móviles, computadoras portátiles, televisores, etc.), por ejemplo, los videos subidos a Facebook o Instagram se transcodifican en múltiples flujos de bits con diferentes formatos de codificación, resoluciones y calidades, MSVP es programable y escalable, y se puede configurar para admitir de manera eficiente la transcodificación de alta calidad requerida para VOD, así como la baja latencia y los tiempos de procesamiento más rápidos requeridos para la transmisión en vivo".

Figura 3: El silicio personalizado de Meta está diseñado para acelerar las cargas de trabajo de video, como la transmisión y la transcodificación

Meta dijo que el plan de la compañía es eventualmente descargar la mayoría de sus cargas de trabajo de procesamiento de video "estables y maduras" a MSVP, utilizando software de codificación de video solo para cargas de trabajo que requieren personalización específica y una calidad mejorada "drásticamente". Meta también dijo que el trabajo de MSVP continúa mejorando la calidad del video a través de métodos de preprocesamiento, como eliminación inteligente de ruido y mejora de imágenes, y métodos de posprocesamiento, como eliminación de artefactos y superresolución.

"En el futuro, MSVP nos permitirá admitir más de los requisitos y casos de uso más importantes de Meta, incluidos videos cortos, lo que permitirá la entrega eficiente de inteligencia artificial generativa, AR/VR y otro contenido de realidad virtual", dijeron Reddy y Chen Yunqing.

Enfoque de IA

Si hay un hilo común entre los últimos anuncios de hardware, es que Meta está tratando desesperadamente de acelerar el ritmo del desarrollo de la IA, especialmente cuando se trata de la IA generativa.

En febrero de este año, se dijo que el CEO de Meta, Mark Zuckerberg, había hecho de la mejora de la potencia informática de IA de Meta una prioridad máxima, al anunciar la formación de un nuevo equipo de IA generativa de alto nivel que, en sus palabras, proporcionaría a la empresa el desarrollo de "carga turbo". El CTO de Meta, Andrew Bosworth, también dijo recientemente que la IA generativa es el área donde él y Zuckerberg pasan más tiempo. Según Yang Likun, científico jefe de Meta, la compañía planea implementar herramientas de inteligencia artificial generativa para crear objetos en realidad virtual.

En abril, Zuckerberg dijo en la llamada de ganancias del primer trimestre de Meta: "Estamos explorando experiencias de chat en WhatsApp y Messenger, herramientas de creación visual para publicaciones y anuncios en Facebook e Instagram, y videos a lo largo del tiempo, y una experiencia multimodal. Espero que estos Las herramientas serán valiosas para todos, desde la gente común hasta los creadores y las empresas. Por ejemplo, predigo que una vez que obtengamos esta experiencia, habrá muchas personas interesadas en la información comercial. Interés en los agentes de IA en la entrega y atención al cliente. Con el tiempo. esto también se extenderá a nuestro trabajo en mundos virtuales, donde será más fácil para las personas crear avatares, objetos, mundos y vincular todo ese código".

De alguna manera, Meta está sintiendo la creciente presión de los inversionistas preocupados de que la compañía no se esté moviendo lo suficientemente rápido para capturar una parte del enorme mercado potencial de la inteligencia artificial generativa. Actualmente, la empresa no tiene productos que puedan competir con chatbots como Bard, Bing o ChatGPT. Tampoco se ha avanzado mucho en la generación de imágenes, otra área clave de crecimiento explosivo.

Si estas predicciones son correctas, el tamaño total del mercado direccionable para el software de IA generativa podría alcanzar los $ 150 mil millones. El banco de inversión estadounidense Goldman Sachs predice que esto aumentará el PIB en un 7%.

Incluso si algunas de las predicciones se hacen realidad, podría compensar la pérdida de miles de millones en inversiones de Metaverse en auriculares de realidad aumentada, software de conferencias y tecnologías de Metaverse como Horizon Worlds. Reality Labs, la división de realidad aumentada de Meta, registró una pérdida neta de $ 4 mil millones el último trimestre y espera que las pérdidas operativas continúen aumentando a lo largo de 2023.