Original : technologie Tencent

Au cours des dernières années, la société mère de Facebook, Meta, a beaucoup investi dans le Metaverse et a travaillé en permanence sur le développement de matériel et de logiciels connexes, ignorant peut-être même les dernières tendances dans le domaine de l'intelligence artificielle à cette fin. Mais alors que l'intelligence artificielle générative explose, Meta semble réorienter l'entreprise et commence à faire des efforts dans le domaine de l'intelligence artificielle. Jeudi, heure locale aux États-Unis, Meta a publié deux puces auto-développées pour l'intelligence artificielle et a révélé ses dernières avancées en matière de supercalcul de l'intelligence artificielle.

Lors d'un événement virtuel jeudi, Meta a démontré l'infrastructure interne qu'elle a développée pour les charges de travail d'intelligence artificielle, y compris la prise en charge de l'exécution de l'IA générative, une nouvelle technologie que la société a intégrée dans ses nouveaux outils de conception et de création d'annonces. . C'est une tentative de Meta de montrer sa force. Auparavant, l'entreprise a mis du temps à adopter des systèmes matériels compatibles avec l'IA, ce qui a nui à sa capacité à suivre le rythme de concurrents tels que Google et Microsoft.

"La construction de nos propres capacités matérielles nous permet de contrôler chaque couche de la pile, de la conception du centre de données aux cadres de formation", a déclaré Alexis Bjorling, vice-président de l'infrastructure chez Meta. "Ce niveau d'intégration verticale est nécessaire pour faire avancer la recherche sur l'IA."

Au cours de la dernière décennie environ, Meta a dépensé des milliards pour recruter les meilleurs scientifiques des données et créer de nouveaux types d'intelligence artificielle, y compris l'intelligence artificielle qui alimente désormais le moteur de découverte, les filtres de modération et les recommandations publicitaires dans ses applications et services intelligents. Mais l'entreprise a eu du mal à transformer bon nombre de ses ambitieuses innovations de recherche en IA en produits, en particulier en ce qui concerne l'IA générative.

Jusqu'en 2022, Meta exécutera ses charges de travail d'IA en utilisant des processeurs et des puces personnalisées conçues pour accélérer les algorithmes d'IA. Mais Meta a annulé la puce personnalisée qu'il prévoyait de déployer à grande échelle en 2022, car cela nécessiterait une refonte majeure de plusieurs de ses centres de données, et a plutôt commandé des GPU Nvidia de plusieurs milliards de dollars.

Puce accélératrice IA

Pour changer les choses, Meta prévoit de commencer à développer une puce interne plus ambitieuse, dont le lancement est prévu en 2025. Cette puce peut être utilisée pour former des modèles d'intelligence artificielle et également prendre en charge leur exécution.

Meta appelle la nouvelle puce Meta Training and Inference Accelerator, ou MTIA en abrégé, et la catégorise comme une "famille de puces" pour accélérer les charges de travail de formation et d'inférence de l'IA. "Inférence" fait référence à l'exécution d'un modèle formé. Un MTIA est un circuit intégré spécifique à l'application (ASIC), une puce qui combine différents circuits sur une seule carte de circuit imprimé, lui permettant d'être programmé pour effectuer une ou plusieurs tâches en parallèle.

Figure 1 : Puces d'IA personnalisées pour les charges de travail d'IA

Bjorling a poursuivi : "Pour obtenir une meilleure efficacité et de meilleures performances dans nos charges de travail importantes, nous avions besoin d'une solution personnalisée co-conçue avec le modèle, la pile logicielle et le matériel système. offrir une meilleure expérience."

Les puces d'intelligence artificielle personnalisées deviennent de plus en plus un incontournable des grandes entreprises technologiques. Google a développé un processeur TPU (Tensor Processing Unit) pour entraîner de grands systèmes d'intelligence artificielle générative tels que PaLM-2 et Imagen. Amazon fournit aux clients AWS des puces propriétaires pour la formation (Trainium) et l'inférence (Inferentia). Microsoft travaillerait avec AMD sur une puce d'intelligence artificielle interne appelée "Athena".

Meta a déclaré que la société avait développé la première génération de MTIA (MTIA v1) en 2020 et l'avait produite en utilisant un processus de 7 nm. Il peut passer de 128 Mo de mémoire à 128 Go, et dans les benchmarks conçus par Meta, Meta affirme que MTIA peut gérer les modèles d'IA "à faible complexité" et "à complexité moyenne" plus efficacement que les GPU.

Meta a déclaré qu'il y avait encore beaucoup de travail à faire dans les domaines de la mémoire sur puce et de la mise en réseau, qui restent tous deux des goulots d'étranglement à mesure que les modèles d'IA grandissent et doivent répartir les charges de travail sur plusieurs puces. Par coïncidence, Meta a récemment acquis l'équipe de technologie de réseau d'intelligence artificielle basée à Oslo de la licorne à puce britannique Graphcore. Dans l'état actuel des choses, MTIA se concentre sur l'inférence rigoureuse, et non sur la formation, sur la "charge de travail recommandée" pour la famille d'applications Meta.

Mais Meta a souligné que l'amélioration de la MTIA a "considérablement" amélioré l'efficacité de l'entreprise lors de l'exécution des charges de travail de recommandation, permettant à Meta d'exécuter des charges de travail d'IA "plus améliorées" et "de pointe".

Supercalculateur IA

Peut-être qu'un jour dans le futur, Meta remettra la plupart de ses charges de travail d'IA à MTIA. Mais pour l'instant, le géant des réseaux sociaux s'appuie sur son Research SuperCluster, son supercalculateur axé sur la recherche.

Le Research SuperCluster fera ses débuts en janvier 2022, assemblé par Penguin Computing, Nvidia et Pure Storage, et a achevé la deuxième phase de construction. Le Research SuperCluster contient désormais un total de 2 000 systèmes Nvidia DGX A100 avec 16 000 GPU Nvidia A100, a déclaré Meta.

Alors pourquoi Meta construit-il un supercalculateur en interne ? Premièrement, il y a la pression d'autres géants de la technologie. Il y a quelques années, Microsoft a fait la promotion de son supercalculateur d'intelligence artificielle développé en coopération avec OpenAI, et a récemment déclaré qu'il coopérerait avec Nvidia pour construire un nouveau supercalculateur d'intelligence artificielle sur le cloud Azure. Pendant ce temps, Google vante également son propre supercalculateur d'intelligence artificielle, qui dispose de 26 000 GPU Nvidia H100, dépassant de loin le supercalculateur de Meta.

Figure 2 : Le supercalculateur de Meta pour la recherche en intelligence artificielle

Mais Meta dit qu'en plus de suivre les autres pairs, le Research SuperCluster permet à ses chercheurs d'utiliser des exemples réels du système de Meta pour former des modèles. Cela diffère de l'infrastructure d'IA précédente de l'entreprise, qui ne pouvait exploiter que des ensembles de données open source et accessibles au public.

Un porte-parole de Meta a déclaré : « Le superordinateur Research SuperCluster AI est utilisé pour faire avancer la recherche sur l'IA dans plusieurs domaines, y compris l'IA générative. Ceci est en fait étroitement lié à la productivité de la recherche sur l'IA. Fournir une infrastructure de pointe pour leur permettre de développer des modèles et leur donner une plate-forme de formation pour faire progresser le développement de l'IA."

À son apogée, le Research SuperCluster pourrait atteindre 5 exaflops de puissance de calcul, ce qui, selon Meta, est l'un des ordinateurs les plus rapides au monde. Meta dit qu'il utilise Research SuperCluster pour former LLaMA, un grand modèle de langage. Plus tôt cette année, Meta a ouvert l'accès aux chercheurs dans une "version fermée" de grands modèles de langage. Le plus grand modèle LLaMA a été formé sur 2048 GPU A100 et a pris 21 jours, a déclaré Meta.

"Le Research SuperCluster aidera les chercheurs en IA de Meta à créer de nouveaux et meilleurs modèles d'IA capables d'apprendre à partir de milliers de milliards d'exemples, fonctionnant dans des centaines de langues différentes, de manière transparente", a déclaré un porte-parole de Meta. des outils, et bien plus."

Transcodeur vidéo

En plus de MTIA, Meta développe une autre puce pour gérer des types spécifiques de charges de travail informatiques. La puce s'appelle Meta Scalable Video Processor, ou MSVP en abrégé, et il s'agit de la première solution de circuit intégré spécifique à l'application (ASIC) de Meta développée en interne, conçue spécifiquement pour gérer les demandes de traitement de la vidéo à la demande et du streaming.

Comme certains s'en souviendront peut-être, Meta a commencé à concevoir des puces vidéo personnalisées côté serveur il y a des années et, en 2019, a annoncé un ASIC pour le transcodage et l'inférence vidéo. MSVP est l'un des fruits de ces efforts et le résultat d'une concurrence renouvelée dans l'espace de streaming.

"Sur Facebook seul, les gens passent 50 % de leur temps à regarder des vidéos. Nous avons besoin de servir divers appareils dans le monde (tels que des appareils mobiles, des ordinateurs portables, des téléviseurs, etc.), par exemple, les vidéos téléchargées sur Facebook ou Instagram sont transcodées en plusieurs bitstreams avec différents formats d'encodage, résolutions et qualités, MSVP est programmable et évolutif, et peut être configuré pour prendre en charge efficacement le transcodage de haute qualité requis pour la VOD, ainsi que la faible latence et les temps de traitement plus rapides requis pour la diffusion en direct.

Figure 3 : Le silicium personnalisé de Meta est conçu pour accélérer les charges de travail vidéo telles que le streaming et le transcodage

Meta a déclaré que le plan de la société est de décharger à terme la plupart de ses charges de travail de traitement vidéo "stables et matures" sur MSVP, en utilisant l'encodage vidéo logiciel uniquement pour les charges de travail qui nécessitent une personnalisation spécifique et une qualité "considérablement" améliorée. Meta a également déclaré que le travail de MSVP continue d'améliorer la qualité vidéo grâce à des méthodes de prétraitement telles que le débruitage intelligent et l'amélioration de l'image, et des méthodes de post-traitement telles que la suppression des artefacts et la super-résolution.

« À l'avenir, MSVP nous permettra de prendre en charge davantage de cas d'utilisation et d'exigences les plus importants de Meta, y compris de courtes vidéos, permettant une diffusion efficace de l'intelligence artificielle générative, de la réalité augmentée/réalité virtuelle et d'autres contenus de réalité virtuelle », ont déclaré Reddy et Chen Yunqing.

Concentration sur l'IA

S'il y a un fil conducteur parmi les dernières annonces de matériel, c'est que Meta essaie désespérément d'accélérer le rythme du développement de l'IA, en particulier en ce qui concerne l'IA générative.

En février de cette année, le PDG de Meta, Mark Zuckerberg, aurait fait de l'amélioration de la puissance de calcul de l'IA de Meta une priorité absolue, annonçant la formation d'une nouvelle équipe d'IA générative de haut niveau qui, selon ses propres termes, fournirait à l'entreprise le développement de "Turbo-charge". Le Meta CTO Andrew Bosworth a également déclaré récemment que l'IA générative est le domaine où lui et Zuckerberg passent le plus de temps. Selon Yang Likun, scientifique en chef de Meta, la société prévoit de déployer des outils d'intelligence artificielle générative pour créer des objets en réalité virtuelle.

En avril, Zuckerberg a déclaré lors de l'appel aux résultats du premier trimestre de Meta : "Nous explorons les expériences de chat dans WhatsApp et Messenger, les outils de création visuelle pour les publications et les publicités sur Facebook et Instagram, et la vidéo au fil du temps. et une expérience multimodale. J'espère que ces les outils seront précieux pour tout le monde, des gens ordinaires aux créateurs en passant par les entreprises. Par exemple, je prédis qu'une fois que nous aurons acquis cette expérience, de nombreuses personnes seront intéressées par les informations commerciales. Intérêt pour les agents d'IA dans la livraison et le support client. Au fil du temps cela s'étendra également à notre travail dans les mondes virtuels, où il sera plus facile pour les gens de créer des avatars, des objets, des mondes et de lier tout cela ensemble.

À certains égards, Meta ressent la pression croissante des investisseurs inquiets du fait que l'entreprise n'avance pas assez vite pour capturer une part de l'énorme marché potentiel de l'intelligence artificielle générative. Actuellement, la société ne propose aucun produit pouvant concurrencer les chatbots tels que Bard, Bing ou ChatGPT. Il n'y a pas eu beaucoup de progrès non plus dans la génération d'images, un autre domaine clé de croissance explosive.

Si ces prévisions sont correctes, la taille totale du marché adressable des logiciels d'IA générative pourrait atteindre 150 milliards de dollars. La banque d'investissement américaine Goldman Sachs prévoit que cela augmentera le PIB de 7 %.

Même si certaines des prédictions se réalisent, cela pourrait compenser les milliards perdus en investissements Metaverse dans les casques de réalité augmentée, les logiciels de conférence et les technologies Metaverse comme Horizon Worlds. Reality Labs, la division de réalité augmentée de Meta, a enregistré une perte nette de 4 milliards de dollars au dernier trimestre et s'attend à ce que les pertes d'exploitation continuent d'augmenter tout au long de 2023.