¡11 minutos para terminar de entrenar GPT-3! Nvidia H100 barre 8 pruebas comparativas de MLPerf, la próxima generación de tarjetas gráficas se lanzará en 25 años

**Fuente:**Xinzhiyuan

Introducción: ¡Jefe Huang ha vuelto a ganar! En la última prueba comparativa de MLPerf, H100 estableció con éxito 8 registros de prueba. Según medios extranjeros, la próxima generación de tarjetas gráficas para consumidores podría lanzarse en 2025.

¡En la última prueba comparativa de capacitación de MLPerf, la GPU H100 estableció nuevos récords en las ocho pruebas!

Hoy, NVIDIA H100 domina prácticamente todas las categorías y es la única GPU utilizada en el nuevo benchmark LLM.

Un grupo de 3584 GPU H100 completó una evaluación comparativa a gran escala basada en GPT-3 en solo 11 minutos.

El punto de referencia MLPerf LLM se basa en el modelo GPT-3 de OpenAI y contiene 175 000 millones de parámetros.

Lambda Labs estima que entrenar un modelo tan grande requiere alrededor de 3.14E23 FLOPS de cálculo.

11 minutos para entrenar GPT-3 cómo se forma el monstruo

NVIDIA e Inflection AI desarrollaron conjuntamente el sistema con la clasificación más alta en los puntos de referencia de procesamiento de lenguaje natural (NLP) de LLM y BERT.

Alojado por CoreWeave, un proveedor de servicios en la nube que se especializa en cargas de trabajo aceleradas por GPU de nivel empresarial.

El sistema combina 3584 aceleradores NVIDIA H100 con 896 procesadores Intel Xeon Platinum 8462Y+.

Porque Nvidia introdujo un nuevo motor Transformer en el H100, que está especialmente diseñado para acelerar el entrenamiento y el razonamiento del modelo Transformer, aumentando la velocidad de entrenamiento 6 veces.

El rendimiento que CoreWeave puede ofrecer desde la nube está muy cerca de lo que Nvidia puede ofrecer desde una supercomputadora de IA que se ejecuta en un centro de datos local.

Esto es gracias a la red de baja latencia de la red NVIDIA Quantum-2 InfiniBand utilizada por CoreWeave.

A medida que la cantidad de GPU H100 involucradas en el entrenamiento se expande de cientos a más de 3000.

Una buena optimización permite que toda la pila de tecnología logre una escala de rendimiento casi lineal en la exigente prueba LLM.

Si el número de GPU se reduce a la mitad, el tiempo para entrenar el mismo modelo aumenta a 24 minutos.

Demostrando que el potencial de eficiencia del sistema en general, a medida que aumentan las GPU, es superlineal.

La razón principal es que Nvidia ha considerado este problema desde el principio del diseño de la GPU, utilizando la tecnología NVLink para realizar de manera eficiente la comunicación entre las GPU.

De los 90 sistemas probados, 82 se aceleraron con GPU NVIDIA.

Eficiencia de entrenamiento de una sola tarjeta

Comparación del tiempo de entrenamiento del clúster del sistema

Los sistemas de revisión de Intel utilizaron entre 64 y 96 procesadores Intel Xeon Platinum 8380 y entre 256 y 389 aceleradores Intel Habana Gaudi2.

Sin embargo, Intel presentó GPT-3 con un tiempo de entrenamiento de 311 minutos.

En comparación con Nvidia, los resultados son un poco miserables.

Analista: Nvidia tiene demasiada ventaja

Los analistas de la industria creen que la ventaja técnica de Nvidia en GPU es muy obvia.

Como proveedor de infraestructura de IA, su posición dominante en la industria también se refleja en la solidez del ecosistema que Nvidia ha construido a lo largo de los años.

La comunidad de IA también depende mucho del software de Nvidia.

Casi todos los marcos de trabajo de IA se basan en las bibliotecas y herramientas CUDA subyacentes proporcionadas por Nvidia.

Y también ofrece herramientas y soluciones completas de IA.

Además de apoyar a los desarrolladores de IA, Nvidia continúa invirtiendo en herramientas de nivel empresarial para administrar cargas de trabajo y modelos.

En un futuro previsible, la posición de liderazgo de Nvidia en la industria será muy estable.

Los analistas señalaron además que las potentes funciones y la eficiencia del sistema NVIDIA para el entrenamiento de IA en la nube, como se muestra en los resultados de la prueba MLPerf, son el mayor capital de la "guerra por el futuro" de NVIDIA.

GPU Ada Lovelace de próxima generación, lanzada en 2025

Zhiye Liu, escritor independiente de Tom's Hardware, también publicó recientemente un artículo que presenta los planes para la próxima generación de tarjetas gráficas Nvidia Ada Lovelace.

No hay duda sobre la capacidad de H100 para entrenar modelos grandes.

Con solo 3584 H100, se puede entrenar un modelo GPT-3 en solo 11 minutos.

En una conferencia de prensa reciente, Nvidia compartió una nueva hoja de ruta que detalla los productos de próxima generación, incluido el sucesor de las GPU Ada Lovelace de la serie GeForce RTX 40, las primeras de las cuales son algunas de las mejores tarjetas gráficas para juegos disponibles en la actualidad.

Según la hoja de ruta, Nvidia planea lanzar la tarjeta gráfica "Ada Lovelace-Next" en 2025.

Si el esquema de nombres actual continúa, la próxima generación de productos GeForce debería aparecer como la serie GeForce RTX 50.

Según la información obtenida por la organización sudamericana de hackers LAPSU$, es probable que Hopper Next se llame Blackwell.

En las tarjetas gráficas de consumo, Nvidia mantiene un ritmo de actualización de dos años.

Lanzaron Pascal en 2016, Turing en 2018, Ampere en 2020 y Ada Lovelace en 2022.

Si el sucesor de Ada Lovelace se lanzará esta vez en 2025, sin duda Nvidia romperá el ritmo habitual.

La reciente explosión de IA ha creado una gran demanda de GPU NVIDIA, ya sea el último H100 o el A100 de la generación anterior.

Según los informes, un importante fabricante ha pedido GPU Nvidia por valor de mil millones de dólares este año.

A pesar de las restricciones a la exportación, mi país sigue siendo uno de los mercados más grandes de Nvidia en el mundo.

(Se dice que en el mercado de electrónica de Huaqiangbei en Shenzhen, puede comprar una pequeña cantidad de Nvidia A100 por $ 20,000 cada una, el doble del precio habitual).

En este sentido, Nvidia ha perfeccionado algunos productos de IA y ha lanzado SKU específicos como H100 o A800 para cumplir con los requisitos de exportación.

Zhiye Liu analizó esto.Desde otra perspectiva, las regulaciones de exportación en realidad son beneficiosas para Nvidia, porque significa que los clientes fabricantes de chips deben comprar más variantes de la GPU original para obtener el mismo rendimiento.

Esto también puede entender por qué Nvidia dará prioridad a la generación de GPU de cómputo en lugar de GPU de juegos.

Informes recientes indican que Nvidia ha aumentado la producción de GPU de grado informático.

Al no enfrentar una competencia seria de la pila de productos RDNA 3 de AMD, Intel tampoco representa una amenaza seria para el duopolio de GPU, por lo que Nvidia puede estancarse en el lado del consumidor.

Más recientemente, Nvidia ha ampliado su pila de productos de la serie GeForce RTX 40 con GeForce RTX 4060 y GeForce RTX 4060 Ti.

Existe potencial para una GeForce RTX 4050, junto con una RTX 4080 Ti o una GeForce RTX 4090 Ti en la parte superior, etc.

Si se ve obligado a hacerlo, Nvidia también puede sacar un producto de la versión anterior de Turing, actualizar Ada Lovelace, darle un tratamiento "Super" y ampliar aún más la línea de Ada.

Finalmente, Zhiye Liu dijo que al menos este año o el próximo, la arquitectura Lovelace realmente no se actualizará.

Referencias: