11 хвилин до завершення тренування GPT-3! Nvidia H100 проходить 8 тестів MLPerf, наступне покоління відеокарт буде випущено через 25 років

**Джерело:**Xinzhiyuan

Вступ: Бос Хуанг знову переміг! В останньому тесті MLPerf H100 успішно встановив 8 рекордів. За даними іноземних ЗМІ, наступне покоління відеокарт споживчого класу може бути випущене в 2025 році.

В останньому тесті тренування MLPerf GPU H100 встановив нові рекорди у всіх восьми тестах!

Сьогодні NVIDIA H100 практично домінує в усіх категоріях і є єдиним графічним процесором, який використовується в новому тесті LLM.

Кластер із 3584 графічних процесорів H100 пройшов масштабний тест на основі GPT-3 лише за 11 хвилин.

Тест MLPerf LLM базується на моделі OpenAI GPT-3 і містить 175 мільярдів параметрів.

За оцінками Lambda Labs, навчання такої великої моделі потребує приблизно 3,14E23 FLOPS обчислень.

11 хвилин, щоб навчити GPT-3, як формується монстр

Система найвищого рейтингу в тестах обробки природної мови (NLP) LLM і BERT була спільно розроблена NVIDIA і Inflection AI.

Розміщується CoreWeave, постачальником хмарних послуг, що спеціалізується на робочих навантаженнях корпоративного рівня з прискоренням GPU.

Система поєднує в собі 3584 прискорювача NVIDIA H100 і 896 процесорів Intel Xeon Platinum 8462Y+.

Тому що Nvidia представила новий двигун Transformer у H100, який спеціально розроблений для прискорення навчання моделі Transformer і міркувань, збільшуючи швидкість навчання в 6 разів.

Продуктивність, яку CoreWeave може забезпечити з хмари, дуже близька до тієї, яку Nvidia може забезпечити від суперкомп’ютера зі штучним інтелектом, що працює в локальному центрі обробки даних.

Це завдяки мережі з низькою затримкою мережі NVIDIA Quantum-2 InfiniBand, яку використовує CoreWeave.

Оскільки кількість графічних процесорів H100, задіяних у навчанні, зростає від сотень до понад 3000.

Хороша оптимізація дозволяє всьому стеку технологій досягати майже лінійного масштабування продуктивності в складному тесті LLM.

Якщо кількість графічних процесорів зменшити вдвічі, час навчання тієї ж моделі збільшується до 24 хвилин.

Показує, що потенціал ефективності всієї системи зі збільшенням GPU є суперлінійним.

Основна причина полягає в тому, що Nvidia розглядала цю проблему з самого початку розробки GPU, використовуючи технологію NVLink для ефективної реалізації зв’язку між GPU.

З 90 протестованих систем 82 були прискорені за допомогою графічних процесорів NVIDIA.

Ефективність навчання по одній карті

Порівняння часу навчання системного кластера

Системи огляду Intel використовували від 64 до 96 процесорів Intel Xeon Platinum 8380 і від 256 до 389 прискорювачів Intel Habana Gaudi2.

Однак Intel представила GPT-3 із часом навчання 311 хвилин.

У порівнянні з Nvidia, результати трохи жалюгідні.

Аналітик: у Nvidia занадто багато переваг

Галузеві аналітики вважають, що технічна перевага Nvidia в GPU дуже очевидна.

Як постачальника інфраструктури штучного інтелекту, його домінуюче становище в галузі також відображається в стійкості екосистеми, яку Nvidia створила протягом багатьох років.

Спільнота AI також дуже залежить від програмного забезпечення Nvidia.

Майже всі фреймворки штучного інтелекту базуються на базових бібліотеках і інструментах CUDA, наданих Nvidia.

Він також пропонує повний набір інструментів і рішень ШІ.

Окрім підтримки розробників штучного інтелекту, Nvidia продовжує інвестувати в інструменти корпоративного рівня для керування навантаженнями та моделями.

У доступному для огляду майбутньому лідируючі позиції Nvidia в галузі будуть дуже стабільними.

Аналітики також відзначили, що потужні функції та ефективність системи NVIDIA для навчання ШІ в хмарі, як показано в результатах тестування MLPerf, є найбільшим капіталом «війни за майбутнє» NVIDIA.

Графічний процесор Ada Lovelace наступного покоління, випущений у 2025 році

Чжіє Лю, незалежний автор Tom's Hardware, також нещодавно опублікував статтю, в якій розповідає про плани щодо наступного покоління відеокарт Nvidia Ada Lovelace.

Немає сумнівів у здатності H100 тренувати великі моделі.

Маючи лише 3584 H100, модель GPT-3 можна навчити всього за 11 хвилин.

На нещодавній прес-конференції Nvidia поділилася новою дорожньою картою з детальним описом продуктів наступного покоління, включаючи наступників графічних процесорів Ada Lovelace серії GeForce RTX 40, перші з яких є одними з найкращих доступних на сьогодні ігрових відеокарт.

Відповідно до дорожньої карти, Nvidia планує випустити відеокарту «Ada Lovelace-Next» у 2025 році.

Якщо поточна схема іменування збережеться, наступне покоління продуктів GeForce має бути зазначено як серія GeForce RTX 50.

Згідно з інформацією, отриманою південноамериканською хакерською організацією LAPSU$, Hopper Next, ймовірно, носитиме ім'я Blackwell.

На відеокартах споживчого класу Nvidia підтримує дворічний ритм оновлення.

Вони запустили Pascal у 2016 році, Turing у 2018 році, Ampere у 2020 році та Ada Lovelace у 2022 році.

Якщо цього разу наступник Ади Лавлейс буде представлений у 2025 році, Nvidia, безсумнівно, порушить звичний ритм.

Нещодавній вибух штучного інтелекту створив величезний попит на графічні процесори NVIDIA, незалежно від того, чи йдеться про останній H100 чи A100 попереднього покоління.

Згідно з повідомленнями, цього року великий виробник замовив графічні процесори Nvidia на 1 мільярд доларів.

Незважаючи на експортні обмеження, моя країна залишається одним із найбільших ринків Nvidia у світі.

(Кажуть, що на ринку електроніки Huaqiangbei у Шеньчжені ви можете придбати невелику кількість Nvidia A100 за 20 000 доларів за штуку, що вдвічі перевищує звичайну ціну.)

У зв’язку з цим Nvidia налагодила деякі продукти штучного інтелекту та випустила спеціальні SKU, такі як H100 або A800, щоб відповідати експортним вимогам.

Чжіє Лю проаналізував це.З іншої точки зору, регулювання експорту насправді вигідне Nvidia, оскільки це означає, що клієнти-виробники мікросхем повинні купувати більше варіантів оригінального графічного процесора, щоб отримати таку саму продуктивність.

Це також може зрозуміти, чому Nvidia віддаватиме пріоритет створенню обчислювальних GPU замість ігрових GPU.

Останні звіти показують, що Nvidia збільшила виробництво графічних процесорів обчислювального рівня.

Не стикаючись із серйозною конкуренцією з боку пакету продуктів AMD RDNA 3, Intel також не становить серйозної загрози для дуополії GPU, тому Nvidia може зупинитися на стороні споживача.

Нещодавно Nvidia розширила свій набір продуктів серії GeForce RTX 40 за допомогою GeForce RTX 4060 і GeForce RTX 4060 Ti.

Існує потенціал для GeForce RTX 4050 разом із RTX 4080 Ti або GeForce RTX 4090 Ti на вершині тощо.

Якщо буде вимушено, Nvidia також може взяти продукт зі старої версії Turing, оновити Ada Lovelace, надати йому обробку «Супер» і ще більше розширити модельний ряд Ada.

Нарешті Чжіє Лю сказав, що принаймні цього чи наступного року архітектура Lovelace не буде оновлена.

Література: