GPT-3 eğitimini bitirmek için 11 dakika! Nvidia H100, 8 MLPerf kıyaslama testini geçti, yeni nesil grafik kartları 25 yıl içinde piyasaya sürülecek

**Kaynak:**Xinzhiyuan

Giriş: Boss Huang yine kazandı! En son MLPerf kıyaslama testinde H100, 8 test rekorunu başarıyla kırdı. Yabancı basına göre, yeni nesil tüketici sınıfı grafik kartları 2025'te piyasaya sürülebilir.

En son MLPerf eğitim kıyaslama testinde, H100 GPU sekiz testin hepsinde yeni rekorlar kırdı!

Bugün, NVIDIA H100 hemen hemen tüm kategorilere hükmediyor ve yeni LLM kıyaslamasında kullanılan tek GPU.

3.584 H100 GPU'dan oluşan bir küme, GPT-3'e dayalı büyük ölçekli bir karşılaştırmayı yalnızca 11 dakikada tamamladı.

MLPerf LLM kıyaslaması, OpenAI'nin GPT-3 modelini temel alır ve 175 milyar parametre içerir.

Lambda Labs, bu kadar büyük bir modeli eğitmenin yaklaşık 3.14E23 FLOPS hesaplama gerektirdiğini tahmin ediyor.

GPT-3'ün canavarın nasıl oluştuğunu öğretmek için 11 dakika

LLM ve BERT doğal dil işleme (NLP) kıyaslamalarında en yüksek sıralamaya sahip sistem, NVIDIA ve Inflection AI tarafından ortaklaşa geliştirilmiştir.

Kurumsal düzeyde GPU hızlandırmalı iş yüklerinde uzmanlaşmış bir bulut hizmeti sağlayıcısı olan CoreWeave tarafından barındırılır.

Sistem, 3.584 NVIDIA H100 hızlandırıcıyı 896 Intel Xeon Platinum 8462Y+ işlemciyle birleştirir.

Çünkü Nvidia, Transformer modeli eğitimini ve akıl yürütmeyi hızlandırmak için özel olarak tasarlanmış, eğitim hızını 6 kat artıran H100'de yeni bir Transformer motoru tanıttı.

CoreWeave'in buluttan sağlayabileceği performans, Nvidia'nın şirket içi bir veri merkezinde çalışan bir yapay zeka süper bilgisayarından sağlayabileceği performansa çok yakın.

Bu, CoreWeave tarafından kullanılan NVIDIA Quantum-2 InfiniBand ağının düşük gecikmeli ağı sayesindedir.

Eğitime katılan H100 GPU'ların sayısı yüzden fazlayken 3.000'in üzerine çıktı.

İyi optimizasyon, zorlu LLM testinde tüm teknoloji yığınının doğrusala yakın performans ölçeklendirmesi elde etmesini sağlar.

GPU sayısı yarıya düşürülürse, aynı modeli eğitme süresi 24 dakikaya çıkar.

GPU'lar arttıkça genel sistemin verimlilik potansiyelinin süper doğrusal olduğunu gösteriyor.

Bunun ana nedeni, Nvidia'nın GPU'lar arasındaki iletişimi verimli bir şekilde gerçekleştirmek için NVLink teknolojisini kullanarak GPU tasarımının başından beri bu sorunu dikkate almasıdır.

Test edilen 90 sistemden 82'si NVIDIA GPU'ları kullanılarak hızlandırıldı.

Tek kart eğitim verimliliği

Sistem kümesi eğitim süresi karşılaştırması

Intel'in inceleme sistemleri, 64 ila 96 Intel Xeon Platinum 8380 işlemci ve 256 ila 389 Intel Habana Gaudi2 hızlandırıcı kullandı.

Ancak Intel, GPT-3'ü 311 dakikalık bir eğitim süresiyle sundu.

Nvidia ile karşılaştırıldığında, sonuçlar biraz içler acısı.

Analist: Nvidia'nın çok fazla avantajı var

Endüstri analistleri, Nvidia'nın GPU'daki teknik avantajının çok açık olduğuna inanıyor.

Bir AI altyapı sağlayıcısı olarak sektördeki hakim konumu, Nvidia'nın yıllar içinde oluşturduğu ekosistemin yapışkanlığına da yansımıştır.

AI topluluğu da Nvidia'nın yazılımına çok bağımlı.

Neredeyse tüm AI çerçeveleri, Nvidia tarafından sağlanan temel CUDA kitaplıklarına ve araçlarına dayanmaktadır.

Ayrıca tam yığın yapay zeka araçları ve çözümleri sunar.

AI geliştiricilerini desteklemenin yanı sıra Nvidia, iş yüklerini ve modelleri yönetmek için kurumsal düzeyde araçlara yatırım yapmaya devam ediyor.

Öngörülebilir gelecekte, Nvidia'nın sektördeki lider konumu çok istikrarlı olacaktır.

Analistler ayrıca, MLPerf test sonuçlarında gösterildiği gibi, bulutta yapay zeka eğitimi için NVIDIA sisteminin güçlü işlevlerinin ve verimliliğinin, NVIDIA'nın "gelecek için savaş"ının en büyük sermayesi olduğuna dikkat çekti.

Yeni Nesil Ada Lovelace GPU, 2025'te Piyasaya Sürüldü

Tom's Hardware'de serbest yazar olan Zhiye Liu da yakın zamanda yeni nesil Nvidia Ada Lovelace grafik kartları için planları tanıtan bir makale yayınladı.

H100'ün büyük modelleri eğitme yeteneği hakkında hiç şüphe yok.

Yalnızca 3584 H100 ile bir GPT-3 modeli yalnızca 11 dakikada eğitilebilir.

Yakın tarihli bir basın toplantısında Nvidia, eskisi bugün mevcut olan en iyi oyun grafik kartlarından bazıları olan GeForce RTX 40 serisi Ada Lovelace GPU'ların halefi de dahil olmak üzere yeni nesil ürünleri detaylandıran yeni bir yol haritasını paylaştı.

Yol haritasına göre Nvidia, 2025 yılında "Ada Lovelace-Next" ekran kartını piyasaya sürmeyi planlıyor.

Mevcut adlandırma şeması devam ederse, yeni nesil GeForce ürünleri GeForce RTX 50 serisi olarak sıralanmalıdır.

Güney Amerikalı hacker kuruluşu LAPSU$'un edindiği bilgilere göre Hopper Next'in isminin Blackwell olması muhtemel.

Tüketici sınıfı grafik kartlarında, Nvidia iki yıllık bir güncelleme ritmini koruyor.

2016'da Pascal'ı, 2018'de Turing'i, 2020'de Ampere'i ve 2022'de Ada Lovelace'ı piyasaya sürdüler.

Ada Lovelace'in halefi bu sefer 2025'te lanse edilirse, Nvidia şüphesiz alışılmış ritmi bozacaktır.

En son AI patlaması, ister en son H100 ister önceki nesil A100 olsun, NVIDIA GPU'lar için büyük bir talep yarattı.

Raporlara göre, büyük bir üretici bu yıl 1 milyar dolar değerinde Nvidia GPU'ları sipariş etti.

İhracat kısıtlamalarına rağmen ülkem, Nvidia'nın dünyadaki en büyük pazarlarından biri olmaya devam ediyor.

(Shenzhen'deki Huaqiangbei elektronik pazarında, her biri normal fiyatın iki katı olan 20.000$'a az sayıda Nvidia A100 satın alabileceğiniz söyleniyor.)

Bu bağlamda Nvidia, ihracat gereksinimlerini karşılamak için bazı AI ürünlerinde ince ayar yaptı ve H100 veya A800 gibi belirli SKU'lar yayınladı.

Zhiye Liu bunu analiz etti: Başka bir açıdan bakıldığında, ihracat düzenlemeleri aslında Nvidia için faydalı, çünkü bu, çip üreticisi müşterilerin aynı performansı elde etmek için orijinal GPU'nun daha fazla çeşidini satın almaları gerektiği anlamına geliyor.

Bu, Nvidia'nın neden oyun GPU'ları yerine bilgi işlem GPU'ları oluşturmaya öncelik verdiğini de anlayabilir.

Son raporlar, Nvidia'nın bilgi işlem sınıfı GPU'ların üretimini hızlandırdığını gösteriyor.

AMD'nin RDNA 3 ürün yığınından ciddi bir rekabetle karşı karşıya olmayan Intel, GPU ikilisi için ciddi bir tehdit oluşturmuyor, bu nedenle Nvidia tüketici tarafında oyalanabilir.

Yakın zamanda Nvidia, GeForce RTX 40 serisi ürün yığınını GeForce RTX 4060 ve GeForce RTX 4060 Ti ile genişletti.

Üstte bir RTX 4080 Ti veya GeForce RTX 4090 Ti ile birlikte bir GeForce RTX 4050 potansiyeli var.

Zorlanırsa, Nvidia ayrıca eski Turing sürümünden bir ürün çıkarabilir, Ada Lovelace'i güncelleyebilir, ona "Süper" bir muamele yapabilir ve Ada serisini daha da genişletebilir.

Son olarak Zhiye Liu, en azından bu yıl veya gelecek yıl Lovelace mimarisinin gerçekten güncellenmeyeceğini söyledi.

Referanslar: