11 phút để hoàn thành đào tạo GPT-3! Nvidia H100 càn quét 8 bài benchmark MLPerf, thế hệ card đồ họa tiếp theo sẽ ra mắt sau 25 năm nữa

**Nguồn:**Xinzhiyuan

Giới thiệu: Boss Huang lại thắng rồi! Trong bài kiểm tra điểm chuẩn MLPerf mới nhất, H100 đã thiết lập thành công 8 kỷ lục kiểm tra. Theo các phương tiện truyền thông nước ngoài, thế hệ card đồ họa tiêu dùng tiếp theo có thể được phát hành vào năm 2025.

Trong bài kiểm tra điểm chuẩn đào tạo MLPerf mới nhất, GPU H100 đã lập kỷ lục mới trong tất cả tám bài kiểm tra!

Ngày nay, NVIDIA H100 gần như thống trị tất cả các danh mục và là GPU duy nhất được sử dụng trong tiêu chuẩn LLM mới.

Một cụm gồm 3.584 GPU H100 đã hoàn thành điểm chuẩn quy mô lớn dựa trên GPT-3 chỉ trong 11 phút.

Điểm chuẩn MLPerf LLM dựa trên mô hình GPT-3 của OpenAI và chứa 175 tỷ tham số.

Lambda Labs ước tính rằng việc đào tạo một mô hình lớn như vậy cần khoảng 3,14E23 FLOPS tính toán.

11 phút để huấn luyện GPT-3 cách hình thành quái vật

Hệ thống xếp hạng cao nhất trên tiêu chuẩn xử lý ngôn ngữ tự nhiên (NLP) LLM và BERT do NVIDIA và Inflection AI cùng phát triển.

Được lưu trữ bởi CoreWeave, nhà cung cấp dịch vụ đám mây chuyên về khối lượng công việc được tăng tốc GPU cấp doanh nghiệp.

Hệ thống kết hợp 3.584 bộ tăng tốc NVIDIA H100 với 896 bộ xử lý Intel Xeon Platinum 8462Y+.

Bởi vì Nvidia đã giới thiệu một công cụ Transformer mới trong H100, được thiết kế đặc biệt để tăng tốc đào tạo và suy luận mô hình Transformer, tăng tốc độ đào tạo lên 6 lần.

Hiệu suất mà CoreWeave có thể mang lại từ đám mây rất gần với những gì Nvidia có thể mang lại từ siêu máy tính AI chạy trong trung tâm dữ liệu tại chỗ.

Điều này là nhờ kết nối mạng có độ trễ thấp của mạng NVIDIA Quantum-2 InfiniBand được sử dụng bởi CoreWeave.

Khi số lượng GPU H100 tham gia đào tạo tăng từ hàng trăm lên hơn 3.000.

Tối ưu hóa tốt cho phép toàn bộ ngăn xếp công nghệ đạt được tỷ lệ hiệu suất gần như tuyến tính trong thử nghiệm LLM đòi hỏi khắt khe.

Nếu số lượng GPU giảm xuống một nửa, thời gian đào tạo cùng một mô hình sẽ tăng lên 24 phút.

Cho thấy rằng tiềm năng hiệu quả của toàn bộ hệ thống, khi GPU tăng lên, là siêu tuyến tính.

Lý do chính là Nvidia đã xem xét vấn đề này ngay từ đầu khi thiết kế GPU, sử dụng công nghệ NVLink để thực hiện giao tiếp giữa các GPU một cách hiệu quả.

Trong số 90 hệ thống được thử nghiệm, 82 hệ thống được tăng tốc bằng GPU NVIDIA.

Hiệu quả đào tạo thẻ đơn

So sánh thời gian đào tạo cụm hệ thống

Các hệ thống đánh giá của Intel đã sử dụng từ 64 đến 96 bộ xử lý Intel Xeon Platinum 8380 và 256 đến 389 bộ tăng tốc Intel Habana Gaudi2.

Tuy nhiên, Intel đã gửi GPT-3 với thời gian đào tạo là 311 phút.

So với Nvidia, kết quả hơi thảm hại.

Nhà phân tích: Nvidia có quá nhiều lợi thế

Các nhà phân tích trong ngành tin rằng lợi thế kỹ thuật của Nvidia trong GPU là rất rõ ràng.

Với tư cách là nhà cung cấp cơ sở hạ tầng AI, vị thế thống trị của họ trong ngành cũng được phản ánh qua sự gắn bó của hệ sinh thái mà Nvidia đã xây dựng trong nhiều năm.

Cộng đồng AI cũng phụ thuộc rất nhiều vào phần mềm của Nvidia.

Hầu như tất cả các khung AI đều dựa trên các công cụ và thư viện CUDA cơ bản do Nvidia cung cấp.

Và nó cũng cung cấp các giải pháp và công cụ AI toàn diện.

Ngoài việc hỗ trợ các nhà phát triển AI, Nvidia tiếp tục đầu tư vào các công cụ cấp doanh nghiệp để quản lý khối lượng công việc và mô hình.

Trong tương lai gần, vị trí dẫn đầu ngành của Nvidia sẽ rất ổn định.

Các nhà phân tích cũng chỉ ra rằng các chức năng mạnh mẽ và hiệu quả của hệ thống NVIDIA trong đào tạo AI trên đám mây, như thể hiện trong kết quả thử nghiệm MLPerf, là nguồn vốn lớn nhất trong "cuộc chiến vì tương lai" của NVIDIA.

GPU Ada Lovelace thế hệ tiếp theo, được phát hành vào năm 2025

Zhiye Liu, một nhà văn tự do tại Tom's Hardware, gần đây cũng đã xuất bản một bài viết giới thiệu kế hoạch cho thế hệ card đồ họa Nvidia Ada Lovelace tiếp theo.

Không có nghi ngờ gì về khả năng huấn luyện các mô hình lớn của H100.

Chỉ với 3584 chiếc H100, một mô hình GPT-3 có thể được đào tạo chỉ trong 11 phút.

Tại một cuộc họp báo gần đây, Nvidia đã chia sẻ một lộ trình mới nêu chi tiết các sản phẩm thế hệ tiếp theo, bao gồm cả sản phẩm kế thừa GPU Ada Lovelace dòng GeForce RTX 40, trước đây là một số card đồ họa chơi game tốt nhất hiện nay.

Theo lộ trình, Nvidia dự kiến ra mắt card đồ họa "Ada Lovelace-Next" vào năm 2025.

Nếu sơ đồ đặt tên hiện tại vẫn tiếp tục, thế hệ sản phẩm GeForce tiếp theo sẽ được liệt kê là dòng GeForce RTX 50.

Theo thông tin mà tổ chức tin tặc Nam Mỹ LAPSU$ có được, Hopper Next có khả năng mang tên Blackwell.

Trên card đồ họa cấp độ người tiêu dùng, Nvidia duy trì nhịp độ cập nhật hai năm một lần.

Họ đã ra mắt Pascal vào năm 2016, Turing vào năm 2018, Ampere vào năm 2020 và Ada Lovelace vào năm 2022.

Nếu người kế nhiệm Ada Lovelace lần này ra mắt vào năm 2025, Nvidia chắc chắn sẽ phá vỡ nhịp điệu thông thường.

Sự bùng nổ AI gần đây đã tạo ra nhu cầu rất lớn đối với GPU NVIDIA, cho dù đó là H100 mới nhất hay A100 thế hệ trước.

Theo báo cáo, một nhà sản xuất lớn đã đặt hàng GPU Nvidia trị giá 1 tỷ USD trong năm nay.

Bất chấp những hạn chế xuất khẩu, quốc gia của tôi vẫn là một trong những thị trường lớn nhất của Nvidia trên thế giới.

(Người ta nói rằng tại chợ điện tử Huaqiangbei ở Thâm Quyến, bạn có thể mua một số lượng nhỏ Nvidia A100 với giá 20.000 USD mỗi chiếc, gấp đôi giá thông thường.)

Về vấn đề này, Nvidia đã tinh chỉnh một số sản phẩm AI và tung ra các SKU cụ thể như H100 hay A800 để đáp ứng yêu cầu xuất khẩu.

Zhiye Liu phân tích điều này, ở một góc độ khác, các quy định xuất khẩu thực sự có lợi cho Nvidia, vì điều đó có nghĩa là khách hàng của nhà sản xuất chip phải mua nhiều biến thể của GPU gốc hơn để có được hiệu suất tương tự.

Điều này cũng có thể hiểu tại sao Nvidia sẽ ưu tiên tạo ra GPU máy tính thay vì GPU chơi game.

Các báo cáo gần đây chỉ ra rằng Nvidia đã tăng cường sản xuất GPU cấp điện toán.

Không phải đối mặt với sự cạnh tranh nghiêm trọng từ ngăn xếp sản phẩm RDNA 3 của AMD, Intel cũng không phải là mối đe dọa nghiêm trọng đối với sự độc quyền GPU, vì vậy Nvidia có thể bị đình trệ ở phía người tiêu dùng.

Gần đây hơn, Nvidia đã mở rộng ngăn xếp sản phẩm sê-ri GeForce RTX 40 của mình với GeForce RTX 4060 và GeForce RTX 4060 Ti.

Có tiềm năng cho GeForce RTX 4050, cùng với RTX 4080 Ti hoặc GeForce RTX 4090 Ti ở trên cùng, v.v.

Nếu bị ép buộc, Nvidia cũng có thể loại bỏ một sản phẩm từ phiên bản Turing cũ, cập nhật Ada Lovelace, xử lý "Super" cho nó và tiếp tục mở rộng dòng sản phẩm Ada.

Cuối cùng, Zhiye Liu nói rằng ít nhất trong năm nay hoặc năm sau, kiến trúc Lovelace sẽ không thực sự được cập nhật.

Người giới thiệu: