Khám phá @nvidia 🐰 Kiến trúc GPU Hopper so với ⚙️ Blackwell—những bước nhảy vọt liên tiếp trong sức mạnh tính toán và kết nối cho các tác vụ AI của bạn👇

🐰 Hopper (H100 & H200) giới thiệu Tensor Cores thế hệ thứ 4 + một FP8 Transformer Engine, mang lại tốc độ đào tạo nhanh hơn tới 9× và suy diễn nhanh hơn 30× so với A100. ⚙️ Blackwell (B200)—giao hàng vào cuối năm 2024—kết hợp hai die qua một NV-HBI 10 TB/s, thêm FP4, và sử dụng NVLink-5 cho suy diễn cụm lên tới 30×.

@nvidia 🐰 Thông số Hopper Tensor Cores: hỗn hợp FP8/FP16/TF32 Bộ nhớ: - H100 → 80 GB HBM3 @ 3.35 TB/s - H200 → 141 GB HBM3e @ 4.8 TB/s NVLink: lên đến 900 GB/s mỗi GPU

@nvidia 🐰 Hopper đang hoạt động Các bài kiểm tra cho thấy H200 cung cấp khả năng suy diễn Llama-2 70B nhanh hơn 45–100% so với H100. ⚠️ Cả hai đều gặp khó khăn về nguồn cung trong năm 2023–25. 💻 Trên đám mây của Hyperbolic: H100 VMs & cụm bare-metal với Ethernet + InfiniBand bắt đầu từ $1.49/giờ. H200 & B200 qua báo giá tức thì.

@nvidia ⚙️ Blackwell Innovations - Thiết kế Chiplet (TSMC 4NP, 208 B transistor, 10 TB/s NV-HBI) - Engine Transformer thế hệ thứ 2: FP4 + FP8 nâng cao - NVLink-5: 18 liên kết @ 1.8 TB/s tổng - Engine Giải nén: 800 GB/s CPU↔GPU - RAS đầy đủ & Tính toán Bảo mật

📊 So sánh Hiệu suất H100 SXM: 80 GB @ 3.35 TB/s, 3.96 PFLOPS (FP8), 1.98 PFLOPS (FP16), 67 TFLOPS (FP32), NVLink 900 GB/s, 700 W H200 SXM: 141 GB @ 4.8 TB/s, cùng PFLOPS/TFLOPS tính toán, NVLink 900 GB/s, 700 W HGX B200: 180 GB @ 7.7 TB/s, 9 PFLOPS (FP8), 4.5 PFLOPS (FP16), 75 TFLOPS (FP32), NVLink 1.8 TB/s, 1000 W

@nvidia ❓ FLOP là gì? 1 phép toán dấu phẩy động (cộng/nhân) 1 TFLOP = 10¹² phép toán/giây 1 PFLOP = 10¹⁵ phép toán/giây = 1000× một TFLOP Các chỉ số này cho thấy tốc độ mà GPU xử lý các phép toán khổng lồ trong việc đào tạo AI & HPC.

@nvidia 🔚 Kết thúc: 🐰 Hopper đã đặt ra tiêu chuẩn với độ chính xác hỗn hợp FP8 & các pipeline bất đồng bộ. ⚙️ Blackwell đẩy mạnh thế hệ tiếp theo với FP4, nhiều bộ nhớ hơn, NVLink-5. H100 vẫn là con ngựa làm việc—thuê với giá $1.49/giờ. H200 & B200 có sẵn theo yêu cầu.

@nvidia Đọc toàn bộ bài viết tại: