NVIDIA H200 NVL: thông số, phiên bản và mô hình AI

H200 NVL đưa 141 GB HBM3e trên mỗi GPU vào cấu hình PCIe. Đội phục vụ mô hình lớn có thể hưởng lợi từ dư địa bộ nhớ, nhưng vẫn phải đo độ trễ và tải đồng thời.

Thông số được đối chiếu ngày 09/10/2026. Các mô hình dưới đây là gợi ý để kiểm thử theo bộ nhớ, chưa phải kết quả đo trên máy thuê tại Datahub DC.

Thông số cần biết trước khi chọn NVIDIA H200 NVL

VRAM là bộ nhớ riêng của GPU, dùng chứa trọng số mô hình, dữ liệu đang xử lý và vùng làm việc. Băng thông bộ nhớ cho biết tốc độ trao đổi dữ liệu với VRAM; dung lượng lớn và băng thông cao là hai đặc tính khác nhau.

Phiên bản nào đang được nhắc tới?

Mỗi H200 NVL có 141 GB, tối đa 600 W; SXM cũng 141 GB nhưng kiểu lắp và giới hạn điện khác. Tổng 2/4 GPU là bộ nhớ phân bố, không tự gộp cho mọi ứng dụng.

Công nghệ đáng chú ý và giới hạn

Hopper kết hợp HBM3e và Transformer Engine. Dung lượng lớn giúp giữ trọng số và bộ nhớ hội thoại trong GPU, giảm áp lực chuyển dữ liệu khi cấu hình phù hợp.

Khi so thông số AI, phải kiểm tra định dạng số và điều kiện đo. FP16 dùng 16 bit cho mỗi giá trị; FP8/FP4 dùng ít bit hơn nhưng cần phần cứng, định dạng mô hình và phần mềm phù hợp. Số TOPS hay TFLOPS không tự chuyển thành số câu hỏi chatbot xử lý mỗi giây.

Những mô hình AI nên đưa vào danh sách thử

Trong tên model, B là tỷ tham số: 7B có quy mô khoảng 7 tỷ tham số. Suy luận là dùng mô hình đã huấn luyện để trả kết quả. Vector tìm kiếm là dãy số biểu diễn ý nghĩa văn bản hoặc hình ảnh để tìm nội dung gần nhau.

70B nén 4-bit có thêm dư địa để khảo sát. Với 70B FP16, khoảng 140 GB chỉ cho trọng số lý tưởng đã gần đầy 141 GB, nên không coi một card là cấu hình phục vụ an toàn.

Phép tính trên là số tham số × số bit / 8. Mô hình nén còn có thông tin phục vụ giải nén; phần mềm cần vùng làm việc. KV cache là bộ nhớ lưu trạng thái cuộc hội thoại để tránh tính lại dữ liệu cũ, tăng theo độ dài đầu vào và số phiên. Vì vậy một mô hình nạp được chưa chứng minh máy phục vụ ổn định.

Ví dụ để thử có thể lấy Qwen2.5-32B hoặc Llama 3.1 70B với định dạng vừa bộ nhớ. Đây là các model có tài liệu công khai, không phải danh sách model mới nhất. Tinh chỉnh bằng LoRA/QLoRA là huấn luyện phần tham số bổ sung theo cách tiết kiệm bộ nhớ; nhu cầu khác chạy suy luận, nên không dùng bảng trên để kết luận đủ VRAM huấn luyện.

Cách kiểm thử trước khi thuê dài hạn

Xác minh số GPU, cầu NVLink, nguồn và khả năng làm mát. Đo thời gian trả token đầu cùng tải nhiều người dùng.

1. Chốt tên và phiên bản mô hình, định dạng trọng số, môi trường chạy; kiểm tra driver và thư viện có hỗ trợ GPU.
2. Lấy dữ liệu đại diện, gồm cả tài liệu dài nhất và đầu ra cần tạo. Chạy thử một phiên rồi tăng dần số phiên đồng thời.
3. Ghi đỉnh VRAM, thời gian trả kết quả đầu tiên, tốc độ hoàn thành và lỗi hết bộ nhớ. Đo lại khi chạy đủ các dịch vụ trên máy.
4. Thử tải kéo dài, theo dõi nhiệt độ và điện; so tổng chi phí hoàn thành công việc với cấu hình thay thế.

So với thế hệ mới và card gần nhất

So với H100 NVL 94 GB và H200 SXM theo kiểu máy; các nền tảng Blackwell/Rubin cần tính cả rack.

Tư vấn cấu hình cho đội vận hành máy chủ AI

Nếu đội vận hành máy chủ AI đang chọn GPU cho dự án, hãy gửi tên model, định dạng chạy, độ dài dữ liệu đầu vào, số người dùng đồng thời và ngân sách tới hotro@thuemaychu.vn hoặc gọi 028.888.70979. Datahub DC có thể trao đổi cấu hình và phương án kiểm thử; cần xác nhận riêng card sẵn có, giá và phạm vi hỗ trợ trước khi chốt.