NVIDIA B200: thông số, phiên bản và mô hình AI

B200 hướng tới nền tảng AI có tải lớn và nhiều GPU. Người thuê cần hiểu một GPU B200, hệ thống HGX/DGX B200 và rack GB200 là các cấp cấu hình khác nhau; tên kiến trúc không thay bảng cấu hình máy.

Thông số cần biết trước khi chọn máy

Theo tài liệu chính hãng, cấu hình tham chiếu của NVIDIA B200 có các thông số dưới đây. VRAM là bộ nhớ ngay trên GPU, khác RAM của máy chủ. Băng thông bộ nhớ cho biết khả năng trao đổi dữ liệu bên trong card; không phải tốc độ mạng Internet.

Công suất trong bảng là giá trị tham chiếu của sản phẩm hoặc nền tảng, không phải mức điện máy luôn tiêu thụ. Khi chọn gói thuê, cần xem cả CPU, RAM hệ thống, ổ NVMe, đường mạng và số GPU. Hai máy cùng card có thể cho kết quả khác nhau nếu dữ liệu bị chờ ở CPU hoặc ổ đĩa.

Điểm mới của công nghệ có ích gì?

Blackwell bổ sung Transformer Engine thế hệ mới với tính toán độ chính xác thấp, bao gồm FP4, cùng liên kết NVLink thế hệ 5. Lợi ích là giảm dữ liệu cần di chuyển và hỗ trợ mở rộng nhiều GPU khi engine tận dụng được phần cứng.

Tính toán Tensor là các phép toán ma trận phục vụ học sâu. Con số TFLOPS/TOPS cực đại mô tả khả năng tính toán trong điều kiện nhất định, không cho biết trực tiếp bao nhiêu câu trả lời mỗi giây. Muốn so card, hãy chạy cùng mô hình, cùng độ chính xác và cùng độ dài đầu vào; số học FP4, FP8 và FP16 không được xếp chung như một thang tốc độ.

Các phiên bản và dung lượng: đọc đúng tên sản phẩm

Ví dụ có phiên bản bộ nhớ thật: RTX 4060 Ti và RTX 5060 Ti có bản 8 GB/16 GB. Ngược lại, RTX 3090 24 GB, RTX 5090 32 GB và RTX A6000 48 GB là các model khác nhau, không phải ba bản bộ nhớ của một card. Phần mềm phải được thử lại khi đổi model hoặc dung lượng.

Không phải GPU nào cũng có đủ bản 16, 24, 32 và 48 GB. Thay quạt, ép xung hoặc đổi thương hiệu bo mạch không tự tạo một dung lượng VRAM mới. Card đã độ bộ nhớ và tài nguyên vGPU/MIG cần được ghi riêng, không trình bày như phiên bản chính hãng. Yêu cầu nhà cung cấp xác nhận mã SKU, dung lượng thực nhận và quyền dùng nguyên GPU hay một phần.

Những mô hình nào nên thử trên GPU này?

Llama 3.1 70B BF16 khoảng 140 GB là ứng viên có thể kiểm thử trên một B200 180 GB với cache và tải được giới hạn. Qwen2.5-32B BF16 hoặc 70B lượng tử hóa có thể dành thêm bộ nhớ cho đồng thời; FP4 chỉ dùng khi checkpoint và kernel tương thích.

Các gợi ý ở đây là đánh giá dung lượng để chọn ứng viên thử nghiệm, chưa phải benchmark trên máy của thuemaychu.vn. Model card của Qwen2.5-32B-Instruct và Llama 3.1 70B Instruct giúp xác định đúng mô hình, điều kiện sử dụng và phần mềm. B là tỷ tham số; cùng tên họ mô hình vẫn có nhiều kích thước.

Lượng tử hóa là giảm số bit biểu diễn trọng số. Mốc 4-bit phía trên không phải dung lượng file hay bộ nhớ đo được: định dạng còn có hệ số tỉ lệ và dữ liệu phụ. KV cache là bộ nhớ giữ thông tin các token đã xử lý; nó tăng theo độ dài đầu vào và số phiên. Dung lượng thực tế cũng cần cộng phần engine, bộ nhớ tạm và các mô hình khác trong ứng dụng.

Bài này dùng 180 GB theo tài liệu HGX B200 và CUDA của NVIDIA, không lấy con số 192 GB của cấu hình Blackwell khác. 405B ở 4-bit đã khoảng 202,5 GB trọng số nên không mặc định chứa trên một B200.

Chạy câu trả lời khác với tinh chỉnh mô hình

Inference là dùng mô hình để sinh kết quả. Fine-tuning là tinh chỉnh bằng dữ liệu mới, cần thêm bộ nhớ cho quá trình học. LoRA/QLoRA giảm phần phải huấn luyện nhưng vẫn phụ thuộc batch, độ dài chuỗi và công cụ. Một mô hình nạp vừa để inference không có nghĩa sẽ tinh chỉnh được với cùng cấu hình. Với SDXL, phải tính cả pipeline tạo ảnh và bộ tinh chỉnh nếu bật; độ phân giải và batch ảnh làm thay đổi mức dùng VRAM.

Điều kiện triển khai và giới hạn cần kiểm tra

Cần kiểm tra quyền sử dụng GPU nguyên card hay phân vùng, driver và phiên bản engine Blackwell. Không chuyển hệ số tăng tốc hãng đo trên hệ thống nhiều GPU thành cam kết cho một máy thuê.

1. Chốt đúng checkpoint, phiên bản engine và phương pháp lượng tử hóa. Xem giấy phép mô hình trước khi dùng thương mại.
2. Thử với một phiên và đầu vào ngắn, ghi mức VRAM cao nhất; sau đó tăng lần lượt độ dài và số phiên.
3. Đo thời gian tới token đầu tiên, tốc độ sinh và tỷ lệ lỗi ở tải mục tiêu. Không chỉ đo một câu hỏi ngắn.
4. Kiểm tra nhiệt độ, điện, ổ lưu dữ liệu và phục hồi dịch vụ sau khởi động lại. Với nhiều GPU, xác minh engine thật sự chia tải.
5. Đặt giới hạn đầu vào và hàng đợi, dành dư địa bộ nhớ thay vì chạy sát dung lượng danh nghĩa.

Gửi yêu cầu cấu hình để nhận tư vấn phù hợp

Nếu đội bạn đang chọn GPU Server, gửi tên model, phiên bản, số người dùng đồng thời, độ dài tài liệu và ngân sách tới hotro@thuemaychu.vn hoặc gọi 028.888.70979. Yêu cầu xác nhận đúng GPU, dung lượng thực cấp, toàn bộ cấu hình máy và phép thử trước khi chốt. Xem bảng giá GPU Server; bài này không xác nhận card luôn sẵn hoặc gói thuê có cùng hiệu năng trên mọi ứng dụng.