Nemotron 3.5 Super VL trên AWS: cần bao nhiêu GPU?

Một đội AI muốn xử lý đồng thời ảnh, tài liệu, video và văn bản thường phải đánh đổi giữa khả năng mô hình và chi phí GPU. Ngày 29/10/2026, AWS đăng hướng dẫn chạy NVIDIA Nemotron 3.5 Super VL trên Amazon EKS và SageMaker HyperPod EKS. Tài liệu đáng chú ý vì nêu cấu hình GPU tối thiểu theo từng định dạng số.

120B tham số không có nghĩa 120B đều hoạt động mỗi token

Nemotron 3.5 Super VL là mô hình đa phương thức dạng mixture of experts, hay MoE. Kiến trúc có 120 tỷ tham số tổng cộng nhưng chỉ kích hoạt khoảng 12 tỷ tham số cho mỗi token. Mô hình kết hợp Mamba-2, attention và bộ mã hóa hình ảnh RADIO, nhận văn bản, ảnh, tài liệu và video; AWS nêu độ dài ngữ cảnh tối đa một triệu token.

Số tham số kích hoạt thấp giúp giảm lượng tính toán so với mô hình đặc cùng kích thước tổng, nhưng toàn bộ trọng số vẫn cần được lưu và phân phối. Bộ nhớ GPU, băng thông giữa GPU và kích thước KV cache vẫn quyết định cấu hình thật.

Cấu hình tối thiểu AWS công bố

BF16 giữ độ chính xác số cao hơn và cần nhiều bộ nhớ. NVFP4 nén trọng số xuống 4 bit theo định dạng NVIDIA, giảm đáng kể số GPU tối thiểu nhưng có thể làm thay đổi chất lượng và cần phần cứng, phần mềm tương thích. Cấu hình “chạy được” cũng chưa chắc đáp ứng thời gian phản hồi khi có nhiều người dùng.

Kiến trúc AWS gợi ý những thành phần nào?

Hướng dẫn dùng EKS hoặc EKS Auto Mode, SageMaker HyperPod EKS, FSx for Lustre cho lưu trữ tốc độ cao và Elastic Fabric Adapter cho mạng giữa nút. Lớp phục vụ có thể kết hợp NVIDIA Dynamo với vLLM. Đây là một kiến trúc đám mây tham chiếu; doanh nghiệp tự vận hành có thể thay dịch vụ quản lý bằng Kubernetes, lưu trữ và mạng tương đương nhưng phải tự kiểm chứng.

Benchmark chỉ nên dùng để chọn bài kiểm tra

AWS dẫn các điểm 63,44 trên Hermes, 87,05 trên LangChain và 80,8 trên CharXiv. Đây là kết quả do NVIDIA và AWS công bố trên bộ đo riêng. Với doanh nghiệp Việt Nam, bộ thử nên bổ sung tài liệu tiếng Việt có bảng biểu, ảnh scan, video ngắn và câu hỏi nghiệp vụ; đo cả lỗi nhận dạng, trích dẫn sai và chi phí mỗi yêu cầu.

Checklist trước khi đặt cụm GPU

1. Chốt loại dữ liệu chính: ảnh, PDF, video hay văn bản; không dùng mô hình đa phương thức nếu bài toán chỉ cần văn bản.
2. Đo chất lượng BF16 và NVFP4 trên cùng dữ liệu tiếng Việt; không suy rằng giảm bộ nhớ luôn giữ nguyên độ chính xác.
3. Ước lượng độ dài ngữ cảnh thực tế và số phiên đồng thời để tính KV cache.
4. Kiểm tra tốc độ tải trọng số từ lưu trữ và băng thông giữa các GPU, đặc biệt khi trải qua nhiều nút.
5. Đặt giới hạn kích thước tệp, thời lượng video và số trang tài liệu để tránh một yêu cầu chiếm toàn bộ cụm.
6. Ghi lại thời gian đến token đầu tiên, token mỗi giây, mức dùng GPU và chi phí cho một tác vụ hoàn chỉnh.

Tác động với khách thuê GPU tại Việt Nam

Bảng cấu hình cho thấy cùng một mô hình có thể cần từ một B300 ở NVFP4 đến 16 H100 ở BF16. Vì vậy, câu hỏi đúng không phải “mô hình cần bao nhiêu GPU” mà là dùng định dạng nào, mục tiêu chất lượng ra sao và có bao nhiêu phiên đồng thời. Thử nghiệm nhỏ có kiểm soát giúp tránh thuê cả cụm trước khi biết NVFP4 có phù hợp dữ liệu Việt Nam hay không.

Câu hỏi thường gặp

Nguồn tham khảo

• AWS Machine Learning Blog, hướng dẫn Nemotron trên EKS và SageMaker HyperPod EKS, đăng và công bố ngày 29/10/2026.
• Thông số mô hình, cấu hình GPU và benchmark trong bài lấy từ AWS/NVIDIA; cần đo lại theo tải của doanh nghiệp.

Đội phát triển AI có thể gửi loại dữ liệu, mức đồng thời, độ dài ngữ cảnh và mục tiêu BF16/NVFP4 qua trang thuê GPU server. Những số liệu này giúp lập thử nghiệm đúng quy mô trước khi quyết định cụm nhiều GPU.