Cụm 8 DGX Spark chạy mô hình 753B: đọc đúng benchmark NVIDIA

Một mô hình có hàng trăm tỷ tham số thường cần cụm GPU trung tâm dữ liệu. NVIDIA đang thử đưa loại thử nghiệm này xuống bàn làm việc bằng cách ghép nhiều DGX Spark. Trong bài ngày 22/10/2026, hãng công bố hỗ trợ chính thức cụm tám nút, đạt tổng cộng 1TB bộ nhớ hợp nhất và chạy được checkpoint GLM 5.3 753B.

Điều NVIDIA công bố

Theo NVIDIA Technical Blog, mỗi DGX Spark có 128GB bộ nhớ hợp nhất; bốn nút đạt 512GB và tám nút đạt 1TB. Checkpoint GLM 5.3 ở định dạng NVFP4 có kích thước khoảng 470GB, nên có thể phân bố trên cụm tám nút.

“Bộ nhớ hợp nhất 1TB” là tổng tài nguyên qua nhiều nút, không phải một vùng nhớ đơn có độ trễ như RAM cục bộ. Hiệu năng phụ thuộc việc chia mô hình, giao tiếp tập thể và topology mạng. Nếu liên kết chậm, thêm nút có thể tăng bộ nhớ nhưng không tăng tốc tương ứng.

Đọc đúng các benchmark của hãng

Các con số trên là benchmark NVIDIA, không phải cam kết cho mọi mô hình hoặc mạng. Token/giây còn thay đổi theo độ dài ngữ cảnh, số người dùng, lượng tử hóa, sampling và công cụ. Đặc biệt, tổng throughput tăng không đồng nghĩa từng người dùng nhận phản hồi nhanh hơn.

RoCEnante và đánh đổi mạng

NVIDIA thử backend tập thể RoCEnante cho cụm nối qua switch, giảm độ trễ all-reduce khi decode tensor-parallel với thông điệp nhỏ và số nút vừa phải. Hãng báo mức tăng tốc decode 4,43 lần ở tám nút, so với 3,05 lần nếu không dùng backend này.

Đổi lại, mỗi nút gửi toàn bộ đầu vào cho các nút khác rồi tự giảm dữ liệu, nên lưu lượng tăng nhanh khi thông điệp hoặc số nút lớn hơn. NVIDIA nói NCCL có thể phù hợp hơn cho mức đồng thời cao, cụm lớn hoặc topology ring. Đây là lựa chọn kiến trúc, không có một backend tốt nhất cho mọi tải.

Phần nào đã có, phần nào đang tới?

Hỗ trợ cụm tám nút được NVIDIA công bố chính thức tại GTC Berlin. Tuy nhiên, hỗ trợ tám nút trong NVIDIA Sync — công cụ có Cluster Assistant để thiết lập và quản lý thiết bị — được ghi là sẽ có vào cuối năm. Đội mua sắm không nên ghi tính năng này là đã sẵn sàng nếu phiên bản hiện tại chưa hỗ trợ.

Checklist đánh giá trước khi đầu tư

1. Xác định mục tiêu là chứa mô hình lớn, tăng thông lượng, huấn luyện thử nghiệm hay chạy nhiều mô hình; mỗi mục tiêu cần topology khác.
2. Đo kích thước checkpoint sau lượng tử hóa, KV cache và bộ nhớ dành cho runtime, không chỉ đếm tham số.
3. Benchmark một, bốn và tám nút bằng cùng prompt, concurrency và độ dài ngữ cảnh.
4. Ghi tổng token/giây, token/giây mỗi người dùng, p95, công suất, lỗi mạng và thời gian nạp mô hình.
5. Thử mất một nút, gián đoạn switch và khởi động lại; cụm nhiều nút tăng thêm điểm có thể hỏng.
6. So sánh tổng chi phí với máy chủ GPU rack, cloud API và thuê GPU theo giờ, gồm mạng, điện và công vận hành.
7. Xác minh phiên bản NVIDIA Sync và backend tập thể thực sự khả dụng trong thời điểm mua.

Ý nghĩa với đội AI tại Việt Nam

Cụm nhỏ tại chỗ có lợi cho nghiên cứu cần giữ dữ liệu nội bộ và thử mô hình vượt bộ nhớ một nút. Nhưng với dịch vụ nhiều người dùng, GPU trung tâm dữ liệu có mạng tốc độ cao, ECC và công cụ vận hành trưởng thành có thể phù hợp hơn. CTO nên chọn theo tải và tổng chi phí, không theo kích thước mô hình lớn nhất có thể khởi động.

Câu hỏi thường gặp

Nguồn tham khảo

NVIDIA Technical Blog, đăng ngày 22/10/2026: Running Frontier-Class AI Models Across 8 NVIDIA DGX Spark Nodes.

Bước tiếp theo

CTO và đội AI nên chuẩn bị mô hình, định dạng lượng tử hóa, độ dài ngữ cảnh, số người dùng đồng thời, yêu cầu dữ liệu và ngân sách. Gửi thông tin qua trang Thuê GPU Server để trao đổi bài benchmark so sánh cụm nhỏ với máy chủ GPU; Datahub không được mặc định có DGX Spark nếu chưa xác nhận.