GPU / AI

NVIDIA chạy GLM-5.3 trên hai DGX Station với vLLM

NVIDIA trình bày cách chia GLM-5.3 NVFP4 qua hai GPU GB300. Đội AI cần đo thêm bộ nhớ phiên, thời gian chờ và lưu lượng giữa hai máy.

thuemaychu.vn
Minh họa hai máy tính dạng tháp nối với nhau bằng dây mạng phát sáng

Bạn thử đưa một mô hình lớn vào dịch vụ hỏi đáp nội bộ, nhưng máy báo hết bộ nhớ ngay khi nạp. Ghép thêm máy có thể giải quyết chỗ chứa mô hình; đổi lại, kết nối giữa hai máy trở thành một phần của đường xử lý mỗi yêu cầu. Hướng dẫn NVIDIA ngày 13/11/2026 cho đội AI một ví dụ cụ thể để đánh giá đánh đổi đó.

Vì sao một GPU không đủ?

NVIDIA dùng bản GLM-5.3 NVFP4. NVFP4 là định dạng biểu diễn số gọn giúp giảm lượng bộ nhớ dùng cho trọng số, tức các giá trị mô hình đã học. Bản thử có 753 tỷ tham số và khoảng 40 tỷ được kích hoạt cho mỗi token, đơn vị văn bản mô hình xử lý. Vì các phần được chọn thay đổi theo token, máy vẫn cần giữ toàn bộ trọng số sẵn sàng. Hãng nêu bản mô hình khoảng 464 GB, vượt 252 GB bộ nhớ HBM3e của một GPU GB300 trong cấu hình thử.

NVIDIA chạy vLLM, phần mềm phục vụ suy luận, trên hai DGX Station. Hãng dùng tensor parallelism với mức 2, tức chia các mảng số trong mô hình giữa hai GPU. Cả hai máy cùng tham gia xử lý một yêu cầu. Vì vậy, có hai máy không đồng nghĩa với có hai bản sao độc lập để dự phòng.

Đo điều người dùng cảm nhận

Bộ nhớ còn lại sau khi nạp mô hình phải đủ cho trạng thái hội thoại và phần mềm phục vụ. Thử cả đoạn ngắn lẫn tài liệu dài; nếu chỉ thử một câu hỏi ngắn, đội khó thấy lúc máy bắt đầu phải xếp hàng. Với ứng dụng tiếng Việt, dùng bộ câu hỏi của nghiệp vụ và đo cả chất lượng câu trả lời khi đổi định dạng số.

Đo thời gian tới phần trả lời đầu tiên, tốc độ sinh phần tiếp theo và tỷ lệ yêu cầu hoàn tất. Ghi riêng thời gian ở các yêu cầu chậm nhất và số phiên đang chạy khi đo. Hướng dẫn của NVIDIA là một cấu hình tham khảo; kết quả không dự báo hiệu năng cho mạng hoặc GPU khác.

Checklist trước khi thuê cụm

  • Ghi bản mô hình, giấy phép, định dạng số, phiên bản vLLM và giới hạn độ dài yêu cầu. Đặt mục tiêu thời gian phản hồi trước khi chạy thử.
  • Xác nhận kiểu kết nối giữa hai máy, tài nguyên được cấp riêng và cách giám sát đường truyền. Thử tải trong cấu hình mạng dự kiến, thay vì cộng dung lượng GPU trên giấy.
  • Diễn tập khi một máy phải bảo trì. Đo thời gian nạp lại mô hình và chuẩn bị phương án phục vụ tạm bằng mô hình nhỏ hơn nếu ứng dụng cho phép.
  • So với cấu hình một máy dùng mô hình nhỏ hơn, hoặc hệ thống đã đủ bộ nhớ trong một nút. Tính cả công vận hành và chi phí cho những yêu cầu đạt mục tiêu.

Khi nào chọn mô hình nhỏ trước?

Nếu công việc chủ yếu là trích xuất dữ liệu có cấu trúc hoặc trả lời từ tài liệu nội bộ, hãy so sánh chất lượng của một mô hình nhỏ hơn bằng dữ liệu thật đã ẩn thông tin nhạy cảm. Nếu chênh lệch ít, cấu hình gọn có thể dễ duy trì hơn. Nếu mô hình lớn đem lại lợi ích rõ, thử hai máy ở quy mô nhỏ rồi mới lập kế hoạch mở rộng.

Có thể dùng hai GPU bất kỳ có tổng bộ nhớ đủ không?

Tổng dung lượng chỉ là bước lọc. Cần kiểm tra hỗ trợ định dạng số, phần mềm, kết nối và bộ nhớ còn lại khi có nhiều yêu cầu.

Một máy dừng thì máy kia có phục vụ tiếp không?

Trong cấu hình chia mô hình như ví dụ, mỗi máy chỉ giữ một phần, nên cần phương án dự phòng riêng.

Nguồn tham khảo

Đội AI đang chọn máy chủ GPU có thể gửi tên mô hình, độ dài tài liệu, số phiên đồng thời và ngưỡng phản hồi qua hotro@thuemaychu.vn để trao đổi cấu hình chạy thử.

Cần máy chủ cho workload này?

NOC thuemaychu.vn hỗ trợ chọn CPU, GPU và băng thông. PoC trong 24 giờ.

Bài viết liên quan

Xem tất cả bài viết
GọiFBZaloSalesZaloOA