GPU / AI

CUDA 13.5 thay đổi cách chia sẻ GPU với MPS v3

CUDA 13.5 hỗ trợ chính thức kiến trúc Vera Rubin, đồng thời bổ sung nhiều cơ chế điều phối MPS v3. Bài viết phân tích giá trị thực tế, điều kiện áp dụng và cách thử nghiệm an toàn.

thuemaychu.vn
Minh họa cụm máy chủ GPU với các vùng tài nguyên xử lý được phân chia và điều phối

Một cụm GPU chạy đồng thời suy luận mô hình, xử lý dữ liệu và thử nghiệm thường gặp hai vấn đề: tác vụ nhẹ để GPU nhàn rỗi, còn tác vụ nặng lại tranh tài nguyên. CUDA 13.5, được NVIDIA công bố ngày 04/11/2026, đưa thêm công cụ để đội nền tảng kiểm soát việc chia sẻ GPU thay vì chỉ tăng số lượng card.

Điểm mới đáng chú ý trong CUDA 13.5

Theo NVIDIA Technical Blog, CUDA 13.5 hỗ trợ chính thức kiến trúc Vera Rubin và mở rộng Windows on Arm tới DGX Station for Windows. Với hạ tầng máy chủ, thay đổi thực dụng hơn nằm ở locality domain và MPS v3. Locality domain là vùng tài nguyên gần nhau trên GPU; ứng dụng có thể chọn các phân vùng SM đồng đều hoặc dùng toàn bộ SM có sẵn. SM là cụm lõi xử lý thực thi các khối lệnh CUDA.

API cudaDevSmResourceSplit() cho phép ứng dụng khám phá số SM của từng phân vùng. Điều này tạo ra lựa chọn rõ ràng: ưu tiên kích thước đồng đều để dễ dự đoán, hoặc tận dụng tối đa phần cứng và chấp nhận phân vùng không bằng nhau. Đây là quyết định lập lịch, không phải cam kết rằng mọi ứng dụng sẽ nhanh hơn.

MPS v3 có ý nghĩa gì khi nhiều dịch vụ dùng chung GPU?

MPS, viết tắt của Multi-Process Service, cho phép nhiều tiến trình CUDA cùng khai thác một GPU. Bản v3 thêm weighted timeslicing để cấp lượt tính toán dài hơn cho dịch vụ quan trọng; cơ chế mượn và cho mượn SM khi phân vùng khác đang rảnh; ánh xạ cgroup v2 tới namespace; và gán phân vùng SM theo namespace. Cgroup là cơ chế Linux gom tiến trình để áp chính sách tài nguyên.

Trong cụm phục vụ nhiều nhóm, cgroup-based routing giúp chính sách MPS bám theo nhóm tiến trình do bộ điều phối tạo ra. Tác vụ có tải tăng đột biến có thể mượn phần SM nhàn rỗi nhưng vẫn giữ mức nền ổn định. NVIDIA cũng bổ sung chế độ thăm dò trực tiếp mức dùng bộ nhớ khi thông báo ngưỡng cgroup thiếu ổn định. Đổi lại, việc thăm dò tạo thêm chi phí cho mỗi quyết định thu hồi.

Đa GPU và suy luận LLM

CUDA Tile 13.5 thêm con trỏ unicast và multicast để kernel truy cập dữ liệu trên GPU khác qua NVLink hoặc NVSwitch. Khả năng này có thể hỗ trợ kết hợp tính toán với truyền dữ liệu trong các phép nhân ma trận và giảm tổng liên GPU. Tuy nhiên, Tile–SIMT interoperability mới ở trạng thái xem trước công khai và chỉ bao phủ hàm thư viện; không nên đưa thẳng vào hệ thống đang phục vụ khách hàng nếu chưa có kiểm thử hồi quy.

CCCL 3.5 còn có batched Top-K, một phép chọn các phần tử điểm cao thường dùng khi chọn token trong suy luận LLM, và đã được tích hợp vào FlashInfer. Đây là tính năng thư viện; hiệu quả phụ thuộc mô hình, kích thước lô, kiến trúc GPU và đường truyền giữa GPU.

Checklist nâng cấp an toàn

  1. Kiểm kê driver, CUDA Toolkit, framework và container image đang dùng; đối chiếu ma trận tương thích trước khi thay đổi.
  2. Dựng môi trường thử nghiệm giống hệ thống thật, chạy lại bộ benchmark gồm thông lượng, thời gian phản hồi p95/p99, bộ nhớ GPU và tỷ lệ lỗi.
  3. Thử MPS v3 với hai lớp dịch vụ có tải khác nhau; đặt mức nền và giới hạn mượn SM rõ ràng.
  4. Kiểm tra ánh xạ cgroup v2, namespace và quan sát hành vi khi tiến trình bị thu hồi hoặc khởi động lại.
  5. Chỉ thử CUDA Tile đa GPU trên cụm có NVLink/NVSwitch phù hợp; giữ đường quay lui về image CUDA cũ.
  6. Ghi lại phiên bản driver, toolkit, thư viện và cấu hình MPS cùng kết quả để có thể tái lập.

Khi nào nên nâng cấp?

Đội nền tảng nên ưu tiên đánh giá CUDA 13.5 nếu đang vận hành nhiều dịch vụ trên cùng GPU, cần phân chia SM có kiểm soát, hoặc chuẩn bị cho Vera Rubin. Nếu hệ thống chỉ chạy một tiến trình ổn định trên GPU hiện có, lợi ích ngắn hạn có thể nhỏ hơn rủi ro thay đổi chuỗi phụ thuộc. Hãy bắt đầu bằng một node thử nghiệm, không nâng cấp đồng loạt.

CUDA 13.5 có tự động làm mô hình AI chạy nhanh hơn không?

Không. Bản mới cung cấp công cụ lập lịch, thư viện và tối ưu mới; mức cải thiện phải được đo trên mô hình, GPU và tải thực tế.

MPS v3 có thay thế Kubernetes không?

Không. Kubernetes điều phối workload ở cấp cụm; MPS điều phối nhiều tiến trình CUDA dùng chung GPU. Hai lớp có thể phối hợp qua cgroup và namespace.

Có nên dùng ngay tính năng CUDA Tile–SIMT?

Tính năng này đang ở trạng thái xem trước công khai. Chỉ nên thử trong môi trường kiểm thử và giữ phương án quay lui.

Bước tiếp theo

Đội vận hành GPU có thể gửi loại GPU, phiên bản driver/CUDA, framework, số dịch vụ dùng chung và mục tiêu thông lượng qua trang liên hệ. Những dữ liệu này giúp xác định phạm vi thử nghiệm và cấu hình tham khảo phù hợp, không cần thay đổi hạ tầng trước khi có kết quả đo.

Cần máy chủ cho workload này?

NOC thuemaychu.vn hỗ trợ chọn CPU, GPU và băng thông. PoC trong 24 giờ.

Bài viết liên quan

Xem tất cả bài viết
GọiFBZaloSalesZaloOA