CUDA 13.5 thay đổi cách chia sẻ GPU với MPS v3
CUDA 13.5 hỗ trợ chính thức kiến trúc Vera Rubin, đồng thời bổ sung nhiều cơ chế điều phối MPS v3. Bài viết phân tích giá trị thực tế, điều kiện áp dụng và cách thử nghiệm an toàn.

Một cụm GPU chạy đồng thời suy luận mô hình, xử lý dữ liệu và thử nghiệm thường gặp hai vấn đề: tác vụ nhẹ để GPU nhàn rỗi, còn tác vụ nặng lại tranh tài nguyên. CUDA 13.5, được NVIDIA công bố ngày 04/11/2026, đưa thêm công cụ để đội nền tảng kiểm soát việc chia sẻ GPU thay vì chỉ tăng số lượng card.
Điểm mới đáng chú ý trong CUDA 13.5
Theo NVIDIA Technical Blog, CUDA 13.5 hỗ trợ chính thức kiến trúc Vera Rubin và mở rộng Windows on Arm tới DGX Station for Windows. Với hạ tầng máy chủ, thay đổi thực dụng hơn nằm ở locality domain và MPS v3. Locality domain là vùng tài nguyên gần nhau trên GPU; ứng dụng có thể chọn các phân vùng SM đồng đều hoặc dùng toàn bộ SM có sẵn. SM là cụm lõi xử lý thực thi các khối lệnh CUDA.
API cudaDevSmResourceSplit() cho phép ứng dụng khám phá số SM của từng phân vùng. Điều này tạo ra lựa chọn rõ ràng: ưu tiên kích thước đồng đều để dễ dự đoán, hoặc tận dụng tối đa phần cứng và chấp nhận phân vùng không bằng nhau. Đây là quyết định lập lịch, không phải cam kết rằng mọi ứng dụng sẽ nhanh hơn.
MPS v3 có ý nghĩa gì khi nhiều dịch vụ dùng chung GPU?
MPS, viết tắt của Multi-Process Service, cho phép nhiều tiến trình CUDA cùng khai thác một GPU. Bản v3 thêm weighted timeslicing để cấp lượt tính toán dài hơn cho dịch vụ quan trọng; cơ chế mượn và cho mượn SM khi phân vùng khác đang rảnh; ánh xạ cgroup v2 tới namespace; và gán phân vùng SM theo namespace. Cgroup là cơ chế Linux gom tiến trình để áp chính sách tài nguyên.
Trong cụm phục vụ nhiều nhóm, cgroup-based routing giúp chính sách MPS bám theo nhóm tiến trình do bộ điều phối tạo ra. Tác vụ có tải tăng đột biến có thể mượn phần SM nhàn rỗi nhưng vẫn giữ mức nền ổn định. NVIDIA cũng bổ sung chế độ thăm dò trực tiếp mức dùng bộ nhớ khi thông báo ngưỡng cgroup thiếu ổn định. Đổi lại, việc thăm dò tạo thêm chi phí cho mỗi quyết định thu hồi.
Đa GPU và suy luận LLM
CUDA Tile 13.5 thêm con trỏ unicast và multicast để kernel truy cập dữ liệu trên GPU khác qua NVLink hoặc NVSwitch. Khả năng này có thể hỗ trợ kết hợp tính toán với truyền dữ liệu trong các phép nhân ma trận và giảm tổng liên GPU. Tuy nhiên, Tile–SIMT interoperability mới ở trạng thái xem trước công khai và chỉ bao phủ hàm thư viện; không nên đưa thẳng vào hệ thống đang phục vụ khách hàng nếu chưa có kiểm thử hồi quy.
CCCL 3.5 còn có batched Top-K, một phép chọn các phần tử điểm cao thường dùng khi chọn token trong suy luận LLM, và đã được tích hợp vào FlashInfer. Đây là tính năng thư viện; hiệu quả phụ thuộc mô hình, kích thước lô, kiến trúc GPU và đường truyền giữa GPU.
Checklist nâng cấp an toàn
- Kiểm kê driver, CUDA Toolkit, framework và container image đang dùng; đối chiếu ma trận tương thích trước khi thay đổi.
- Dựng môi trường thử nghiệm giống hệ thống thật, chạy lại bộ benchmark gồm thông lượng, thời gian phản hồi p95/p99, bộ nhớ GPU và tỷ lệ lỗi.
- Thử MPS v3 với hai lớp dịch vụ có tải khác nhau; đặt mức nền và giới hạn mượn SM rõ ràng.
- Kiểm tra ánh xạ cgroup v2, namespace và quan sát hành vi khi tiến trình bị thu hồi hoặc khởi động lại.
- Chỉ thử CUDA Tile đa GPU trên cụm có NVLink/NVSwitch phù hợp; giữ đường quay lui về image CUDA cũ.
- Ghi lại phiên bản driver, toolkit, thư viện và cấu hình MPS cùng kết quả để có thể tái lập.
Khi nào nên nâng cấp?
Đội nền tảng nên ưu tiên đánh giá CUDA 13.5 nếu đang vận hành nhiều dịch vụ trên cùng GPU, cần phân chia SM có kiểm soát, hoặc chuẩn bị cho Vera Rubin. Nếu hệ thống chỉ chạy một tiến trình ổn định trên GPU hiện có, lợi ích ngắn hạn có thể nhỏ hơn rủi ro thay đổi chuỗi phụ thuộc. Hãy bắt đầu bằng một node thử nghiệm, không nâng cấp đồng loạt.
CUDA 13.5 có tự động làm mô hình AI chạy nhanh hơn không?
Không. Bản mới cung cấp công cụ lập lịch, thư viện và tối ưu mới; mức cải thiện phải được đo trên mô hình, GPU và tải thực tế.
MPS v3 có thay thế Kubernetes không?
Không. Kubernetes điều phối workload ở cấp cụm; MPS điều phối nhiều tiến trình CUDA dùng chung GPU. Hai lớp có thể phối hợp qua cgroup và namespace.
Có nên dùng ngay tính năng CUDA Tile–SIMT?
Tính năng này đang ở trạng thái xem trước công khai. Chỉ nên thử trong môi trường kiểm thử và giữ phương án quay lui.
Bước tiếp theo
Đội vận hành GPU có thể gửi loại GPU, phiên bản driver/CUDA, framework, số dịch vụ dùng chung và mục tiêu thông lượng qua trang liên hệ. Những dữ liệu này giúp xác định phạm vi thử nghiệm và cấu hình tham khảo phù hợp, không cần thay đổi hạ tầng trước khi có kết quả đo.
Cần máy chủ cho workload này?
NOC thuemaychu.vn hỗ trợ chọn CPU, GPU và băng thông. PoC trong 24 giờ.
Bài viết liên quan
GPU / AICUDA 13.4 chia sẻ GPU có giới hạn bộ nhớ trên Kubernetes
NVIDIA bổ sung cơ chế giới hạn bộ nhớ khi chia sẻ GPU, kết hợp GPU Fractioning Operator và KAI Scheduler. Bài dành cho đội nền tảng muốn tăng mức sử dụng GPU nhưng vẫn kiểm soát tài nguyên.
GPU / AIVera Rubin và Vera CPU lên OCI: doanh nghiệp cần đọc gì?
Oracle và NVIDIA đưa Vera Rubin NVL72 cùng Vera CPU lên OCI. Bài viết tách rõ phần đã sẵn sàng, lộ trình và các bước đánh giá trước khi chọn hạ tầng AI.
GPU / AIBa cách tối ưu MoE inference trên NVIDIA DGX Spark
NVIDIA kết hợp Humming, lượng tử hóa FP8 và speculative decoding để tăng tốc Ling-3.0-flash trên DGX Spark. Các con số là benchmark hãng và cần được đo lại.