NVIDIA Dynamo AICR: dựng runtime Kubernetes có kiểm chứng
NVIDIA công bố công thức AICR cho Dynamo ngày 30/10/2026, đóng gói GPU Operator, DRA, KAI Scheduler, Grove và giám sát. Đây là hướng chuẩn hóa cụm inference, không phải nút cài đặt thay thế vận hành.
Đội nền tảng có thể chạy một máy chủ suy luận trên Kubernetes khá nhanh, nhưng việc dựng cả cụm nhiều GPU với lịch cấp phát, định tuyến, giám sát và phiên bản tương thích thường mất nhiều vòng thử. Ngày 30/10/2026, NVIDIA công bố AI Cloud Recipes (AICR) cho Dynamo, nhằm biến tập hợp thành phần đó thành công thức cài đặt đã ghim phiên bản và kiểm tra.
AICR giải quyết sai lệch cấu hình, không xóa trách nhiệm vận hành
AICR đóng gói recipe triển khai thay vì đưa ra một bản phân phối Kubernetes mới. Bài kỹ thuật dùng NVIDIA Dynamo Platform Helm chart 1.4.2 và API tùy chỉnh phiên bản v1beta1. Recipe bao gồm GPU Operator, Node Feature Discovery, trình điều khiển Dynamic Resource Allocation, KAI Scheduler, Grove, Prometheus cùng các thành phần kiểm tra nút như NVSentinel và Nodewright.
Ghim phiên bản giúp giảm trường hợp từng thành phần đều cài được nhưng không hoạt động ổn khi ghép lại. Tuy vậy, đội vận hành vẫn phải quản lý kernel, trình điều khiển, CNI, lưu trữ, chứng chỉ, sao lưu và nâng cấp. Từ “validated” nên hiểu là đã kiểm tra trong ma trận của NVIDIA, không phải chứng nhận cho mọi hạ tầng.
Hai tuyến định tuyến cần chọn theo nhu cầu
Recipe mô tả hai đường nhận yêu cầu. Dynamo Frontend là tuyến gốc của nền tảng. Tuyến còn lại dùng Kubernetes Gateway API cùng Endpoint Picker Protocol, thường viết tắt EPP, để bộ cân bằng chọn pod dựa trên trạng thái bộ nhớ đệm KV. KV cache lưu lại trạng thái token đã tính, giúp giảm công việc lặp khi nhiều yêu cầu có phần mở đầu giống nhau.
NVIDIA cho biết Dynamo 1.5 dự kiến có EPP viết bằng Rust. Đây là lộ trình, chưa phải tính năng cần đưa vào thiết kế hiện tại. Khi đánh giá, đội kỹ thuật nên tách rõ năng lực đang có trong 1.4.2 và kế hoạch của 1.5.
Checklist dựng môi trường thử nghiệm
- Kiểm tra phiên bản Kubernetes, kernel, container runtime và trình điều khiển GPU theo ma trận recipe.
- Chọn một mô hình và một máy khách tạo tải cố định; giữ nguyên dữ liệu đầu vào khi so sánh hai tuyến định tuyến.
- Đo thời gian đến token đầu tiên, tốc độ sinh token, tỷ lệ lỗi và mức dùng bộ nhớ GPU ở các mức đồng thời.
- Kiểm tra pod bị lỗi, nút mất mạng và GPU không khỏe để xác nhận lịch cấp phát và cảnh báo hoạt động.
- Đặt giới hạn tài nguyên cho bộ định tuyến, Prometheus và các tiến trình phụ; không chỉ theo dõi GPU.
- Lập quy trình nâng cấp từng lớp và khả năng quay lại bản trước khi áp dụng vào hệ thống đang phục vụ khách hàng.
Ý nghĩa với doanh nghiệp thuê GPU
AICR có ích nhất khi doanh nghiệp đã vượt qua một máy GPU đơn lẻ và cần vận hành tải suy luận phân tán. Nếu chỉ chạy một mô hình nhỏ cho vài người dùng, độ phức tạp Kubernetes có thể lớn hơn lợi ích. Với cụm nhiều GPU, công thức đã kiểm chứng giúp rút ngắn khâu lắp ghép, nhưng yêu cầu mạng giữa nút, lưu trữ mô hình và giám sát phải được tính từ đầu.
| Tình huống | Hướng phù hợp |
|---|---|
| Một GPU, tải ổn định | Bắt đầu bằng máy chủ hoặc container đơn giản; chưa cần AICR. |
| Nhiều mô hình, nhiều nhóm dùng chung | Thử Kubernetes, lịch cấp phát và quota trước. |
| Suy luận phân tán, tải biến động | Đánh giá Dynamo AICR và định tuyến theo KV cache. |
| Yêu cầu kiểm soát thay đổi cao | Ghim phiên bản, kiểm thử nâng cấp và lưu cấu hình recipe. |
Câu hỏi thường gặp
AICR có thay Kubernetes không?
Không. Đây là recipe cài đặt và kiểm chứng các thành phần cần cho NVIDIA Dynamo trên một cụm Kubernetes phù hợp.
Có cần Kubernetes cho mọi hệ thống inference không?
Không. Một mô hình nhỏ trên một GPU thường dễ vận hành hơn bằng cấu hình đơn giản. Kubernetes phù hợp khi cần chia sẻ tài nguyên, mở rộng và tự phục hồi.
Dynamo 1.5 đã có EPP viết bằng Rust chưa?
Bài NVIDIA ngày 30/10/2026 nêu đây là lộ trình. Đội triển khai nên dựa trên tính năng thực tế của phiên bản đang dùng.
Nguồn tham khảo
- NVIDIA Technical Blog, “Build a Validated Kubernetes Runtime for NVIDIA Dynamo”, đăng và công bố ngày 30/10/2026.
- Phiên bản chart, CRD và lộ trình được dẫn theo bài kỹ thuật của NVIDIA; cần kiểm tra lại release note trước khi triển khai.
Đội nền tảng muốn thử Dynamo có thể gửi số GPU mỗi nút, loại mô hình, lưu lượng đồng thời và yêu cầu mạng qua trang thuê GPU server. Mục tiêu là xác định liệu cụm Kubernetes có đáng triển khai hay một cấu hình đơn giản hơn đã đủ.
Cần máy chủ cho workload này?
NOC thuemaychu.vn hỗ trợ chọn CPU, GPU và băng thông. PoC trong 24 giờ.
Bài viết liên quan
GPU / AICUDA 13.4 chia sẻ GPU có giới hạn bộ nhớ trên Kubernetes
NVIDIA bổ sung cơ chế giới hạn bộ nhớ khi chia sẻ GPU, kết hợp GPU Fractioning Operator và KAI Scheduler. Bài dành cho đội nền tảng muốn tăng mức sử dụng GPU nhưng vẫn kiểm soát tài nguyên.
GPU / AINVIDIA Mission Control 2.5: tự phục hồi job GPU trên Kubernetes
Mission Control 2.5 phối hợp bộ lập lịch, phục hồi job và chẩn đoán phần cứng để giảm thời gian gián đoạn cho cụm GPU Kubernetes.
GPU / AIllm-d 1.0: khi nào nên dùng suy luận LLM phân tán?
Google công bố llm-d 1.0, ngăn xếp mã nguồn mở để phân phối suy luận LLM trên Kubernetes. Bài viết phân tích tính năng, số liệu do hãng công bố và khi nào kiến trúc này đáng dùng.