SageMaker Inference hỗ trợ MIG: chia GPU cho nhiều endpoint AI
AWS bổ sung GPU partitioning cho SageMaker Inference bằng NVIDIA MIG, giúp nhiều endpoint dùng các phần GPU độc lập mà không tự vận hành Kubernetes.

Một mô hình nhỏ chỉ dùng 14 GB bộ nhớ nhưng endpoint vẫn phải giữ cả GPU 40 GB là kiểu lãng phí phổ biến trong suy luận AI. Ngày 06/11/2026, AWS công bố SageMaker Inference hỗ trợ GPU partitioning bằng NVIDIA Multi-Instance GPU, gọi tắt là MIG. Bài viết dành cho đội phát triển chatbot và kỹ sư MLOps cần tăng mật độ triển khai mà không tự dựng lớp chia GPU.
MIG trong SageMaker thay đổi điều gì?
Theo AWS Machine Learning Blog, trước đây đơn vị nhỏ nhất cho một endpoint GPU là toàn bộ bộ tăng tốc. Với MIG, một GPU vật lý được chia thành nhiều vùng có tài nguyên tính toán và bộ nhớ riêng. SageMaker xử lý cấu hình phần cứng, đặt mô hình và co giãn endpoint dựa trên profile mà người dùng chọn.
Điểm quan trọng là MIG tạo ranh giới phần cứng mạnh hơn cách chỉ giới hạn tiến trình bằng phần mềm. Tuy nhiên, các phân vùng vẫn nằm trên cùng card và máy chủ; sự cố ở host, mạng hoặc storage vẫn có thể ảnh hưởng nhiều endpoint. Cô lập không đồng nghĩa với khả dụng cao.
Khác gì so với MPS và Kubernetes?
MPS cho nhiều tiến trình CUDA chia sẻ một GPU và có thể phân bổ thời gian hoặc SM linh hoạt. MIG chia GPU thành các thiết bị nhỏ, có dung lượng bộ nhớ và phần tính toán cố định. Kubernetes có thể điều phối các thiết bị MIG, nhưng đội nền tảng phải quản lý GPU Operator, node pool, profile và vòng đời driver.
SageMaker hướng tới đội muốn endpoint được quản lý: chọn profile, triển khai model container và để dịch vụ lo phần cấu hình dưới. Đổi lại, doanh nghiệp có ít quyền kiểm soát tầng thấp hơn so với cụm Kubernetes tự quản.
| Lựa chọn | Phù hợp khi | Đánh đổi chính |
|---|---|---|
| SageMaker + MIG | Nhiều endpoint nhỏ, cần vận hành được quản lý | Phụ thuộc profile và vùng hỗ trợ của dịch vụ |
| Kubernetes + MIG | Cần kiểm soát scheduler, node và runtime | Phải quản lý driver, operator và nâng cấp |
| MPS | Tải có thể chia sẻ linh hoạt theo tiến trình | Cô lập bộ nhớ và tài nguyên khác MIG |
| Một GPU cho một endpoint | Mô hình lớn hoặc tải ổn định | Dễ vận hành nhưng có thể lãng phí tài nguyên |
Không nên chọn profile chỉ theo dung lượng mô hình
Trọng số mô hình chỉ là một phần bộ nhớ. Endpoint còn cần KV cache, vùng làm việc của framework, CUDA graph và batch đang xử lý. Prompt dài hoặc nhiều phiên đồng thời có thể làm một phân vùng đủ cho thử nghiệm nhưng hết bộ nhớ khi phục vụ thật.
Đội MLOps cần đo thời gian phản hồi tới token đầu, token mỗi giây, p95/p99, số yêu cầu đồng thời, tỷ lệ lỗi và mức dùng bộ nhớ. Nếu một profile nhỏ gây tràn bộ nhớ hoặc xếp hàng dài, mật độ cao hơn không còn ý nghĩa kinh tế.
Checklist triển khai an toàn
- Lập danh sách model, kích thước trọng số, định dạng số, độ dài ngữ cảnh và mức đồng thời mục tiêu.
- Chọn profile MIG có khoảng trống bộ nhớ, không dùng mức vừa khít với lần chạy đơn.
- Đưa cùng model container và bộ dữ liệu thử lên endpoint toàn GPU lẫn endpoint MIG để có đường cơ sở.
- Chạy tải tăng dần, theo dõi thời gian phản hồi p95/p99, GPU utilization, bộ nhớ và hàng đợi.
- Thử cập nhật model, co giãn và thay host để quan sát thời gian gián đoạn.
- Tách endpoint có yêu cầu bảo mật hoặc SLA cao khỏi các tải thử nghiệm dù MIG có cô lập phần cứng.
- Giữ giới hạn chi phí và cảnh báo số endpoint; tăng mật độ dễ dẫn tới triển khai quá nhiều bản sao.
Tác động với đội AI tại Việt Nam
Khả năng chia GPU được quản lý giúp đội nhỏ thử nhiều model hoặc phiên bản cùng lúc mà không xây cả nền tảng Kubernetes. Đây cũng là cách hợp lý cho mô hình phân loại, embedding hoặc chatbot có tải vừa phải. Với model lớn cần tensor parallel, phân vùng MIG có thể quá nhỏ và làm kiến trúc phức tạp hơn.
AWS và Salesforce mô tả khả năng cải thiện mức sử dụng và giảm chi phí, nhưng bài công bố không thay cho báo giá hay benchmark trên model của doanh nghiệp. Quyết định phải dựa trên chi phí mỗi yêu cầu đạt SLO, không chỉ phần trăm sử dụng GPU.
Nguồn tham khảo
Nguồn chính: AWS công bố GPU partitioning cho SageMaker Inference ngày 06/11/2026. Bài viết phân biệt rõ lợi ích thiết kế của MIG với hiệu năng cần đo trên tải thực tế.
MIG có làm một mô hình chạy nhanh hơn không?
Không nhất thiết. MIG chia một GPU thành vùng nhỏ hơn để tăng mật độ và cô lập. Một model có thể chậm hơn nếu profile không đủ tài nguyên.
MIG có thay thế autoscaling không?
Không. MIG quyết định kích thước phần GPU; autoscaling quyết định số bản sao endpoint theo tải. Hai cơ chế cần được cấu hình cùng nhau.
Endpoint MIG có hoàn toàn độc lập không?
MIG cô lập compute và bộ nhớ GPU tốt hơn chia sẻ tiến trình, nhưng các phân vùng vẫn dùng chung host và các lớp hạ tầng khác.
Bước tiếp theo
Đội AI có thể gửi tên model, định dạng số, độ dài ngữ cảnh, số phiên đồng thời, thời gian phản hồi mục tiêu và GPU hiện dùng qua trang liên hệ. Từ dữ liệu này có thể xây ma trận thử profile trước khi cân nhắc thay đổi nền tảng.
Cần máy chủ cho workload này?
NOC thuemaychu.vn hỗ trợ chọn CPU, GPU và băng thông. PoC trong 24 giờ.
Bài viết liên quan
GPU / AICUDA 13.5 thay đổi cách chia sẻ GPU với MPS v3
CUDA 13.5 hỗ trợ chính thức kiến trúc Vera Rubin, đồng thời bổ sung nhiều cơ chế điều phối MPS v3. Bài viết phân tích giá trị thực tế, điều kiện áp dụng và cách thử nghiệm an toàn.
GPU / AICUDA 13.4 chia sẻ GPU có giới hạn bộ nhớ trên Kubernetes
NVIDIA bổ sung cơ chế giới hạn bộ nhớ khi chia sẻ GPU, kết hợp GPU Fractioning Operator và KAI Scheduler. Bài dành cho đội nền tảng muốn tăng mức sử dụng GPU nhưng vẫn kiểm soát tài nguyên.
GPU / AINemotron 3.5 Super VL trên AWS: cần bao nhiêu GPU?
AWS công bố hướng dẫn triển khai Nemotron 3.5 Super VL ngày 29/10/2026. Mô hình đa phương thức 120B tham số nhưng chỉ kích hoạt 12B mỗi token, với yêu cầu GPU rất khác giữa BF16 và NVFP4.