GPU / AI

SageMaker Inference hỗ trợ MIG: chia GPU cho nhiều endpoint AI

AWS bổ sung GPU partitioning cho SageMaker Inference bằng NVIDIA MIG, giúp nhiều endpoint dùng các phần GPU độc lập mà không tự vận hành Kubernetes.

thuemaychu.vn
Minh họa một GPU được chia thành nhiều vùng độc lập để phục vụ các mô hình suy luận khác nhau

Một mô hình nhỏ chỉ dùng 14 GB bộ nhớ nhưng endpoint vẫn phải giữ cả GPU 40 GB là kiểu lãng phí phổ biến trong suy luận AI. Ngày 06/11/2026, AWS công bố SageMaker Inference hỗ trợ GPU partitioning bằng NVIDIA Multi-Instance GPU, gọi tắt là MIG. Bài viết dành cho đội phát triển chatbot và kỹ sư MLOps cần tăng mật độ triển khai mà không tự dựng lớp chia GPU.

MIG trong SageMaker thay đổi điều gì?

Theo AWS Machine Learning Blog, trước đây đơn vị nhỏ nhất cho một endpoint GPU là toàn bộ bộ tăng tốc. Với MIG, một GPU vật lý được chia thành nhiều vùng có tài nguyên tính toán và bộ nhớ riêng. SageMaker xử lý cấu hình phần cứng, đặt mô hình và co giãn endpoint dựa trên profile mà người dùng chọn.

Điểm quan trọng là MIG tạo ranh giới phần cứng mạnh hơn cách chỉ giới hạn tiến trình bằng phần mềm. Tuy nhiên, các phân vùng vẫn nằm trên cùng card và máy chủ; sự cố ở host, mạng hoặc storage vẫn có thể ảnh hưởng nhiều endpoint. Cô lập không đồng nghĩa với khả dụng cao.

Khác gì so với MPS và Kubernetes?

MPS cho nhiều tiến trình CUDA chia sẻ một GPU và có thể phân bổ thời gian hoặc SM linh hoạt. MIG chia GPU thành các thiết bị nhỏ, có dung lượng bộ nhớ và phần tính toán cố định. Kubernetes có thể điều phối các thiết bị MIG, nhưng đội nền tảng phải quản lý GPU Operator, node pool, profile và vòng đời driver.

SageMaker hướng tới đội muốn endpoint được quản lý: chọn profile, triển khai model container và để dịch vụ lo phần cấu hình dưới. Đổi lại, doanh nghiệp có ít quyền kiểm soát tầng thấp hơn so với cụm Kubernetes tự quản.

Lựa chọnPhù hợp khiĐánh đổi chính
SageMaker + MIGNhiều endpoint nhỏ, cần vận hành được quản lýPhụ thuộc profile và vùng hỗ trợ của dịch vụ
Kubernetes + MIGCần kiểm soát scheduler, node và runtimePhải quản lý driver, operator và nâng cấp
MPSTải có thể chia sẻ linh hoạt theo tiến trìnhCô lập bộ nhớ và tài nguyên khác MIG
Một GPU cho một endpointMô hình lớn hoặc tải ổn địnhDễ vận hành nhưng có thể lãng phí tài nguyên

Không nên chọn profile chỉ theo dung lượng mô hình

Trọng số mô hình chỉ là một phần bộ nhớ. Endpoint còn cần KV cache, vùng làm việc của framework, CUDA graph và batch đang xử lý. Prompt dài hoặc nhiều phiên đồng thời có thể làm một phân vùng đủ cho thử nghiệm nhưng hết bộ nhớ khi phục vụ thật.

Đội MLOps cần đo thời gian phản hồi tới token đầu, token mỗi giây, p95/p99, số yêu cầu đồng thời, tỷ lệ lỗi và mức dùng bộ nhớ. Nếu một profile nhỏ gây tràn bộ nhớ hoặc xếp hàng dài, mật độ cao hơn không còn ý nghĩa kinh tế.

Checklist triển khai an toàn

  1. Lập danh sách model, kích thước trọng số, định dạng số, độ dài ngữ cảnh và mức đồng thời mục tiêu.
  2. Chọn profile MIG có khoảng trống bộ nhớ, không dùng mức vừa khít với lần chạy đơn.
  3. Đưa cùng model container và bộ dữ liệu thử lên endpoint toàn GPU lẫn endpoint MIG để có đường cơ sở.
  4. Chạy tải tăng dần, theo dõi thời gian phản hồi p95/p99, GPU utilization, bộ nhớ và hàng đợi.
  5. Thử cập nhật model, co giãn và thay host để quan sát thời gian gián đoạn.
  6. Tách endpoint có yêu cầu bảo mật hoặc SLA cao khỏi các tải thử nghiệm dù MIG có cô lập phần cứng.
  7. Giữ giới hạn chi phí và cảnh báo số endpoint; tăng mật độ dễ dẫn tới triển khai quá nhiều bản sao.

Tác động với đội AI tại Việt Nam

Khả năng chia GPU được quản lý giúp đội nhỏ thử nhiều model hoặc phiên bản cùng lúc mà không xây cả nền tảng Kubernetes. Đây cũng là cách hợp lý cho mô hình phân loại, embedding hoặc chatbot có tải vừa phải. Với model lớn cần tensor parallel, phân vùng MIG có thể quá nhỏ và làm kiến trúc phức tạp hơn.

AWS và Salesforce mô tả khả năng cải thiện mức sử dụng và giảm chi phí, nhưng bài công bố không thay cho báo giá hay benchmark trên model của doanh nghiệp. Quyết định phải dựa trên chi phí mỗi yêu cầu đạt SLO, không chỉ phần trăm sử dụng GPU.

Nguồn tham khảo

Nguồn chính: AWS công bố GPU partitioning cho SageMaker Inference ngày 06/11/2026. Bài viết phân biệt rõ lợi ích thiết kế của MIG với hiệu năng cần đo trên tải thực tế.

MIG có làm một mô hình chạy nhanh hơn không?

Không nhất thiết. MIG chia một GPU thành vùng nhỏ hơn để tăng mật độ và cô lập. Một model có thể chậm hơn nếu profile không đủ tài nguyên.

MIG có thay thế autoscaling không?

Không. MIG quyết định kích thước phần GPU; autoscaling quyết định số bản sao endpoint theo tải. Hai cơ chế cần được cấu hình cùng nhau.

Endpoint MIG có hoàn toàn độc lập không?

MIG cô lập compute và bộ nhớ GPU tốt hơn chia sẻ tiến trình, nhưng các phân vùng vẫn dùng chung host và các lớp hạ tầng khác.

Bước tiếp theo

Đội AI có thể gửi tên model, định dạng số, độ dài ngữ cảnh, số phiên đồng thời, thời gian phản hồi mục tiêu và GPU hiện dùng qua trang liên hệ. Từ dữ liệu này có thể xây ma trận thử profile trước khi cân nhắc thay đổi nền tảng.

Cần máy chủ cho workload này?

NOC thuemaychu.vn hỗ trợ chọn CPU, GPU và băng thông. PoC trong 24 giờ.

Bài viết liên quan

Xem tất cả bài viết
GọiFBZaloSalesZaloOA