NVIDIA tăng tốc Mamba-2 bằng cuTile: đọc đúng benchmark B300

Một kernel chạy nhanh hơn chưa chắc làm cả dịch vụ AI nhanh hơn. Với Mamba-2, NVIDIA vừa công bố ba kernel forward pass viết bằng CUDA Tile, hay cuTile, đạt mức tăng đáng chú ý trên B300. Đội kỹ sư GPU cần đọc kỹ đây là phép đo kernel, không phải thời gian huấn luyện hay chi phí suy luận toàn hệ thống.

Bài dành cho kỹ sư tối ưu GPU và đội nền tảng AI đang cân nhắc Mamba-2. Mục tiêu là tách dữ kiện benchmark của hãng khỏi quyết định chọn phần cứng.

Điều NVIDIA công bố ngày 19/10/2026

Trong bài kỹ thuật ngày 19/10/2026, NVIDIA và kỹ sư Jane Street mô tả cách viết ba kernel cho forward pass Mamba-2 bằng cuTile: chunk_cumsum, fwd_pass_state và compute_out.

cuTile là ngôn ngữ miền chuyên biệt dựa trên Python. Lập trình viên làm việc với các ô dữ liệu thay vì tự quản lý từng thread và warp; trình biên dịch đảm nhiệm việc nhắm tới Tensor Core cùng các tính năng phần cứng. Cách tiếp cận này nhằm giữ mã dễ đọc hơn mà vẫn cho phép tối ưu sâu.

Mamba-2 khác attention ở đâu?

Mamba-2 thuộc nhóm state-space model, tức mô hình giữ một trạng thái ẩn có kích thước cố định và cập nhật theo chuỗi. Attention truyền thống tận dụng phép nhân ma trận tốt khi huấn luyện, nhưng lượng tính toán và bộ nhớ ở suy luận tăng theo độ dài chuỗi. Kiến trúc trạng thái tìm cách cân bằng khả năng song song khi huấn luyện với chi phí trạng thái ổn định hơn khi xử lý chuỗi dài.

Ba kernel mới chia công việc: tính tổng tích lũy của hệ số suy giảm, cập nhật trạng thái theo từng khối và ghép trạng thái với tương tác nhân quả để tạo đầu ra. NVIDIA còn dùng gợi ý độ trễ, bố cục bộ nhớ phù hợp TMA và bộ tự dò tham số để chọn kích thước khối theo dạng đầu vào.

Benchmark 1,14–1,82 lần cần hiểu trong phạm vi nào?

NVIDIA nói mức tăng lớn hơn khi chuỗi và state size tăng. Tuy nhiên hãng cũng ghi rõ đây chỉ là tốc độ kernel của forward pass; kết quả huấn luyện đầu cuối còn phụ thuộc backward pass. Chưa có số liệu trong bài về tải API đồng thời, tiền xử lý, truyền dữ liệu giữa máy, công suất thực tế theo phiên hay chi phí cho mỗi token.

Do đó không thể lấy 1,82 lần làm cam kết cho chatbot. Đây là benchmark của hãng trên một B300 cao cấp với bộ phần mềm rất mới. Hệ thống dùng GPU khác, phiên bản CUDA khác hoặc mô hình đã lượng tử hóa có thể cho kết quả khác.

Khi nào cuTile đáng thử?

• Kernel Mamba-2 đang chiếm tỷ trọng lớn trong hồ sơ thời gian chạy và không bị che bởi truyền dữ liệu hoặc hàng đợi.
• Đội có khả năng khóa phiên bản trình điều khiển, CUDA, PyTorch và kiểm thử tính đúng sau mỗi thay đổi.
• Workload dùng chuỗi dài hoặc state size lớn, gần với vùng mà số liệu hãng cho thấy lợi ích tăng.
• Nhóm chấp nhận công việc bảo trì kernel tùy biến thay vì chỉ dùng framework mặc định.

Checklist bài thử trước khi chọn GPU

1. Chốt một mô hình, dữ liệu, độ dài chuỗi, batch và độ chính xác số; không thay nhiều biến giữa hai lượt.
2. Đo p50, p95 thời gian phản hồi, thông lượng, HBM, công suất và lỗi số học; không chỉ đo thời gian một kernel.
3. Chạy khởi động đủ lâu, giữ đồng nhất phiên bản driver và thư viện, ghi lại cấu hình vào báo cáo.
4. So sánh cả Triton và cuTile trên GPU thực tế sẽ dùng. Nếu chưa có B300, không ngoại suy tuyến tính từ thế hệ khác.
5. Đo lại ở cấp dịch vụ gồm tokenizer, hàng đợi và mạng để biết kernel nhanh hơn có tạo khác biệt cho người dùng hay không.

Với doanh nghiệp Việt Nam, điểm đáng quan tâm không chỉ là B300 mà là xu hướng dùng Python để viết kernel hiệu năng cao. Điều này có thể hạ rào cản thử nghiệm, nhưng nhân lực tối ưu và quy trình tái lập benchmark vẫn là chi phí thật. Không có dữ liệu trong nguồn để khẳng định khả năng cấp phát B300 tại Datahub.

Nếu đội AI cần thiết kế bài thử Mamba-2, hãy gửi mô hình, độ dài chuỗi, batch, mức chính xác số và chỉ số cần đạt qua trang Thuê GPU Server. Các thông tin này giúp xác định GPU và phép đo phù hợp trước khi bàn đến cấu hình; không đồng nghĩa B300 đang sẵn để cấp phát.