TensorRT 11.1 Global Performance Tuner: tối ưu inference thế nào?

Một mô hình chạy nhanh trên GPU thử nghiệm chưa chắc giữ được kết quả đó khi đổi kích thước đầu vào, phiên bản thư viện hoặc loại GPU. Với đội phát triển chatbot và hệ thống suy luận AI, điều cần biết là TensorRT 11.1 đã có Global Performance Tuner: công cụ thử nhiều lộ trình biên dịch, kiểm tra sai khác đầu ra và chọn phương án nhanh nhất trong số các phương án đạt yêu cầu.

NVIDIA đăng loạt bài kỹ thuật ngày 23/10/2026. Đây là tính năng đã phát hành trong TensorRT 11.1, không phải lời hứa cho phiên bản tương lai. Tuy vậy, kết quả cuối cùng vẫn phụ thuộc mô hình, dữ liệu kiểm tra, GPU và toàn bộ ngăn xếp phần mềm của doanh nghiệp.

Build route là gì và vì sao cần thử nhiều đường?

Khi dựng một engine TensorRT, trình biên dịch phải quyết định cách biến đổi đồ thị, hợp nhất phép tính, bố trí bộ nhớ, chọn kernel và xử lý lượng tử hóa. Một build route là tập hợp lựa chọn cụ thể cho các nút điều chỉnh này. Hai route có thể cho cùng ý nghĩa mô hình nhưng khác đáng kể về thời gian phản hồi, thông lượng hoặc sai số số học.

Theo NVIDIA, TensorRT 11.1 cung cấp hơn 200 nút điều chỉnh. Công cụ trtexec có thể mở rộng một biểu thức route thành nhiều phương án, dựng và đo từng engine, loại route bị lỗi hoặc không đạt độ chính xác rồi giữ lại phương án nhanh nhất. Cách làm này chuyển quyết định từ phỏng đoán chung sang bằng chứng trên môi trường đích.

Đọc đúng con số 1,14–1,63 lần

Trong 10 workload do NVIDIA đánh giá, route tốt nhất đạt mức tăng hiệu năng từ 1,14 đến 1,63 lần so với route mặc định. Đây là benchmark của hãng trên tập workload và cấu hình cụ thể, không phải mức tăng bảo đảm cho mọi mô hình. Chính độ dao động giữa các workload cho thấy doanh nghiệp phải đo lại, thay vì lấy một tỷ lệ chung để dự toán GPU.

Quy trình thử an toàn cho đội inference

1. Chốt mô hình, dynamic shape, batch, độ dài ngữ cảnh và GPU đích; không dùng kết quả từ cấu hình khác làm chuẩn cuối.
2. Tạo golden dataset, tức tập dữ liệu chuẩn để so đầu ra, có đủ trường hợp phổ biến và trường hợp biên.
3. Dùng --dryRun để xem route trước khi build; giới hạn không gian tìm kiếm để tránh thời gian thử tăng quá nhanh.
4. Lưu tiến độ bằng tuning cache và chạy tiếp theo từng đợt; ghi lại route bị lỗi thay vì chỉ giữ kết quả tốt nhất.
5. Đo engine được chọn dưới tải giống hệ thống đang phục vụ khách hàng, gồm cả tiền xử lý, truyền dữ liệu và hàng đợi.
6. Tuning lại khi đổi model, shape, GPU, driver hoặc TensorRT vì route tối ưu có thể thay đổi.

Khi nào đáng dùng, khi nào chưa cần?

Tuner phù hợp khi mô hình ổn định, lưu lượng đủ lớn và vài phần trăm hiệu năng có thể giảm số GPU hoặc cải thiện thời gian phản hồi. Với bản thử nghiệm thay đổi hàng ngày, chi phí dựng nhiều engine có thể lớn hơn lợi ích. Trước hết hãy loại nghẽn rõ ràng ở dữ liệu, batch, hàng đợi và truyền CPU–GPU; bài GPUDirect Storage với KvikIO giúp kiểm tra đường dữ liệu, còn llm-d 1.0 phù hợp khi bài toán đã chuyển sang suy luận phân tán.

Nếu đội AI cần chọn GPU cho một mô hình cụ thể, hãy gửi tên mô hình, precision, batch, context, mục tiêu p95 và bộ dữ liệu kiểm thử qua hotro@thuemaychu.vn hoặc trang thuê GPU Server. Mục tiêu là dựng phép thử có thể lặp lại trước khi chốt cấu hình, không suy ra nhu cầu GPU chỉ từ benchmark của hãng.

Nguồn tham khảo

• NVIDIA Technical Blog, phần 1, đăng 23/10/2026
• NVIDIA Technical Blog, phần 2, đăng 23/10/2026