NVIDIA Nemotron 3.5 Bolt 24GB: chọn GPU chạy AI Agent

Một đội phát triển chatbot có thể nhìn thấy dòng “chạy trong 24GB” rồi kết luận rằng chỉ cần một GPU 24GB là đủ. Với NVIDIA Nemotron 3.5 Bolt 74B-A9B, kết luận đúng mới chỉ là bản checkpoint lượng tử hóa được thiết kế để vừa ngân sách bộ nhớ 24GB. Khả năng phục vụ người dùng thật còn phụ thuộc độ dài ngữ cảnh, số yêu cầu đồng thời, tốc độ sinh token và phần mềm suy luận.

NVIDIA công bố Nemotron 3.5 Bolt ngày 15/10/2026, hướng tới AI Agent chạy cục bộ. AI Agent là ứng dụng dùng mô hình để lập kế hoạch và gọi công cụ, chẳng hạn đọc tài liệu, duyệt web nội bộ hoặc thực hiện tác vụ trong terminal có kiểm soát. Đây là một hướng triển khai đáng thử cho doanh nghiệp muốn giữ dữ liệu trong hạ tầng riêng, nhưng chưa phải bằng chứng rằng mọi quy trình sẽ hoạt động tốt trên cùng một cấu hình.

Điều mới ở Nemotron 3.5 Bolt 74B-A9B

Theo trang nghiên cứu của NVIDIA, Bolt được nén từ Nemotron 3.5 Super VL 120B-A12B thành mô hình 74B-A9B. Ký hiệu A9B cho biết mỗi lần suy luận chỉ kích hoạt khoảng 9 tỷ tham số trong tổng số 74 tỷ. Cách tổ chức này được gọi là mixture-of-experts, tức mô hình có nhiều “nhóm chuyên gia” nhưng chỉ chọn một phần phù hợp cho từng token.

Checkpoint 24GB dùng lượng tử hóa khoảng 2 bit cho phần lớn trọng số. Lượng tử hóa là cách biểu diễn trọng số bằng ít bit hơn để giảm bộ nhớ và băng thông. Đổi lại, chất lượng, độ ổn định và khả năng tương thích có thể khác bản BF16 đầy đủ. NVIDIA cũng cung cấp checkpoint BF16; vì vậy khi tải mô hình, đội kỹ thuật phải kiểm tra đúng tên và định dạng, không mặc định mọi biến thể đều vừa 24GB.

Đọc benchmark 84 token/giây như thế nào?

Báo cáo kỹ thuật của NVIDIA nêu tốc độ giải mã 84 token/giây trên RTX Spark với cơ chế LiLiCorr. Đây là kết quả do hãng đo trong cấu hình và phần mềm cụ thể, không phải tốc độ đảm bảo cho mọi GPU 24GB. Token là mảnh văn bản mà mô hình xử lý; token/giây chỉ phản ánh tốc độ sinh đầu ra trong điều kiện đo, chưa nói lên thời gian chờ hàng đợi hoặc số người dùng đồng thời.

Cần hỏi thêm ít nhất bốn điều trước khi dùng con số này để lập kế hoạch: prompt dài bao nhiêu, batch size là bao nhiêu, có dùng speculative decoding hay không, và bộ nhớ dành cho KV cache còn lại bao nhiêu. KV cache lưu trạng thái của ngữ cảnh để không phải tính lại; cửa sổ ngữ cảnh dài và nhiều phiên đồng thời sẽ làm phần bộ nhớ này tăng nhanh.

24GB có đủ cho hệ thống đang phục vụ khách hàng?

24GB có thể phù hợp để tạo môi trường thử nghiệm, chạy một phiên tương tác hoặc làm trợ lý nội bộ có tải nhỏ. Nó chưa tự động phù hợp với API phục vụ nhiều người dùng. Khi trọng số đã chiếm gần hết bộ nhớ, không gian dành cho KV cache, bộ mã hóa hình ảnh và vùng làm việc của phần mềm suy luận sẽ bị thu hẹp. Hệ thống có thể nạp được mô hình nhưng lỗi thiếu bộ nhớ khi prompt dài hoặc khi tăng tải đồng thời.

Đội AI nên đo theo tình huống thật thay vì chỉ chạy một prompt ngắn. Nếu ứng dụng đọc hợp đồng PDF, hãy đưa tài liệu có độ dài và số trang thực tế. Nếu Agent gọi công cụ, hãy đo cả thời gian của công cụ, số vòng lặp và tỷ lệ tác vụ hoàn thành. Chất lượng đầu ra quan trọng không kém tốc độ: lượng tử hóa mạnh có thể ảnh hưởng một số loại câu hỏi hoặc thao tác dài.

Checklist thử nghiệm trước khi chọn GPU

1. Chốt đúng checkpoint: IQ2 24GB, GGUF hay BF16; ghi lại mã phiên bản và nguồn tải.
2. Xác định cửa sổ ngữ cảnh mục tiêu, kích thước đầu vào hình ảnh và số phiên đồng thời.
3. Chọn phần mềm suy luận được hỗ trợ, chẳng hạn llama.cpp, Ollama hoặc vLLM; kiểm tra đúng backend và driver.
4. Đo thời gian nhận token đầu tiên, token/giây, VRAM cực đại và tỷ lệ lỗi thiếu bộ nhớ.
5. Dùng bộ câu hỏi nghiệp vụ riêng để đánh giá độ chính xác, khả năng gọi công cụ và hành vi khi thiếu dữ liệu.
6. Thử tải kéo dài, theo dõi nhiệt độ, điện năng, hàng đợi và khả năng khôi phục sau khi tiến trình lỗi.
7. Tách dữ liệu thử nghiệm nhạy cảm, giới hạn quyền của công cụ mà Agent được phép gọi và lưu nhật ký kiểm toán.

Khi nào nên dùng GPU nhiều bộ nhớ hơn?

Nên cân nhắc GPU nhiều bộ nhớ hơn hoặc nhiều GPU khi cần ngữ cảnh dài, nhiều người dùng đồng thời, giữ chất lượng ở độ chính xác cao hơn, hoặc chạy thêm mô hình embedding và reranker trên cùng máy. Lựa chọn này không chỉ dựa trên VRAM. Băng thông bộ nhớ, tốc độ liên kết giữa GPU, CPU, RAM hệ thống và lưu trữ checkpoint đều ảnh hưởng thời gian phản hồi.

Ngược lại, nếu mục tiêu chỉ là thử Agent cho một nhóm nhỏ, checkpoint 24GB có thể giúp giảm rào cản ban đầu. Hãy bắt đầu bằng bài thử có tiêu chí đạt rõ ràng, rồi mới quyết định cấu hình dài hạn. Hướng dẫn chọn GPU Server cho LLM và bài tính chi phí thuê GPU Server cung cấp thêm khung so sánh theo tải.

Nguồn tham khảo

• NVIDIA Research: Nemotron 3.5 Bolt 74B-A9B 24GB, công bố 15/10/2026
• Báo cáo kỹ thuật Nemotron 3.5 Bolt 24GB, ngày 15/10/2026

Nếu đội phát triển AI muốn dựng bài thử, hãy chuẩn bị tên checkpoint, độ dài ngữ cảnh, số người dùng đồng thời, tốc độ mong muốn và framework dự kiến. Gửi các thông tin đó qua kênh hỗ trợ trên trang GPU Server để đối chiếu cấu hình cho thử nghiệm; tình trạng cấp phát và phạm vi hỗ trợ cần được xác nhận tại thời điểm trao đổi.