NeMo Compass biến lỗi AI agent thành bài kiểm thử như thế nào?
NVIDIA giới thiệu quy trình dùng trace để tìm lỗi lặp lại, tạo bài kiểm thử và sửa lớp điều khiển AI agent. Đây là cách áp dụng có kiểm soát cho đội phát triển.

Một AI agent có thể trả lời tốt trong bản demo nhưng lại gửi yêu cầu sai, gọi công cụ không đúng cấu trúc hoặc thực hiện hành động thiếu xác nhận khi gặp dữ liệu thật. Ngày 04/11/2026, NVIDIA mô tả một vòng lặp dùng NeMo Compass và NeMo Eval Author để biến những lỗi quan sát được thành bài kiểm thử có thể chạy lại.
Từ trace tới lỗi có thể đo
Trace là nhật ký chi tiết của một lần agent suy luận và gọi công cụ. Theo NVIDIA Technical Blog, NeMo Compass phân tích trace đã lưu, nhóm vấn đề lặp lại và liên kết mỗi nhận định với mã trace cụ thể. Nhờ vậy, đội phát triển có bằng chứng để xem lại thay vì tranh luận dựa trên một câu trả lời đơn lẻ.
NeMo Eval Author hỗ trợ tạo bài đánh giá theo định dạng Harbor hoặc NeMo Gym. Bài đánh giá không chỉ chấm câu chữ cuối cùng; nó có thể kiểm tra agent có chọn đúng công cụ, truyền đúng tham số, xin xác nhận trước hành động nhạy cảm và hoàn thành mục tiêu trong giới hạn cho phép hay không.
Vòng lặp năm bước
- Thu thập trace từ tình huống thật hoặc bộ kịch bản đại diện, đồng thời loại thông tin nhạy cảm.
- Dùng Compass xác định lỗi có tác động cao và truy ngược các trace làm bằng chứng.
- Chuyển lỗi thành tiêu chí đạt hoặc không đạt, rồi tạo bài kiểm thử bằng Eval Author.
- Sửa harness, tức lớp bao quanh mô hình gồm hướng dẫn hệ thống, công cụ, quyền và luồng xác nhận.
- Chạy lại cả tập phát triển lẫn tập giữ kín để phát hiện việc sửa lỗi này nhưng làm hỏng hành vi khác.
Tập giữ kín là nhóm tình huống không dùng trong quá trình chỉnh sửa. Nó giúp phát hiện tối ưu quá mức, khi agent thuộc các ví dụ đã thấy nhưng không cải thiện trên trường hợp mới.
Đọc số liệu minh họa đúng cách
NVIDIA nêu một ví dụ cùng Dassault Systèmes: số lần gọi công cụ sai cấu trúc giảm từ 142 xuống 0; điểm đánh giá tổng thể tăng tương đối 28% và số lần gọi công cụ giảm 35% trên sáu kịch bản. Đây là kết quả do hãng trình bày trong một trường hợp cụ thể, không phải benchmark độc lập hay mức cải thiện có thể áp cho mọi chatbot.
Giá trị của ví dụ nằm ở phương pháp: truy vết lỗi, chuyển thành kiểm thử, sửa lớp điều khiển rồi đo lại. Doanh nghiệp Việt Nam nên chọn chỉ số sát rủi ro của mình như tỷ lệ hành động thiếu xác nhận, tỷ lệ gọi API lỗi, chi phí mỗi tác vụ và thời gian phản hồi p95.
Điều kiện triển khai và ranh giới an toàn
Bài hướng dẫn của NVIDIA dùng Linux, Docker và đề xuất môi trường Ubuntu 24.04 với 8 vCPU, 32 GB RAM, OpenShell 0.1.2, Harbor 0.22.0 cùng khóa NVIDIA API. Đây là cấu hình ví dụ, không phải yêu cầu chung cho mọi hệ thống. Đội kỹ thuật cần kiểm tra phiên bản và tài liệu dự án trước khi dựng môi trường.
- Không đưa khóa truy cập, dữ liệu khách hàng hoặc nội dung riêng tư nguyên trạng vào trace dùng để phân tích.
- Tách quyền đọc dữ liệu khỏi quyền gửi, xóa hoặc thanh toán; hành động có hậu quả cần bước xác nhận.
- Ghim phiên bản mô hình, prompt, công cụ và dữ liệu kiểm thử để kết quả có thể tái lập.
- Không dùng cùng một tập ví dụ để vừa sửa vừa tuyên bố chất lượng cuối cùng.
- Theo dõi lỗi im lặng: agent trả lời có vẻ hợp lý nhưng đã bỏ qua quy tắc nghiệp vụ.
Ai nên áp dụng trước?
Quy trình phù hợp nhất với đội đã có agent gọi API hoặc thao tác nhiều bước và đã lưu được trace. Nếu sản phẩm mới ở giai đoạn hỏi đáp đơn giản, trước hết nên chuẩn hóa kịch bản, định nghĩa hành vi cấm và xây bộ đánh giá nhỏ. GPU mạnh hơn không thay thế được kiểm thử hành vi.
NeMo Compass có tự sửa AI agent không?
Không. Công cụ giúp phân tích trace và ưu tiên lỗi; đội phát triển vẫn phải quyết định tiêu chí, sửa harness và xác minh kết quả.
Có cần GPU để chạy toàn bộ vòng kiểm thử không?
Tùy mô hình và cách gọi API. Phần phân tích, quản lý trace có thể không cần GPU riêng; suy luận mô hình cục bộ mới là phần thường cần tài nguyên GPU.
Vì sao cần tập kiểm thử giữ kín?
Để kiểm tra thay đổi có tổng quát sang tình huống chưa dùng khi chỉnh sửa hay chỉ khớp các ví dụ quen thuộc.
Bước tiếp theo
Đội phát triển chatbot hoặc AI agent có thể gửi kiến trúc hiện tại, loại công cụ agent được phép gọi, kích thước trace và mục tiêu thời gian phản hồi qua trang liên hệ. Thông tin này giúp khoanh phạm vi môi trường thử nghiệm và bộ chỉ số trước khi lựa chọn tài nguyên.
Cần máy chủ cho workload này?
NOC thuemaychu.vn hỗ trợ chọn CPU, GPU và băng thông. PoC trong 24 giờ.
Bài viết liên quan
GPU / AINVIDIA NemoClaw: bộ khung mở để tự chủ AI agent
NVIDIA giới thiệu NemoClaw ngày 30/10/2026 như một bộ khung mở kết nối agent harness, Nemotron, NeMo và OpenShell. Bài viết phân tích giá trị, giới hạn và checklist thử nghiệm cho đội phát triển AI.
GPU / AINVIDIA OpenShell: kiến trúc bảo vệ AI Agent có gì đáng chú ý?
NVIDIA giới thiệu kiến trúc tham chiếu OpenShell ngày 21/10/2026. Bài viết giải thích cách cô lập AI Agent, quản lý khóa truy cập và thử nghiệm trước khi triển khai.
GPU / AIMicrosoft Copilot harness lên Foundry: xây AI agent đa mô hình
Copilot harness của Microsoft và GitHub đã có trên Foundry ở public preview. Đội phát triển cần đo chất lượng, chi phí, sandbox và khả năng chuyển mô hình.