Đừng chỉ xếp hạng cấu hình AI Agent dựa trên điểm trung bình

Trong quá trình phát triển AI Agent, mọi kỹ sư đều đối mặt với một câu hỏi hóc búa: "Phiên bản nào thực sự xứng đáng để đưa vào sản phẩm thực tế?"

Bạn thay đổi model, viết lại prompt, thay thế công cụ truy xuất (retrieval tool), và chạy một loạt thử nghiệm. Điểm trung bình thay đổi một chút. Có thể phiên bản này thắng phiên bản kia 2 điểm. Có thể vào thứ Hai, mô hình đánh giá (judge) thích kết quả này, nhưng đến thứ Ba lại thích kết quả khác. Cuối cùng, bạn quyết định triển khai cấu hình có "điểm trung bình cao nhất".

Đây thường là một khung tư duy sai lầm.

Đừng đối xử với đánh giá Agent như một bảng xếp hạng (Leaderboard)

Hiệu suất của một Agent hiếm khi chỉ đơn giản là "model tốt hơn + prompt tốt hơn + công cụ tốt hơn". Câu hỏi hữu ích hơn là: Các thành phần đó hoạt động cùng nhau như thế nào?

Một prompt hỗ trợ tốt cho một model nhỏ có thể làm chậm một model mạnh hơn. Một công cụ tìm kiếm ngữ nghĩa (semantic search) có thể kết hợp hoàn hảo với một prompt mở, nhưng lại hoạt động kém với một prompt theo từng bước (step-by-step) cứng nhắc.

Bài viết này giới thiệu một phương pháp thực tế để kiểm tra điều đó. Hãy chọn một vài "đòn bẩy" (levers) của Agent, chạy các cấu hình cạnh tranh trên cùng một tập dữ liệu, và yêu cầu một mô hình đánh giá chỉ chọn ra kết quả tốt nhất và tệ nhất. Sau đó, hãy sử dụng một mô hình xếp hạng để biến các lựa chọn đó thành điểm tiện ích (utility scores) cho từng cấu hình và từng sự tương tác.

Dành cho các nhà phát triển "Agent-first"

Bạn không cần phải thực hiện việc này thủ công. Nếu quy trình làm việc thông thường của bạn là giao cho Agent một mục tiêu, một tập dữ liệu kiểm tra, kết quả mong đợi, một vài model để lựa chọn và một Agent đánh giá để xem xét kết quả, phương pháp này hoàn toàn có thể áp dụng.

Prompt gợi ý để thử nghiệm:

"Hãy tạo một lưới nhân tố (factorial grid) nhỏ gồm các cấu hình Agent ứng viên. Với mỗi ví dụ kiểm tra, hãy lấy mẫu một vài cấu hình và chạy chúng độc lập. Ẩn danh các kết quả đầu ra. Yêu cầu một mô hình đánh giá chọn chính xác một kết quả tốt nhất và một kết quả tệ nhất. Hãy áp dụng mô hình Plackett-Luce, MaxDiff hoặc mô hình xếp hạng tiện ích tương đương. Báo cáo cấu hình nào nên được triển khai, cắt bỏ hoặc kiểm tra tiếp theo, và giải thích những tương tác nào giữa model/prompt/tool thực sự quan trọng."

Thí nghiệm thực tế

Nhiệm vụ: Một đường ống Agent trích xuất JSON có cấu trúc từ hình ảnh hóa đơn. Đây là loại công việc thực tế trong sản xuất: lược đồ (schema) cố định, độ chính xác là bắt buộc và sai sót có hậu quả nghiêm trọng.

Tôi đã sử dụng tập dữ liệu shubh303/Invoice-to-Json từ HuggingFace: 100 tài liệu hóa đơn, 5 cấu hình được lấy mẫu cho mỗi tài liệu, và tổng cộng 499 lượt chạy thực tế. Trong đó, 488 lượt đạt được sự tuân thủ lược đồ hợp lệ.

Thiết kế: Ba yếu tố nhị phân xác định không gian cấu hình, tạo ra 8 đường ống (pipeline) riêng biệt:

• Model: GPT-5.4-mini vs Haiku 4.5
• Prompt: Systematic Planner vs Contextual Leaper
• Tool: semantic_search vs stream_table_rows

Kết quả: Những tín hiệu hữu ích

Tầm quan trọng của các tính năng

Trong thí nghiệm này, tín hiệu lớn nhất là sự tương tác ba chiều giữa model, prompt và tool. Điều này có nghĩa là việc đánh giá model, prompt và tool một cách độc lập sẽ bỏ lỡ phần lớn câu chuyện. Giá trị của prompt là có điều kiện; nó phụ thuộc vào việc nó được ghép nối với model và tool nào.

Xếp hạng cấu hình

Khi tính đến chất lượng cạnh tranh, thứ hạng thay đổi đáng kể so với tỷ lệ thắng thô. Một số cấu hình có vẻ tốt trên lý thuyết (β-only baseline) nhưng lại bị phạt nặng khi tính đến các tương tác tiêu cực. Đây chính là tín hiệu mà việc chấm điểm trung bình thường bỏ qua.

Quyết định vận hành

1. Triển khai (Deploy) - Config 7: (GPT-5.4-mini / Contextual Leaper / semantic_search). Cấu hình này là người chiến thắng rõ ràng. Các thành phần củng cố lẫn nhau. Đừng giả định rằng sự tăng trưởng tương tác này sẽ tồn tại nếu bạn thay đổi model.
2. Triển khai (Deploy) - Config 4: (GPT-5.4-mini / Systematic Planner / stream_table_rows). Đây là một ứng cử viên sản xuất hợp lệ nếu kiến trúc của bạn ưu tiên tích hợp luồng (stream) hơn là tìm kiếm ngữ nghĩa.
3. Điều tra (Investigate) - Config 1: (Haiku 4.5 / Systematic Planner / semantic_search). Đây là trường hợp thú vị. Haiku dường như hưởng lợi từ cấu trúc và khả năng của công cụ theo cách mà GPT không có.
4. Cắt bỏ (Prune) - Config 5: Mặc dù các thành phần riêng lẻ trông có vẻ hấp dẫn, nhưng khi kết hợp lại, chúng tạo ra ma sát thay vì đòn bẩy. Hãy loại bỏ những cấu hình này khỏi vòng quay.

Kết luận

Đánh giá Agent không nên chỉ là chấm điểm các câu trả lời riêng lẻ và xếp hạng điểm trung bình. Khi các cấu hình cạnh tranh trực tiếp trên các ví dụ được chia sẻ, bạn sẽ có cái nhìn rõ ràng hơn về những gì thực sự hiệu quả. Mô hình xếp hạng chỉ là người phiên dịch, giá trị thực sự nằm ở cấu trúc so sánh.