Ngưỡng quyết định của AI Agent: Tại sao đó là 'Giá trị' chứ không phải 'Phần trăm'?

Bài viết được dịch và tổng hợp từ tin tức gốc. Bạn có thể đọc bài viết gốc bằng tiếng Anh tại đây.

Điểm tin nhanh:

Thay vì sử dụng ngưỡng phần trăm tự tin (ví dụ: 0.90) để quyết định khi nào AI Agent được phép tự hành động, hãy sử dụng phân tích chi phí (cost-based analysis).

Quyết định tự động hóa nên dựa trên sự cân bằng giữa chi phí của một sai lầm (error cost) và chi phí để con người can thiệp (escalation cost).

Việc hiệu chuẩn (calibration) mô hình là bắt buộc để đảm bảo con số tự tin mà AI đưa ra phản ánh đúng xác suất thực tế.

AI Agent Scale

Hầu hết các cấu hình của AI Agent hiện nay đều có một dòng code trông như thế này: ESCALATION_THRESHOLD = 0.90. Nếu độ tự tin của mô hình vượt quá ngưỡng này, Agent sẽ tự thực hiện hành động. Nếu thấp hơn, nó sẽ gửi yêu cầu cho con người.

Cách tiếp cận này đơn giản, dễ điều chỉnh và tạo cảm giác rằng quyền tự chủ của AI đang được kiểm soát. Tuy nhiên, đây không phải là giải pháp tối ưu. Ngưỡng leo thang (escalation threshold) thực chất không phải là một tỷ lệ phần trăm, mà là một cái giá.

Đặt câu hỏi sai lầm

Các đội ngũ phát triển thường hỏi về khả năng: "Agent có thể viết SQL không?", "Nó có thể xử lý hoàn tiền không?". Nếu câu trả lời là có, họ cho phép nó chạy.

Nhưng có khả năng thực hiện và quyết định tự thực hiện là hai vấn đề khác nhau. Vấn đề cốt lõi là: Chi phí của một sai lầm là bao nhiêu và chi phí để con người can thiệp là bao nhiêu?

Nếu Agent hành động, bạn đối mặt với rủi ro sai sót. Nếu bạn leo thang (escalate), bạn phải trả chi phí cho thời gian của con người, bất kể Agent đúng hay sai. Hãy xem xét bảng so sánh các yếu tố quyết định dưới đây:

Yếu tố	Quyết định tự động (Agent)	Quyết định leo thang (Human)
Rủi ro	Chi phí của sai lầm (Error Cost)	Không có (hoặc rất thấp)
Chi phí	Gần như bằng 0	Chi phí thời gian/nhân sự (Escalation Cost)
Khi nào chọn?	Khi (1-p) * Error Cost < Escalation Cost	Khi (1-p) * Error Cost > Escalation Cost

(Trong đó: p là xác suất Agent đúng)

Ví dụ thực tế: Triage hỗ trợ khách hàng

Để hiểu rõ hơn, hãy xem xét hai kịch bản hỗ trợ khách hàng với các mức chi phí giả định:

Loại yêu cầu	Chi phí sai lầm (Error)	Chi phí leo thang (Escalation)	Ngưỡng quyết định (Threshold)
Hoàn tiền định kỳ	£15	£4	0.73
Chiếm đoạt tài khoản	£2,000	£4	0.998

Với ngưỡng 0.73, nếu Agent tự tin 90%, nó nên hành động (vì 0.9 > 0.73). Nhưng với kịch bản chiếm đoạt tài khoản, ngưỡng 0.998 yêu cầu con người can thiệp ngay lập tức vì rủi ro quá lớn.

Vấn đề về hiệu chuẩn (Calibration)

Tất cả các phép tính trên đều dựa trên giả định rằng: Khi Agent nói "tự tin 90%", nó đúng 90% thời gian. Đây chính là hiệu chuẩn (calibration).

Nếu Agent nói 90% nhưng thực tế chỉ đạt 78%, ngưỡng bạn tính toán sẽ trở nên vô nghĩa. Để khắc phục, bạn cần:

Ghi nhật ký (Log): Lưu lại mọi quyết định cùng với độ tự tin được báo cáo.
Đo lường: So sánh độ tự tin báo cáo với độ chính xác thực tế theo từng nhóm (bucket).
Điều chỉnh: Sử dụng các kỹ thuật như Isotonic regression hoặc Platt scaling để ánh xạ lại độ tự tin trước khi áp dụng vào ngưỡng.

Triển khai bằng mã nguồn (Code)

Dưới đây là ví dụ mô phỏng logic quyết định dựa trên chi phí:

def should_act_autonomously(stated_confidence: float,
                            cost_of_error: float,
                            cost_of_escalation: float,
                            calibrate) -> bool:
    # Chuyển đổi độ tự tin báo cáo sang xác suất thực tế
    p_correct = calibrate(stated_confidence)

    # Tính toán chi phí kỳ vọng
    expected_cost_of_acting = (1 - p_correct) * cost_of_error
    expected_cost_of_asking = cost_of_escalation

    # Quyết định hành động nếu chi phí kỳ vọng thấp hơn chi phí leo thang
    return expected_cost_of_acting < expected_cost_of_asking

Kết luận

Thay vì tranh cãi xem con số ma thuật là 0.85 hay 0.92, hãy tập trung vào việc:

Phân loại các quyết định theo mức độ rủi ro.
Làm việc với bộ phận tài chính hoặc vận hành để xác định chính xác chi phí của sai lầm.
Đo lường và hiệu chuẩn lại mô hình thường xuyên.

Khi bạn đặt ngưỡng là một cái giá, phần trăm tự tin sẽ tự động được tối ưu hóa theo đúng mục tiêu kinh doanh của bạn.