Discord thừa nhận lỗi kiểm duyệt AI: Hơn 8.000 người dùng bị khóa tài khoản oan vì các hình ảnh vô hại

Discord thừa nhận lỗi kiểm duyệt AI: Hơn 8.000 người dùng bị khóa tài khoản oan

Discord, nền tảng giao tiếp phổ biến trong cộng đồng lập trình viên và game thủ, vừa chính thức thừa nhận một sự cố kỹ thuật nghiêm trọng liên quan đến hệ thống kiểm duyệt nội dung bằng trí tuệ nhân tạo (AI). Theo đó, hơn 8.000 người dùng đã bị khóa tài khoản oan trong vòng hai tháng qua do hệ thống tự động gắn cờ sai lệch các hình ảnh vô hại.

Nguyên nhân từ sự nhầm lẫn của AI

Theo báo cáo, sự cố bắt đầu từ tháng 5 và kéo dài đến tận cuối tuần qua, khi đội ngũ kỹ thuật của Discord xác định và khắc phục được vấn đề. Chỉ riêng trong dịp cuối tuần vừa qua, đã có thêm 200 người dùng bị khóa tài khoản trước khi lỗi được xử lý. Tất cả các tài khoản bị ảnh hưởng hiện đang trong quy trình khôi phục.

Discord giải thích rằng hệ thống an toàn tự động của họ hoạt động bằng cách đối chiếu các hình ảnh được tải lên với cơ sở dữ liệu về các nội dung độc hại đã biết. Tuy nhiên, công nghệ "đối chiếu độ tương đồng" (similarity matching) này đã tạo ra các kết quả dương tính giả (false positives).

Những hình ảnh nào đã bị gắn cờ nhầm?

Các hình ảnh bị hệ thống AI của Discord hiểu lầm là nội dung độc hại bao gồm:

• Bảng tính (Spreadsheets).
• Bàn cờ (Chessboards).
• Kết cấu trong trò chơi (Game textures).
• Các hình ảnh có nền trong suốt (màu trắng hoặc xám).

Nhiều người dùng trên X (trước đây là Twitter) và Reddit cho rằng các công cụ kiểm duyệt AI của Discord đã trở nên quá nhạy cảm với các mẫu hình dạng lưới (grid-like patterns). Lý do là vì các mẫu hình này trước đây thường bị kẻ xấu sử dụng để che giấu nội dung NSFW (không phù hợp nơi làm việc) hoặc nội dung bóc lột trẻ em nhằm qua mặt các hệ thống phát hiện tự động.

Tác động đến cộng đồng người dùng

Sự cố này gây ra làn sóng phẫn nộ lớn. Nhiều người dùng, đặc biệt là các nhà phát triển game và cộng đồng làm việc từ xa, đã bày tỏ sự bức xúc khi bị khóa tài khoản vĩnh viễn mà không có sự xem xét kỹ lưỡng từ con người.

Một người dùng trên X chia sẻ: "Tài khoản của tôi bị khóa oan vì hệ thống AI nhận diện nhầm các kết cấu game (game textures) của tôi là CSAM. Tôi là một đạo diễn game và sử dụng Discord cho mọi liên lạc công việc. Tôi cần tài khoản của mình được khôi phục ngay lập tức."

Bài học về kiểm duyệt tự động

Sự cố của Discord một lần nữa nhấn mạnh thách thức lớn trong việc sử dụng AI để kiểm duyệt nội dung ở quy mô lớn. Mặc dù Discord có quy trình cho phép nhân viên thuộc bộ phận "Trust & Safety" xem xét nội dung trước khi thực hiện hành động, nhưng một lỗi trong hệ thống đã khiến quy trình này bị bỏ qua, dẫn đến việc khóa tài khoản tự động ngay lập tức.

Discord cho biết: "Chúng tôi đang nỗ lực xây dựng các biện pháp bảo vệ tốt hơn để điều này không thể xảy ra lần nữa."

Bối cảnh ngành công nghiệp

Discord không phải là nền tảng duy nhất gặp rắc rối với kiểm duyệt tự động:

• Meta (Facebook/Instagram): Năm ngoái, nhiều người dùng đã báo cáo về tình trạng khóa tài khoản hàng loạt mà không rõ lý do, dù Meta chưa bao giờ công khai xác nhận lỗi AI.
• Tumblr: Cũng từng đối mặt với khiếu nại tương tự về việc khóa tài khoản hàng loạt mà không có giải thích thỏa đáng.

Việc các nền tảng phụ thuộc quá nhiều vào AI mà thiếu đi sự giám sát chặt chẽ từ con người đang trở thành một vấn đề cấp bách, buộc các công ty phải cân bằng giữa việc loại bỏ nội dung độc hại và bảo vệ quyền lợi chính đáng của người dùng.