Cloudflare Cách mạng hóa quyền kiểm soát nội dung: Kỷ nguyên mới cho Search, AI Agent và Đào tạo mô hình

Một năm sau khi Cloudflare khởi xướng "Content Independence Day" (Ngày Độc lập Nội dung) nhằm trao quyền cho các quản trị viên website chặn bot AI, cục diện internet đã thay đổi đáng kể. Cuộc chiến không còn chỉ là "chặn hay không chặn", mà là sự cần thiết của một khung phân loại (taxonomy) chi tiết hơn.

Định nghĩa lại khái niệm AI Bot: Không chỉ là "Có" hay "Không"

Trước đây, người ta thường tranh cãi về việc một bot có phải là "AI" hay không. Tuy nhiên, ranh giới này ngày càng mờ nhạt khi Google chuyển mình thành "answer engine" (công cụ trả lời) thay vì chỉ là công cụ tìm kiếm truyền thống. Cloudflare đề xuất một cách tiếp cận mới: Tập trung vào hành vi (behavior) của bot.

Cloudflare đã phân loại ba nhóm AI chính mà mọi chủ sở hữu website cần quản lý:

1. Search (Tìm kiếm): Bot thu thập/lập chỉ mục nội dung để trả lời truy vấn. Mục tiêu là tạo ra luồng referral traffic hoặc giá trị bù đắp cho website.
2. Agent (Đại lý): Bot thực hiện hành động thay cho người dùng theo thời gian thực (ví dụ: ChatGPT-User, Gemini, Claude điều khiển trình duyệt để hoàn thành công việc).
3. Training (Đào tạo): Bot thu thập dữ liệu để huấn luyện hoặc tinh chỉnh (fine-tune) mô hình ngôn ngữ lớn (LLM). Dữ liệu của bạn sẽ bị "hấp thụ" vĩnh viễn vào kiến trúc AI.

Quản trị lưu lượng thông minh từ 15/09/2026

Cloudflare nâng cấp bảng điều khiển (dashboard) cho phép các khách hàng (kể cả gói Free) tinh chỉnh quyền truy cập cho từng loại bot kể trên.

• Thay đổi mặc định: Từ ngày 15/09/2026, các domain mới trên Cloudflare sẽ mặc định chặn các bot thuộc nhóm Training và Agent trên các trang có hiển thị quảng cáo, trong khi Search vẫn được phép truy cập để duy trì khả năng khám phá (discoverability).
• Cơ chế xử lý bot đa mục tiêu: Đối với các bot kết hợp nhiều chức năng (ví dụ: Googlebot vừa làm Search vừa có thể làm Training), Cloudflare sẽ áp dụng quy tắc nghiêm ngặt nhất. Nếu bạn chặn Training, các bot như Googlebot, Applebot, BingBot cũng sẽ bị chặn nếu chúng được xác định là có thực hiện hành vi Training.

BotBase: Bước tiến cho khách hàng Enterprise

Cloudflare giới thiệu BotBase, một cơ sở dữ liệu tập trung cho phép khách hàng Enterprise quan sát, lọc và quản lý toàn bộ các bot đã được xác thực (Verified bots) và các tác nhân tự động khác.

Phân loại hành vi trong BotBase

Ngoài 3 nhóm chính, BotBase còn theo dõi các nhóm hành vi như:

• Checkout actions: Hành động mua sắm thay người dùng.
• Competitive intelligence: Quét giá, phân tích đối thủ.
• Vulnerability scanning: Kiểm tra bảo mật/pentest.
• Ads verification: Xác thực quảng cáo.

Kiểm soát theo ngữ cảnh với Content Signals

Cloudflare mở rộng thông số robots.txt với tham số mới use giúp chủ sở hữu định nghĩa mức độ "chiếm dụng" dữ liệu của bot:

• immediate: Tương tác nhưng không lưu trữ/tái sử dụng.
• reference: (Mặc định) Chỉ được index, trích dẫn ngắn và link lại nguồn.

Ví dụ cấu hình robots.txt mới:

User-agent: *
Content-Signal: search=yes,ai-train=no,use=reference
Allow: /

Việc tuân thủ các tín hiệu này là bắt buộc để một bot giữ được trạng thái "Verified" (Đã xác thực) trên hệ thống Cloudflare. Nếu phát hiện bot sao chép toàn bộ nội dung mà không tôn trọng các quy định này, bot đó sẽ bị tước trạng thái Verified và chịu các chính sách chặn tương ứng.

Thông qua các bản cập nhật này, Cloudflare một lần nữa khẳng định vị thế dẫn đầu trong việc thiết lập trật tự mới cho internet, nơi quyền sở hữu nội dung được bảo vệ bởi công nghệ và các quy tắc minh bạch giữa con người và máy móc.