Một năm kỷ nguyên Agentic Internet: Cloudflare và cuộc chiến giành lại quyền kiểm soát nội dung từ AI

Cách đây đúng một năm, Cloudflare đã phát động chiến dịch Content Independence Day (Ngày Độc lập Nội dung). Vào thời điểm đó, chúng ta đã chứng kiến sự dịch chuyển căn bản trong mô hình kinh tế của Internet: AI bùng nổ, lưu lượng truy cập từ các công cụ tìm kiếm giảm sút và hàng loạt công ty AI tự do "cào" dữ liệu (crawling) mà không có sự đồng thuận hay đền bù cho chủ sở hữu.

Cú sốc về sự chuyển dịch của Internet

Cloudflare đã thực hiện một bước đi táo bạo: Chặn mặc định các trình thu thập thông tin (AI crawlers) trên mọi domain mới. Đây không phải là hành động đóng cửa Internet, mà là nỗ lực tạo ra một hệ sinh thái minh bạch và công bằng hơn. Sau một năm, báo cáo của Cloudflare cho thấy những thay đổi này diễn ra còn nhanh hơn dự kiến.

1. Sự tăng trưởng theo chiều dọc của AI

AI không chỉ là một chu kỳ công nghệ bình thường. Đó là một sự chuyển dịch nền tảng. Chỉ trong 3,5 năm, hơn 30% dân số thế giới (2,5 tỷ người dùng) đã sử dụng AI tạo sinh thường xuyên. Điều này thay đổi hoàn toàn cách chúng ta tìm kiếm thông tin:

• Thay vì vào nhiều trang web để so sánh, người dùng chỉ cần một prompt duy nhất.
• Lưu lượng truy cập vào các trang web truyền thống giảm sút nghiêm trọng.
• Dữ liệu đáng chú ý: Hơn 50% lưu lượng truy cập Internet hiện nay là non-human (không phải con người).

2. Sự biến tướng của các Web Crawlers

Tính đến tháng 6/2026, thành phần của lưu lượng crawler đã thay đổi hoàn toàn:

• 52% crawler: Dành riêng cho việc huấn luyện AI (tăng từ 22% vào mùa xuân 2025).
• 36% crawler: Là các loại "hỗn hợp" (kết hợp giữa tìm kiếm, tác vụ agent và huấn luyện).
• Crawler tìm kiếm thuần túy: Chiếm tỷ trọng ngày càng thấp.

Điều này đặt chủ sở hữu website vào tình thế khó khăn: Nếu chặn crawler, họ mất khả năng hiển thị trên tìm kiếm; nếu cho phép, họ vô tình "cúng" dữ liệu cho các mô hình AI mà không nhận được bất kỳ giá trị kinh tế nào.

Google Zero và mối đe dọa với nhà xuất bản

Nhiều nhà xuất bản đang chuẩn bị cho viễn cảnh "Google Zero" – thế giới nơi lưu lượng truy cập từ tìm kiếm gần như bằng không.

Sự khác biệt giữa Google và các AI khác là Google sử dụng crawler hỗn hợp. Điều này khiến chủ website không thể tách biệt việc: "Tôi cho phép Google đưa tôi lên kết quả tìm kiếm" và "Tôi cấm Google dùng dữ liệu của tôi để huấn luyện AI của họ". Đây là một lợi thế cạnh tranh không công bằng mà Cloudflare chỉ trích mạnh mẽ.

Kỷ nguyên của nền kinh tế cấp phép (Licensing Economy)

Cloudflare cung cấp các công cụ giúp chủ sở hữu trang web:

1. Khả năng hiển thị: Biết rõ bot nào đang truy cập, crawl URL nào và tần suất ra sao.
2. Kiểm soát: Thiết lập các chính sách chặt chẽ hơn robots.txt truyền thống.

Kết quả là một thị trường cấp phép nội dung đã hình thành:

• Hơn 50 thỏa thuận giữa nhà xuất bản và công ty AI đã được ký kết từ năm 2023.
• Các công ty AI bắt đầu nhận ra giá trị của dữ liệu chất lượng cao và sẵn sàng trả phí để có được quyền truy cập.

Kết luận

Internet đang chuyển mình sang thời đại của các tác nhân (Agentic Internet). Vấn đề hiện tại không còn là "có nên trả phí cho nội dung hay không" mà là "trả như thế nào". Cloudflare, với vị thế là mạng lưới bảo vệ hơn 20% web, đang đóng vai trò trung gian quan trọng để cân bằng lại cán cân quyền lực giữa chủ sở hữu nội dung và các tập đoàn công nghệ lớn.

Bài viết được tổng hợp từ dữ liệu nội bộ của Cloudflare Network.