Cloudflare đã ra mắt một dịch vụ mới có tên là trả phí theo lượt crawl cho phép chủ sở hữu website thu phí từ các công ty AI khi truy cập nội dung của họ. Hệ thống này giải quyết những lo ngại ngày càng tăng về việc các AI bot tiêu thụ nội dung web mà không có bồi thường trong khi tạo ra chi phí máy chủ đáng kể cho các nhà xuất bản.
Dịch vụ sử dụng mã trạng thái HTTP 402 (Yêu Cầu Thanh Toán) để tạo ra một khung làm việc nơi các AI crawler phải trả phí để truy cập hoặc nhận yêu cầu thanh toán. Chủ sở hữu website có thể thiết lập ba tùy chọn cho mỗi crawler: cho phép truy cập miễn phí, yêu cầu thanh toán với mức giá đã cấu hình, hoặc chặn truy cập hoàn toàn.
Các Tùy Chọn Kiểm Soát và Định Giá của Nhà Xuất Bản:
- Cho phép: Cấp quyền truy cập miễn phí vào nội dung cho crawler
- Tính phí: Yêu cầu thanh toán theo mức giá đã cấu hình, áp dụng toàn bộ tên miền
- Chặn: Từ chối hoàn toàn quyền truy cập mà không có tùy chọn thanh toán
 |
|---|
| Các chủ sở hữu trang web giờ đây có thể bảo vệ nội dung của mình và tính phí các công ty AI cho việc truy cập thông qua dịch vụ mới của Cloudflare |
Triển Khai Kỹ Thuật Tạo Ra Tiêu Chuẩn Web Mới
Hệ thống yêu cầu các công ty AI đăng ký với Cloudflare và sử dụng chữ ký mật mã để xác minh danh tính của họ. Điều này ngăn chặn các tác nhân xấu giả mạo các crawler hợp pháp để tránh thanh toán. Khi một crawler yêu cầu nội dung trả phí, nó sẽ bao gồm ý định thanh toán trong request headers hoặc nhận phản hồi 402 với thông tin giá cả.
Cloudflare đóng vai trò là bộ xử lý thanh toán, xử lý hóa đơn và phân phối thu nhập cho các nhà xuất bản. Công ty tổng hợp các sự kiện crawling và tính phí cho các công ty AI dựa trên các yêu cầu thành công nhận được nội dung.
Xác thực Crawler bắt buộc:
- Tạo cặp khóa Ed25519 với khóa công khai định dạng JWK
- Đăng ký với Cloudflare bằng cách cung cấp URL thư mục khóa và thông tin user agent
- Cấu hình HTTP Message Signatures cho mỗi yêu cầu
- Bao gồm các header signature-agent, signature-input và signature
Cộng Đồng Tranh Luận Về Hiệu Quả Và Công Bằng
Các cuộc thảo luận trong cộng đồng công nghệ cho thấy phản ứng trái chiều về thông báo này. Một số người khen ngợi sáng kiến này là khoản bồi thường đã quá hạn cho các nhà sáng tạo nội dung, trong khi những người khác lo lắng về việc tạo ra những rào cản mới cho việc truy cập thông tin. Một mối quan tâm chính tập trung vào lợi thế của Google , vì nhiều website vẫn muốn search crawler của Google lập chỉ mục nội dung của họ để có khả năng hiển thị.
Hầu hết mọi người muốn google-bot crawl trang web của họ để họ có được lưu lượng truy cập. Có lợi ích cho cả hai bên ở đó, và Google sẽ sử dụng crawl-index của mình để huấn luyện AI.
Hệ thống đối mặt với những thách thức kỹ thuật từ các scraper quyết tâm có thể sử dụng proxy dân cư hoặc trình duyệt headless để bỏ qua việc phát hiện. Tuy nhiên, vị thế của Cloudflare như một nhà cung cấp cơ sở hạ tầng internet lớn mang lại cho họ đòn bẩy đáng kể trong việc xác định và chặn những nỗ lực như vậy.
 |
|---|
| Blog của Cloudflare tiết lộ phản ứng trái chiều từ cộng đồng công nghệ về dịch vụ "trả phí theo lượt thu thập dữ liệu" |
Tác Động Đối Với Kinh Tế Web Tương Lai
Dịch vụ này đại diện cho sự chuyển dịch hướng tới việc kiếm tiền từ dữ liệu huấn luyện AI ở quy mô internet. Các nhà xuất bản như Conde Nast , TIME và The Associated Press đã đăng ký để chặn AI crawler theo mặc định. Điều này tạo áp lực lên các công ty AI phải trả phí để truy cập hoặc phát triển các nguồn dữ liệu thay thế.
Một số thành viên cộng đồng lo lắng điều này có thể dẫn đến một thị trường phân mảnh nơi việc truy cập thông tin yêu cầu nhiều gói đăng ký, tương tự như các dịch vụ streaming. Những người khác coi đây là sự bảo vệ cần thiết chống lại các công ty AI mang lại ít giá trị trở lại cho các nhà sáng tạo nội dung.
Tác động lâu dài có thể mở rộng ra ngoài nhu cầu huấn luyện AI hiện tại. Khi các AI agent trở nên phổ biến hơn, hệ thống có thể cho phép mua nội dung theo chương trình nơi người dùng cung cấp ngân sách cho AI assistant để truy cập các nguồn thông tin cao cấp.
Các Nhà Xuất Bản Lớn Đã Tham Gia:
- Conde Nast
- TIME
- The Associated Press
- The Atlantic
- ADWEEK
- Fortune
Kết Luận
Hệ thống trả phí theo lượt crawl của Cloudflare cố gắng cân bằng lại kinh tế của nội dung web trong kỷ nguyên AI. Trong khi nó cung cấp cho các nhà sáng tạo nội dung một nguồn doanh thu mới, thành công của nó phụ thuộc vào việc áp dụng rộng rãi và sự sẵn sàng của các công ty AI để trả tiền thay vì tìm cách lách luật. Sáng kiến này làm nổi bật căng thẳng đang diễn ra giữa việc truy cập thông tin mở và bồi thường công bằng cho các nhà sáng tạo nội dung trong bối cảnh internet ngày càng được điều khiển bởi AI.
Tham khảo: Introducing pay per crawl: enabling content owners to charge AI crawlers for access