Khi các trợ lý AI trở nên phổ biến hơn trong việc duyệt web, các nhà phát triển đang khám phá những cách thức mới để phục vụ nội dung hoạt động tốt hơn cho cả con người và máy móc. Một cuộc thảo luận gần đây đã nổi lên xung quanh việc sử dụng HTTP Accept headers để cung cấp nội dung markdown cho các tác nhân AI trong khi vẫn giữ HTML cho người dùng thông thường.
Tiêu chuẩn Accept Header: Các AI agent đang áp dụng "text/markdown, text/plain" trong Accept headers như một tiêu chuẩn mới nổi để yêu cầu nội dung được tối ưu hóa
Vấn đề động lực thúc đẩy cuộc tranh luận cộng đồng
Cộng đồng phát triển web đang chia rẽ về việc liệu tối ưu hóa nội dung cho các Large Language Models ( LLMs ) có đáng bỏ công sức hay không. Những người chỉ trích cho rằng có một vấn đề cơ bản với cách tiếp cận này - không giống như Search Engine Optimization ( SEO ), vốn mang lưu lượng truy cập trở lại các trang web, tối ưu hóa LLM chủ yếu mang lại lợi ích cho các hệ thống AI mà không đảm bảo lợi nhuận cho những người tạo nội dung.
Mối quan ngại này có sự ủng hộ từ thực tế. Một số chủ sở hữu trang web báo cáo sự sụt giảm mạnh trong tỷ lệ nhấp chuột ngay cả khi nội dung của họ xuất hiện trong các phản hồi được tạo bởi AI. Lưu lượng truy cập từng chảy trực tiếp đến các trang web giờ thường dừng lại ở giao diện AI, khiến những người tạo nội dung chỉ có lượt hiển thị nhưng ít khách truy cập thực tế hơn.
Tuy nhiên, không phải ai cũng coi đây là ngõ cụt. Các phòng ban marketing tại các công ty lớn đang tích cực thảo luận về các chiến lược tối ưu hóa LLM, coi các đề xuất của AI như một kênh mới để thu hút khách hàng. Một số nhà phát triển đã báo cáo những câu chuyện thành công bất ngờ, với các trợ lý AI trực tiếp đề xuất sản phẩm của họ cho người dùng mà không cần bất kỳ nỗ lực tối ưu hóa đặc biệt nào.
Tác động đến lưu lượng truy cập: Một số trang web báo cáo tỷ lệ nhấp chuột giảm mạnh mặc dù vẫn duy trì lượt hiển thị cao trong các phản hồi do AI tạo ra, cho thấy người dùng ở lại trong giao diện AI thay vì truy cập các trang web nguồn
Triển khai kỹ thuật đạt được sức hút
Cách tiếp cận kỹ thuật liên quan đến việc sử dụng content negotiation - một tiêu chuẩn web đã tồn tại nhiều năm nhưng đang tìm thấy mục đích mới. Khi một tác nhân AI yêu cầu nội dung với các Accept headers cụ thể như text/markdown hoặc text/plain, các máy chủ có thể phản hồi với markdown được tinh giản thay vì các trang HTML đầy đủ.
Phương pháp này có thể giảm kích thước nội dung lên đến 10 lần, có khả năng tiết kiệm chi phí đáng kể trong việc xử lý token AI. Các trình tạo trang tĩnh như Astro và Gatsby có vị thế thuận lợi cho cách tiếp cận này vì chúng đã tạo ra các tệp HTML có thể được chuyển đổi thành markdown trong quá trình xây dựng.
Việc triển khai yêu cầu các chiến lược khác nhau tùy thuộc vào thiết lập hosting. Các reverse proxy truyền thống như Nginx hoặc Caddy có thể xử lý điều này với các quy tắc cấu hình đơn giản, trong khi các nền tảng mới hơn như Cloudflare Workers yêu cầu mã JavaScript tùy chỉnh để kiểm tra headers và phục vụ nội dung phù hợp.
Giảm Kích Thước Nội Dung: Việc phân phối bằng Markdown có thể đạt được mức giảm kích thước nội dung lên tới 10 lần so với HTML, giúp giảm đáng kể chi phí token xử lý AI
Mối quan ngại của cộng đồng về chất lượng nội dung
Một vấn đề quan trọng được các nhà phát triển nêu ra là nguy cơ ô nhiễm nội dung được tối ưu hóa cho AI. Khi ngày càng nhiều trang web tối ưu hóa cụ thể cho việc tiêu thụ LLM, có mối quan ngại ngày càng tăng về việc gặp phải AI slop - nội dung được thiết kế chủ yếu để lừa các hệ thống AI thay vì cung cấp giá trị thực sự cho người dùng.
Tôi thấy việc [kiểm tra nguồn] cực kỳ quan trọng, bởi vì bạn sẽ nhận được một số kết quả đã là AI slop được tối ưu hóa để hiển thị trong các tìm kiếm nghiên cứu LLM.
Điều này làm nổi bật một thách thức rộng lớn hơn mà web đang đối mặt khi AI trở nên phổ biến hơn trong việc khám phá và tiêu thụ nội dung.
Nhìn về tương lai
Cuộc tranh luận phản ánh một sự thay đổi lớn hơn trong cách nội dung được khám phá và tiêu thụ trực tuyến. Trong khi một số nhà phát triển lo lắng về việc mất lưu lượng truy cập trực tiếp, những người khác coi các đề xuất của AI như một hình thức khám phá tự nhiên mới có thể bỏ qua hoàn toàn các thách thức SEO truyền thống.
Tiêu chuẩn mới nổi về việc sử dụng Accept headers cho text/markdown và text/plain cho thấy cộng đồng đang hướng tới một giải pháp thực tế, ngay cả khi các câu hỏi về lợi ích dài hạn vẫn còn. Khi ngày càng nhiều trang web triển khai các tính năng này, tác động thực sự đến các mô hình lưu lượng truy cập và sự tương tác của người dùng sẽ trở nên rõ ràng hơn.
Tham khảo: Use the Accept Header to serve Markdown instead of HTML to LLMs