OnlyCats , một website chia sẻ ảnh mèo đơn giản, đã trở thành một trường hợp nghiên cứu bất ngờ về những thách thức trong việc kiểm duyệt nội dung bằng AI. Điều bắt đầu như một dự án gia đình đã thu hút sự chú ý rộng rãi hơn sau khi người dùng phát hiện ra cách để vượt qua hệ thống lọc tự động của nó.
Kiểm duyệt AI không đạt được kỳ vọng
Trang web dựa vào mô hình omni-moderation-latest của OpenAI và GPT-4o-mini để lọc nội dung, nhưng người dùng báo cáo kết quả không đồng nhất. Trong khi một số khen ngợi khả năng từ chối hình ảnh không phải mèo của hệ thống, những người khác đã thành công trong việc tải lên nội dung rõ ràng vi phạm chính sách chỉ cho phép mèo của trang web. Người tạo ra, người đã tự xác định mình trong phần bình luận, thừa nhận việc triển khai khá ngây thơ vì dự án ban đầu chỉ dành cho bạn bè và gia đình.
Các thành viên cộng đồng đã bày tỏ sự thất vọng với cả chất lượng và sự phổ biến của nội dung do AI tạo ra trên nền tảng. Các chú thích tự động, mặc dù có chức năng, nhưng thiếu sự hài hước và sáng tạo đã làm cho nội dung về mèo trên internet trước đây trở nên đáng nhớ.
Hệ thống kiểm duyệt AI được sử dụng:
- Mô hình omni-moderation-latest của OpenAI để kiểm duyệt nội dung
- GPT-4o-mini để phát hiện mèo thông qua các câu lệnh đơn giản
- Không triển khai lớp kiểm duyệt bằng con người
Mối quan ngại của người dùng về chất lượng nội dung và việc lọc
Một số người dùng đã nêu lên mối quan ngại về khả năng xử lý nội dung không phù hợp của trang web khi nó mở rộng quy mô vượt ra ngoài phạm vi ban đầu. Hệ thống hiện tại có vẻ không nhất quán, thành công trong việc chặn một số bài gửi không phải mèo trong khi cho phép những bài khác đi qua. Điều này đã dẫn đến các đề xuất về việc triển khai phát hiện trùng lặp, giới hạn tốc độ và kiểm duyệt bằng con người.
Cuộc thảo luận tiết lộ một căng thẳng rộng lớn hơn giữa việc tạo nội dung tự động và các bài gửi chính thống của người dùng. Nhiều thành viên cộng đồng thích ảnh mèo thật với chú thích do con người viết hơn so với các lựa chọn thay thế do AI tạo ra, coi những cái sau là chung chung và không truyền cảm hứng.
Các Vấn Đề Chính Được Xác Định:
- Hệ thống lọc không nhất quán cho phép nội dung không phải mèo xuất hiện
- Chú thích do AI tạo ra được coi là chất lượng thấp so với sự sáng tạo của con người
- Chưa triển khai tính năng phát hiện trùng lặp hoặc giới hạn tần suất
- Hệ thống được thiết kế cho sử dụng gia đình, không phải quy mô công cộng
Triển khai kỹ thuật và thách thức tương lai
Cách tiếp cận kỹ thuật của trang web làm nổi bật những cạm bẫy phổ biến trong việc tạo mẫu nhanh cho sử dụng công cộng. Sự thừa nhận của người tạo ra rằng hệ thống được thiết kế cho một nhóm người dùng nhỏ, đáng tin cậy nhấn mạnh những thách thức của việc mở rộng quy mô các dự án đơn giản khi chúng có được sự phổ biến bất ngờ.
Người dùng cũng đã lưu ý các vấn đề thực tế như việc lựa chọn tên miền .gg, mà một số cho rằng có thể hạn chế khả năng khám phá trong một số nhóm nhân khẩu học nhất định, những người quen thuộc hơn với các địa chỉ .com truyền thống.
Tình huống OnlyCats chứng minh việc một dự án gia đình đơn giản có thể nhanh chóng gặp phải những thách thức kiểm duyệt phức tạp khi tiếp xúc với đối tượng internet rộng lớn hơn như thế nào, đặt ra câu hỏi về hiệu quả của các công cụ kiểm duyệt AI hiện tại cho các nền tảng nội dung chuyên biệt.
Tham khảo: OnlyCats