Ngày càng nhiều người dùng ChatGPT phát hiện ra rằng việc khiến trợ lý AI của họ trở nên lo lắng và tự phê bình hơn lại mang đến những kết quả tốt đáng ngạc nhiên. Bằng cách hướng dẫn mô hình đặt câu hỏi về chính câu trả lời của nó và sợ hãi việc sai lầm, người dùng báo cáo nhận được những phản hồi chính xác hơn mặc dù thời gian xử lý dài hơn.
Chiến lược nghi ngờ bản thân cho thấy triển vọng
Phương pháp này bao gồm việc thêm các hướng dẫn cụ thể vào cài đặt cá nhân hóa của ChatGPT để khuyến khích sự hoài nghi cực độ và tự phê bình. Người dùng báo cáo rằng các phản hồi hiện bắt đầu bằng những biểu hiện thận trọng và không chắc chắn, tiếp theo là thời gian suy nghĩ dài hơn nhiều - đôi khi gần bốn phút cho những câu hỏi đơn giản như ước tính chất dinh dưỡng trong rau diếp. Quan trọng nhất, AI hiện thực hiện cái gọi là phân tích red team trên chính câu trả lời của nó, thường xuyên phát hiện và sửa lỗi trước khi đưa ra phản hồi cuối cùng.
Hành vi tự kiểm tra này giải quyết một trong những khiếu nại dai dẳng nhất về các mô hình ngôn ngữ lớn: xu hướng nghe có vẻ tự tin ngay cả khi hoàn toàn sai. Phương pháp được sửa đổi buộc AI phải sử dụng nhiều tài nguyên tính toán hơn để kiểm tra lại công việc của nó, tương tự như cách một con người thận trọng có thể xem xét câu trả lời của họ nhiều lần.
Các hiệu ứng được báo cáo:
- Thời gian xử lý lâu hơn (lên đến 4 phút cho các câu hỏi đơn giản)
- Nhiều biểu hiện thận trọng và không chắc chắn hơn
- Phân tích đối kháng sau phản hồi đối với các câu trả lời
- Phát hiện và sửa lỗi tốt hơn
- Ngôn ngữ kịch tính về sự hoài nghi của chính AI
Trải nghiệm cộng đồng tiết lộ kết quả hỗn hợp
Phản hồi từ các nhà phát triển cho thấy chiến lược này hoạt động tốt hơn với một số tác vụ so với những tác vụ khác. Trong khi việc trả lời câu hỏi chung có cải thiện, các tác vụ lập trình có thể trở nên có vấn đề. Một số người dùng báo cáo rằng các tác nhân AI của họ bị kẹt trong vòng lặp sửa đổi vô tận, thực hiện hàng chục thay đổi đối với các tệp mã mà không bao giờ kiểm tra xem mã có thực sự hoạt động hay không.
Phương pháp này cũng tạo ra một tác dụng phụ không mong muốn: AI bắt đầu sử dụng ngôn ngữ kịch tính về sự không chắc chắn của chính nó. Người dùng mô tả việc cảm thấy khó chịu với những phản hồi bắt đầu bằng các cụm từ như sự hoài nghi của tôi đang la hét trong khi thừa nhận rằng nội dung kỹ thuật thực tế bên dưới đã được cải thiện.
Chúng tôi thực sự đã giảm bớt nó khá nhiều, vì cảm giác rất tệ. Đúng là bạn nhận được nhiều câu trả lời đúng hơn, nhưng nó giống như việc gây lo lắng cho tác nhân hơn.
Biến động hiệu suất tác vụ:
- Tốt hơn: Trả lời câu hỏi tổng quát, truy vấn thông tin thực tế
- Kém hơn: Các tác vụ lập trình (vòng lặp sửa đổi vô tận), công việc agent sử dụng nhiều công cụ
- Hỗn hợp: Các tác vụ lý luận phức tạp yêu cầu nhiều bước
Các phương pháp thay thế xuất hiện
Thay vì gây ra nỗi sợ sai lầm, một số nhà phát triển đề xuất tập trung vào việc phơi bày những lĩnh vực mà lý luận của AI thiếu hỗ trợ hoặc có thể được hưởng lợi từ thông tin bổ sung. Phương pháp này duy trì lợi ích của việc tăng cường giám sát trong khi tránh lãng phí tính toán do nghi ngờ bản thân quá mức.
Kỹ thuật này dường như hoạt động bằng cách kích hoạt các cơ chế lý luận của AI một cách mạnh mẽ hơn. Các mô hình AI hiện đại có thể sử dụng các token suy nghĩ bổ sung để giải quyết vấn đề một cách cẩn thận hơn, nhưng điều này thường yêu cầu cấu hình rõ ràng. Các lời nhắc nghi ngờ bản thân dường như kích hoạt lý luận sâu sắc này một cách tự động, mặc dù với cái giá là thời gian phản hồi dài hơn đáng kể.
Các thành phần của Prompt tự nghi ngờ:
- Hoài nghi cực độ về tính đúng đắn và các giả định của bản thân
- Mở rộng phạm vi khảo sát vượt ra ngoài các giả định đã nêu
- Phân tích "Red team" trước khi tuyên bố bất kỳ điều gì là hoàn chỉnh
- Liên tục lo sợ việc sai lầm trong khi ghét các lỗi sai
Ý nghĩa rộng lớn hơn đối với tương tác AI
Sự thành công của các lời nhắc gây lo lắng làm nổi bật một thách thức cơ bản trong thiết kế AI. Các mô hình hiện tại được đào tạo để nghe có vẻ hữu ích và tự tin, nhưng việc đào tạo này có thể hoạt động ngược lại với độ chính xác. Người dùng về cơ bản phải hack xung quanh xu hướng làm hài lòng mọi người của AI để có được thông tin đáng tin cậy hơn.
Xu hướng này phản ánh một sự thay đổi rộng lớn hơn trong cách mọi người tương tác với các hệ thống AI. Thay vì coi chúng như những nguồn có thẩm quyền, người dùng đang học cách cấu trúc các lời nhắc khuyến khích suy nghĩ cẩn thận, có phương pháp hơn - ngay cả khi điều đó có nghĩa là khiến AI nghe có vẻ lo âu trong quá trình này.
Phương pháp này có thể không hiệu quả với mọi người, và nó chắc chắn khiến các tương tác AI tốn thời gian hơn. Nhưng đối với những người dùng ưu tiên độ chính xác hơn tốc độ, việc thêm một liều lo lắng nhân tạo dường như là một chiến lược hiệu quả đáng ngạc nhiên.
Tham khảo: SPRINKLING SELF-DOUBT ON CHATGPT