Trong thời đại trí tuệ nhân tạo, một mô hình đáng lo ngại đã xuất hiện khắp các phòng xử án, dự án lập trình và văn phòng công ty trên toàn thế giới. Mọi người ngày càng coi các phản hồi từ chatbot AI như những sự thật có thẩm quyền, dẫn đến điều mà một bình luận viên mô tả là xi-rô ngô fructose cao của việc đọc - thông tin nghe có vẻ hợp lý nhưng có khả năng gây hiểu lầm, thỏa mãn mà không mang lại giá trị thực.
Vấn đề cốt lõi không phải là các mô hình ngôn ngữ lớn (LLM) luôn sai, mà là chúng hoạt động theo cách cơ bản khác với các nguồn tri thức truyền thống. Không như bách khoa toàn thư hoặc các bài báo học thuật được xây dựng dựa trên các tài liệu tham khảo có thể kiểm chứng, LLM tạo ra văn bản dựa trên các mẫu thống kê trong dữ liệu huấn luyện của chúng, khiến chúng không thể phân biệt một cách đáng tin cậy giữa thông tin thực tế và hư cấu thuyết phục.
Đại Dịch Ảo Giác
Trên khắp các cộng đồng kỹ thuật, người dùng báo cáo ngày càng nhiều ví dụ tinh vi về việc các hệ thống AI bịa đặt nguồn và trình bày một cách tự tin thông tin sai lệch. Một nhà phát triển đã chia sẻ một cuộc trao đổi đặc biệt rõ ràng, nơi một trợ lý AI liên tục khẳng định rằng tài liệu lập trình Ruby cụ thể tồn tại, thậm chí còn cung cấp cả số dòng chi tiết và các liên kết GitHub. Khi nhà phát triển kiểm tra các tài liệu tham khảo này, họ phát hiện ra rằng AI đã hoàn toàn bịa đặt cả nội dung tài liệu lẫn các trích dẫn hỗ trợ cho tuyên bố của nó.
Bản thân LLM thậm chí còn không được chọn những gì nó xuất ra - nó chỉ đưa ra xác suất từ tiếp theo và MỘT trong số đó được chọn NGẪU NHIÊN bởi bộ lấy mẫu. Vì vậy, có thể từ 1-3 trong câu trả lời của LLM là một cách diễn đạt thông thường được dự đoán bởi hàng nghìn mẫu, từ thứ 4 đến từ 4chan (một lựa chọn ngẫu nhiên xác suất thấp từ bộ lấy mẫu), và từ thứ 5 là bịa đặt.
Mô hình này mở rộng ra ngoài lĩnh vực lập trình sang nghiên cứu học thuật, tài liệu pháp lý và tư vấn y tế. Vấn đề trở nên đặc biệt nguy hiểm khi các hệ thống AI tạo ra các trích dẫn trông có vẻ hợp pháp nhưng lại tham chiếu đến nghiên cứu không tồn tại hoặc trình bày sai lệch các nguồn thực tế. Một số vụ án tại tòa đã xuất hiện, trong đó các luật sư đệ trình các bản tóm tắt pháp lý có chứa các trích dẫn vụ án bịa đặt được tạo ra bởi các công cụ AI.
Các Mẫu Hình Ảo Giác Phổ Biến của AI
- Trích dẫn và tài liệu tham khảo bịa đặt
- Trình bày sai lệch nội dung nguồn
- Trình bày thông tin sai lệch một cách tự tin
- Không có khả năng phân biệt giữa các mẫu dữ liệu huấn luyện và độ chính xác thực tế
- Lấy mẫu ngẫu nhiên dẫn đến kết quả đầu ra không nhất quán
Ảo Giác Trích Dẫn Nguồn
Nhiều người dùng bảo vệ các hệ thống AI bằng cách chỉ ra khả năng cung cấp trích dẫn của chúng, đặc biệt là trong các mô hình như Gemini có thể thực hiện tìm kiếm web. Tuy nhiên, các thảo luận trong cộng đồng tiết lộ một sự khác biệt quan trọng giữa xác minh nguồn thực sự và những gì đang thực sự xảy ra. Khi các hệ thống AI trích dẫn nguồn, chúng thường hoặc là tóm tắt kết quả tìm kiếm (có thể không chính xác) hoặc tạo ra các trích dẫn trông hợp lý dựa trên các mẫu trong dữ liệu huấn luyện của chúng.
Tình hình thậm chí còn phức tạp hơn với các hệ thống Tạo Sinh Tăng Cường Truy Xuất (RAG), nơi dữ liệu bên ngoài được đưa vào ngữ cảnh của AI. Mặc dù điều này có thể cải thiện độ chính xác, nhưng nó không đảm bảo rằng AI sẽ diễn giải hoặc trình bày thông tin đó một cách chính xác. Như một bình luận viên đã lưu ý, Nếu đầu ra đến từ RAG (tìm kiếm) chứ không phải từ chính mô hình, thì một liên kết là có thể, nhưng không phải nếu mô hình chỉ tự tạo ra chuỗi từ ngữ.
Yếu Tố Con Người Trong Việc Tin Tưởng AI
Điều khiến vấn đề trích dẫn AI trở nên đặc biệt khó khăn là cách nó tương tác với tâm lý con người. Mọi người tự nhiên có xu hướng tin tưởng những phản hồi tự tin, được diễn đạt rõ ràng, bất kể độ chính xác thực tế của chúng. Điều này tạo ra một cơn bóng hoàn hảo, nơi các hệ thống AI được tối ưu hóa cho sở thích con người tạo ra các phản hồi có cảm giác đáng tin cậy ngay cả khi chúng hoàn toàn được bịa đặt.
Cộng đồng đã quan sát thấy rằng vấn đề này ảnh hưởng không đồng đều đến các lĩnh vực khác nhau. Đối với các truy vấn thực tế đơn giản với dữ liệu huấn luyện dồi dào, các hệ thống AI thường hoạt động khá tốt. Tuy nhiên, đối với các chủ đề kỹ thuật chuyên sâu, các sự kiện lịch sử ít người biết hoặc các hệ thống độc quyền, độ chính xác giảm mạnh. Như một bình luận viên làm việc với ngôn ngữ cổ đại đã lưu ý, các hệ thống AI sẽ trắng trợn bịa đặt nguồn, trích dẫn chúng bằng tiếng Hy Lạp hoặc Latinh cho các chủ đề mà việc xác minh rất khó khăn.
Quan sát về Độ chính xác theo Lĩnh vực cụ thể
- Độ chính xác cao: Các truy vấn thông tin phổ biến, dịch thuật ngôn ngữ, tạo mã cho các hệ thống có tài liệu đầy đủ
- Độ chính xác trung bình: Diễn giải tài liệu kỹ thuật, tổng hợp kiến thức chung
- Độ chính xác thấp: Các sự kiện lịch sử chuyên biệt, hệ thống độc quyền, chi tiết kỹ thuật ít phổ biến, tiền lệ pháp lý
Định Hướng Trong Thực Tế Mới
Bất chấp những thách thức này, nhiều người trong cộng đồng kỹ thuật đã phát triển các chiến lược để sử dụng AI một cách có trách nhiệm. Cách tiếp cận phổ biến nhất liên quan đến việc coi đầu ra của AI như những điểm khởi đầu để điều tra thay vì câu trả lời cuối cùng. Điều này có nghĩa là luôn xác minh thông tin quan trọng thông qua các nguồn độc lập và đặc biệt hoài nghi về các trích dẫn không thể dễ dàng kiểm tra.
Một số tổ chức đã triển khai các chính sách rõ ràng về việc sử dụng AI, nhấn mạnh rằng nhân viên vẫn phải chịu trách nhiệm về bất kỳ công việc nào họ tạo ra, bất kể AI có hỗ trợ trong việc tạo ra nó hay không. Như một bình luận viên đã gợi ý, các hướng dẫn đơn giản như Bạn có thể sử dụng AI, nhưng cuối cùng bạn chịu trách nhiệm về những gì bạn giao có thể giúp thiết lập kỳ vọng phù hợp mà không quá hạn chế.
Sự tiến hóa của vấn đề này phản chiếu những thách thức về hiểu biết internet trước đây. Giống như các nhà giáo dục từng cảnh báo học sinh không nên mù quáng trích dẫn Wikipedia, giờ đây chúng ta đang học được rằng các hệ thống AI đòi hỏi sự tương tác phản biện tương tự. Bài học cơ bản vẫn không thay đổi: hiểu thông tin đến từ đâu quan trọng không kém chính bản thân thông tin.
Khi các hệ thống AI tiếp tục phát triển, sự đồng thuận của cộng đồng cho thấy giải pháp không phải là từ chối hoàn toàn các công cụ này, mà là phát triển những cách tinh vi hơn để đánh giá đầu ra của chúng. Điều này có thể bao gồm các hệ thống xác minh tốt hơn, cải thiện tính minh bạch về cách câu trả lời được tạo ra và tiếp tục giáo dục về những hạn chế của công nghệ AI hiện tại. Mục tiêu không phải là loại bỏ AI khỏi quy trình làm việc của chúng ta, mà là tích hợp nó theo những cách thừa nhận cả khả năng và những hạn chế rất thực tế của nó.
Tham khảo: But Claude Said...