Cộng đồng công nghệ đang sôi sục tranh luận sau cuộc điều tra có hệ thống gần đây của OpenAI về lý do tại sao các mô hình ngôn ngữ lớn tạo ra thông tin sai lệch, thường được gọi là ảo giác. Nghiên cứu này xuất hiện khi các hệ thống AI ngày càng được sử dụng rộng rãi trong cuộc sống hàng ngày, khiến độ tin cậy của chúng trở thành mối quan tâm quan trọng đối với người dùng và các nhà phát triển.
Vấn đề cốt lõi: Mục tiêu huấn luyện và tiêu chuẩn đánh giá
Nghiên cứu của OpenAI xác định ảo giác về cơ bản xuất phát từ các mục tiêu huấn luyện và phương pháp đánh giá có sai sót, thay vì là một đặc điểm không thể sửa chữa của các hệ thống AI. Nghiên cứu cho rằng các phương pháp huấn luyện hiện tại không dạy đầy đủ cho các mô hình khi nào nên nói tôi không biết so với khi nào nên đưa ra câu trả lời tự tin.
Tuy nhiên, cộng đồng vẫn chia rẽ về việc liệu ảo giác có phải là thuật ngữ đúng hay không. Một số người cho rằng những đầu ra này thể hiện hoạt động bình thường của các mô hình thống kê thay vì là những trục trặc thực sự. Các mô hình hoạt động chính xác như được thiết kế - chúng tạo ra phản hồi có khả năng thống kê cao nhất dựa trên dữ liệu huấn luyện của chúng, bất kể độ chính xác về mặt sự thật.
Những Phát Hiện Nghiên Cứu Chính:
- Hiện tượng ảo giác xuất phát từ các mục tiêu huấn luyện và tiêu chuẩn đánh giá, không phải từ những khiếm khuyết vốn có của mô hình
- Các mô hình nhỏ hơn đôi khi có thể xử lý sự không chắc chắn tốt hơn các mô hình lớn hơn
- "Hiệu chuẩn" (khớp độ tin cậy với độ chính xác) đòi hỏi ít tính toán hơn so với việc đạt được độ chính xác
- Các giải pháp hiện tại tập trung vào cải thiện phương pháp huấn luyện thay vì thay đổi kiến trúc
Trí nhớ con người so với hệ thống lưu trữ kiến thức AI
Một cuộc thảo luận song song hấp dẫn đã xuất hiện so sánh trí nhớ con người với các hệ thống kiến thức AI. Không giống như các mô hình ngôn ngữ, con người thường có thể phân biệt giữa những gì họ biết và những gì họ đang đoán vì họ nhớ quá trình học thông tin. Trí nhớ tình huống này - nhớ lại những trải nghiệm học tập cụ thể - dường như giúp con người tránh tự tin khẳng định thông tin sai lệch.
Sự so sánh này tiết lộ một sự khác biệt chính: kiến thức của con người có cảm giác như lớp trầm tích, với các sự thật khác nhau có mức độ chắc chắn khác nhau dựa trên cách chúng được học. Ngược lại, các mô hình AI coi tất cả dữ liệu huấn luyện như những mẫu thống kê có giá trị ngang nhau mà không có bất kỳ cảm nhận nào về độ tin cậy của nguồn hoặc bối cảnh học tập.
So sánh Bộ nhớ Con người và AI:
- Bộ nhớ Con người: Có tính episodic (ghi nhớ trải nghiệm học tập), các mức độ tin cậy phân cấp, nhận biết được nguồn gốc
- Kiến thức AI: Các mẫu thống kê, không có ngữ cảnh học tập, đối xử bình đẳng với tất cả dữ liệu huấn luyện
- Nguyên nhân Ảo giác: Con người có thể "cảm nhận" được khoảng trống kiến thức; AI không thể phân biệt giữa thông tin đã biết và chưa biết
Giải pháp kỹ thuật và hạn chế
Nghiên cứu chỉ ra rằng các mô hình nhỏ hơn thực sự có thể xử lý sự không chắc chắn tốt hơn các mô hình lớn hơn trong một số trường hợp. Một mô hình biết rất ít về một chủ đề có thể đơn giản nói tôi không biết, trong khi một mô hình có kiến thức một phần phải đối mặt với nhiệm vụ khó khăn hơn là xác định mức độ tự tin của mình.
Có thể dễ dàng hơn cho một mô hình nhỏ để biết giới hạn của mình. Ví dụ, khi được yêu cầu trả lời một câu hỏi tiếng Māori, một mô hình nhỏ không biết tiếng Māori có thể đơn giản nói 'tôi không biết' trong khi một mô hình biết một ít tiếng Māori phải xác định độ tự tin của mình.
Phát hiện này thách thức giả định rằng các mô hình lớn hơn tự động có nghĩa là ít ảo giác hơn. Mối quan hệ giữa kích thước mô hình và độ tin cậy dường như phức tạp hơn so với suy nghĩ trước đây.
Tác động thực tế và hướng phát triển tương lai
Những tác động thực tế vượt ra ngoài sự quan tâm học thuật. Người dùng thường xuyên gặp phải các tình huống mà AI tự tin cung cấp thông tin kỹ thuật không chính xác, chi tiết pháp lý, hoặc các tuyên bố sự thật. Nghiên cứu cho rằng các phương pháp huấn luyện tốt hơn tập trung vào hiệu chuẩn - dạy các mô hình khớp độ tự tin của chúng với độ chính xác thực tế - có thể giảm đáng kể những vấn đề này.
Cuộc tranh luận cũng đề cập đến việc liệu các kiến trúc AI hiện tại có thể hoàn toàn giải quyết các vấn đề ảo giác hay không, hoặc liệu các phương pháp tiếp cận khác biệt về cơ bản liên quan đến trải nghiệm thế giới thực và học tập liên tục có thể cần thiết. Một số nhà nghiên cứu cho rằng cho đến khi các hệ thống AI có thể hình thành những ký ức tình huống thực sự thông qua trải nghiệm sống, ảo giác sẽ vẫn là một hạn chế vốn có thay vì một lỗi có thể giải quyết được.
Khi các hệ thống AI ngày càng được tích hợp vào các ứng dụng quan trọng, việc hiểu và giảm thiểu ảo giác trở nên ngày càng quan trọng đối với cả an toàn người dùng và độ tin cậy của hệ thống.
Tham khảo: Knowledge and memory