Cộng đồng nghiên cứu AI đang sôi sục tranh luận sau khi Rich Sutton , người đoạt giải Turing Award và là tiếng nói có ảnh hưởng trong lĩnh vực trí tuệ nhân tạo, công khai tuyên bố rằng các mô hình ngôn ngữ lớn (LLM) không phải là con đường khả thi để đạt được trí tuệ tổng quát thực sự. Sự thay đổi lập trường đáng ngạc nhiên của ông đã tạo ra những gợn sóng trong thế giới công nghệ, đặc biệt là do việc ông từng ủng hộ các phương pháp mở rộng quy mô mà nhiều người tin rằng hỗ trợ cho việc phát triển LLM.
Tác giả của The Bitter Lesson thay đổi hướng đi
Lời chỉ trích của Sutton tập trung vào một hạn chế cơ bản mà ông thấy trong công nghệ LLM hiện tại. Ông cho rằng các hệ thống này hoạt động chủ yếu bằng cách bắt chước hành vi con người và dự đoán các token văn bản, thay vì phát triển sự hiểu biết thực sự về thế giới. Theo Sutton , LLM thiếu khả năng xây dựng các mô hình thế giới mạnh mẽ - những biểu diễn nội tại về cách thế giới vật lý thực sự hoạt động, vượt ra ngoài việc chỉ dự đoán những gì con người có thể nói về nó.
Điều này thể hiện một sự khởi hành đáng kể so với bài luận nổi tiếng năm 2019 của ông The Bitter Lesson , trong đó nhấn mạnh rằng tiến bộ AI liên tục đến từ việc mở rộng quy mô tính toán thay vì thiết kế giải pháp thủ công. Nhiều người ủng hộ LLM đã trích dẫn tác phẩm này như một sự xác nhận cho phương pháp xây dựng các mô hình ngôn ngữ ngày càng lớn hơn của họ.
Các lập luận cốt lõi chống lại LLM thuần túy:
- Thiếu các mô hình thế giới thực sự ngoài việc dự đoán văn bản
- Không thể bị "bất ngờ" bởi các sự kiện trong thế giới thực
- Chỉ giới hạn ở việc bắt chước hành vi con người thay vì hiểu biết thực sự
- Hiệu suất kém trong các tác vụ lý luận và lập kế hoạch
- Gặp thách thức với các tình huống mới nằm ngoài dữ liệu huấn luyện
Phản ứng cộng đồng chia rẽ về ý nghĩa
Phản ứng của cộng đồng công nghệ cho thấy sự chia rẽ sâu sắc về ý nghĩa của điều này đối với việc phát triển AI. Một số nhà quan sát nhấn mạnh rằng cuộc tranh luận đặc biệt liên quan đến con đường dẫn tới trí tuệ nhân tạo tổng quát (AGI), chứ không phải giá trị thực tiễn của các ứng dụng LLM hiện tại. Những hệ thống này tiếp tục thể hiện khả năng đáng chú ý trong lập trình, viết lách và các nhiệm vụ giải quyết vấn đề có lợi ích rõ ràng cho doanh nghiệp và xã hội.
Tuy nhiên, những người khác chỉ ra rằng các hệ thống AI hiện đại hiếm khi sử dụng LLM thuần túy nữa. Các triển khai ngày nay thường kết hợp các mô hình ngôn ngữ với các công cụ bổ sung, lời gọi hàm và hệ thống lý luận mở rộng xa hơn việc dự đoán văn bản đơn giản. Phương pháp lai này có thể giải quyết một số mối quan ngại của Sutton trong khi vẫn tận dụng những điểm mạnh cốt lõi của mô hình hóa ngôn ngữ.
Sự chuyển dịch rộng lớn hơn trong các nhà lãnh đạo AI
Sutton tham gia cùng các nhà nghiên cứu AI nổi bật khác đã bày tỏ sự hoài nghi về LLM như con đường duy nhất dẫn tới AGI. Yann LeCun đã chuyển hướng khám phá các kiến trúc mô hình thế giới, trong khi Demis Hassabis của DeepMind cũng đã thừa nhận những hạn chế trong các phương pháp hiện tại. Sự đồng thuận ngày càng tăng này trong các nhà nghiên cứu hàng đầu cho thấy lĩnh vực này có thể đang bước vào một giai đoạn khám phá mới vượt ra ngoài các chiến lược mở rộng quy mô thuần túy.
Cuộc tranh luận làm nổi bật một sự phân biệt quan trọng giữa việc tạo ra các công cụ AI hữu ích và đạt được trí tuệ tổng quát thực sự. Trong khi LLM xuất sắc trong nhiều nhiệm vụ, các nhà phê bình cho rằng chúng về cơ bản thiếu khả năng học tập dựa trên bất ngờ và hành vi hướng mục tiêu đặc trưng cho sự hiểu biết thực sự.
Điều duy nhất bạn có thể tin tưởng là dữ liệu và nó chứng minh chúng ta vẫn chưa đạt đỉnh khi nói đến LLM.
Các Nhân Vật Chủ Chốt Phê Phán Phương Pháp Tiếp Cận LLM Thuần Túy:
- Rich Sutton - Người đoạt giải Turing Award, tác giả của "The Bitter Lesson" (2019)
- Yann LeCun - Chuyển hướng tập trung sang kiến trúc mô hình thế giới vào cuối năm 2022
- Demis Hassabis - Người đoạt giải Nobel và CEO của Google DeepMind
- Gary Marcus - Nhà phê bình LLM lâu năm từ năm 2019
Nhìn về phía trước
Khi cộng đồng AI vật lộn với những câu hỏi cơ bản này, trọng tâm đang chuyển hướng về các phương pháp lai kết hợp LLM với các công nghệ khác. Dù thông qua học tăng cường, các phương pháp thần kinh-ký hiệu, hay các kiến trúc hoàn toàn mới, các nhà nghiên cứu đang khám phá những cách để giải quyết các hạn chế mà Sutton và những người khác đã xác định trong khi xây dựng dựa trên những thành công không thể phủ nhận của các mô hình ngôn ngữ hiện tại.
Cuộc tranh luận cuối cùng phản ánh sự trưởng thành của lĩnh vực này khi các nhà nghiên cứu vượt qua sự phấn khích ban đầu về khả năng của LLM để giải quyết những thách thức sâu sắc hơn trong việc tạo ra các hệ thống thực sự thông minh.
Tham khảo: Game over for pure LLMs. Even Turing Award Winner Rich Sutton has gotten off the bus.