ChatGPT của OpenAI đã thể hiện cả những hạn chế lẫn khả năng trong các bài kiểm tra gần đây, tiết lộ những khoảng trống đáng kể trong khả năng suy luận không gian trong khi cho thấy các tính năng cá nhân hóa được cải thiện. Những trải nghiệm tương phản này làm nổi bật tình trạng hiện tại của các mô hình ngôn ngữ lớn và ứng dụng thực tế của chúng.
Thảm họa cờ vua lớn
Sự tự tin của ChatGPT đã trở thành nguyên nhân dẫn đến thất bại khi nó tự nguyện chơi cờ vua với chương trình Video Chess của Atari 2600 năm 1977. AI đã táo bạo tuyên bố rằng nó sẽ dễ dàng đánh bại engine cờ vua nguyên thủy này, chỉ hoạt động trên bộ xử lý 1.19 MHz và chỉ suy nghĩ trước 1-2 nước đi. Thay vào đó, ChatGPT đã phải chịu một thất bại nhục nhã kéo dài 90 phút với những sửa chữa và hướng dẫn liên tục từ kỹ sư Robert Caruso .
Hiệu suất của AI thật thảm hại. Nó nhầm lẫn xe với tượng, bỏ lỡ những đòn tấn công cơ bản của tốt, và liên tục mất dấu vị trí các quân cờ trên bàn cờ. Ngay cả khi được cung cấp ký hiệu cờ vua tiêu chuẩn thay vì dựa vào các biểu tượng trừu tượng của Atari , ChatGPT vẫn tiếp tục mắc những sai lầm cơ bản có thể làm xấu hổ một thành viên câu lạc bộ cờ vua lớp ba. AI cần sự can thiệp liên tục để ngăn chặn những nước đi bất hợp pháp và duy trì khả năng nhận thức kém về bàn cờ trong suốt trận đấu.
Các vấn đề về hiệu suất chơi cờ vua của ChatGPT:
- Nhầm lẫn xe với tượng
- Bỏ lỡ các nước ăn tốt cơ bản
- Liên tục mất dấu vị trí các quân cờ
- Cần sự can thiệp liên tục của con người trong suốt 90 phút
- Thực hiện các nước đi bất hợp lệ
- Không duy trì được tính nhất quán của trạng thái bàn cờ
Vấn đề về ngữ cảnh và trí nhớ
Thất bại trong cờ vua làm sáng tỏ một điểm yếu cơ bản trong công nghệ LLM hiện tại. Khả năng không thể duy trì trạng thái bàn cờ nhất quán từ lượt này sang lượt khác của ChatGPT đặt ra những câu hỏi nghiêm trọng về khả năng giữ lại ngữ cảnh quan trọng trong các cuộc hội thoại. Hạn chế này mở rộng ra ngoài trò chơi vào các ứng dụng thực tế nơi việc duy trì thông tin chính xác qua các tương tác kéo dài là cần thiết.
Mặc dù thỉnh thoảng có những khoảnh khắc hướng dẫn chiến lược vững chắc khi có cái nhìn chính xác về bàn cờ, ChatGPT thường xuyên đề xuất di chuyển những quân cờ đã bị bắt hoặc đưa ra những khuyến nghị vô lý. Khả năng suy luận không gian của AI có vẻ bị hạn chế nghiêm trọng, gặp khó khăn với yêu cầu cơ bản là theo dõi vị trí các đối tượng trong không gian hạn chế.
Thông số kỹ thuật Atari 2600 Video Chess:
- Phát hành: 1977
- Bộ xử lý: CPU 1.19 MHz
- Bộ nhớ: 4KB (gấp đôi so với tiêu chuẩn 2KB cho các game VCS)
- Chiến lược: Tính toán nước đi tốt nhất bằng phương pháp brute force
- Độ sâu suy nghĩ: 1-2 nước đi
- Không có kế hoạch chiến lược tổng thể
Câu chuyện thành công của cá nhân hóa
Trái ngược hoàn toàn với hiệu suất cờ vua, ChatGPT thể hiện khả năng ấn tượng khi tận dụng thông tin cá nhân hóa. Việc kiểm tra gần đây các tính năng tùy chỉnh của nền tảng tiết lộ AI có thể kết hợp thông tin cá nhân một cách hiệu quả như thế nào để nâng cao trải nghiệm người dùng. Người dùng giờ đây có thể chia sẻ thông tin tiểu sử, sở thích và chi tiết ngữ cảnh mà ChatGPT ghi nhớ và tham chiếu trong các cuộc hội thoại tương lai.
Hệ thống cá nhân hóa cho phép người dùng thiết lập hướng dẫn tùy chỉnh, lưu trữ ký ức và kích hoạt tham chiếu lịch sử trò chuyện. Khi được cấu hình đúng cách, ChatGPT có thể làm người dùng ngạc nhiên bằng cách kết hợp sáng tạo các chi tiết cá nhân mà không cần nhắc nhở rõ ràng. Trong một ví dụ, AI đã tự động bao gồm chú mèo tên Mr. Giggles của người dùng trong một câu chuyện khoa học viễn tưởng về tachyon, thể hiện nhận thức ngữ cảnh và ứng dụng sáng tạo thông tin được lưu trữ.
Tính năng cá nhân hóa của ChatGPT:
- Hướng dẫn tùy chỉnh theo sở thích người dùng
- Hệ thống lưu trữ ký ức
- Tham chiếu lịch sử trò chuyện
- Tự động tích hợp thông tin cá nhân
- Đề xuất nhà hàng và địa điểm
- Tạo danh sách phát nhạc với liên kết trực tiếp
- Tích hợp câu chuyện sáng tạo sử dụng thông tin cá nhân
 |
|---|
| Logo cách điệu đại diện cho sự đổi mới và kết nối, phản ánh các tính năng cá nhân hóa ấn tượng của ChatGPT |
Ứng dụng thực tế và hạn chế
Các tính năng cá nhân hóa cho thấy tiện ích thực sự trong các tương tác hàng ngày. ChatGPT có thể đề xuất nhà hàng dựa trên món ăn và địa điểm yêu thích, tạo danh sách phát có các nghệ sĩ ưa thích, và thậm chí kết hợp các chương trình TV được yêu thích vào các giải thích giáo dục. Những khả năng này cho thấy công nghệ xuất sắc trong việc khớp mẫu và tổng hợp sáng tạo khi làm việc với thông tin khai báo có cấu trúc tốt.
Tuy nhiên, người dùng nên thận trọng khi chia sẻ thông tin cá nhân. Trong khi OpenAI tuyên bố ẩn danh hóa dữ liệu và hạn chế quyền truy cập của nhân viên, cách tiếp cận thận trọng bao gồm việc chỉ chia sẻ thông tin mà người ta cảm thấy thoải mái khi tiết lộ cho người khác. Sự cân bằng giữa lợi ích cá nhân hóa và mối quan tâm về quyền riêng tư vẫn là một cân nhắc quan trọng đối với người dùng.
Những tác động rộng lớn hơn
Những trải nghiệm tương phản này tiết lộ ranh giới hiện tại của công nghệ LLM . ChatGPT xuất sắc trong xử lý ngôn ngữ, tổng hợp sáng tạo và làm việc với thông tin được nêu rõ ràng, nhưng gặp khó khăn với suy luận không gian, theo dõi trạng thái và giải quyết vấn đề thời gian thực đòi hỏi các mô hình tinh thần nhất quán.
Thảm họa cờ vua đóng vai trò như một lời nhắc nhở khiêm tốn rằng mặc dù có khả năng ngôn ngữ ấn tượng, các hệ thống AI hiện tại có những điểm mù đáng kể. Trong khi những người ủng hộ AI có thể bác bỏ cờ vua là nằm ngoài phạm vi dự định của LLM , các vấn đề cơ bản về giữ lại ngữ cảnh và tính nhất quán logic ảnh hưởng đến nhiều ứng dụng thực tế. Điểm mạnh và điểm yếu của công nghệ cho thấy người dùng nên tận dụng ChatGPT cho các khả năng đã được chứng minh trong khi vẫn nhận thức được những hạn chế cơ bản của nó.