Ngành trí tuệ nhân tạo đang đối mặt với một thách thức cơ bản có thể định hình lại toàn bộ lĩnh vực này. Sau nhiều năm tăng trưởng bùng nổ nhờ vào các bộ dữ liệu khổng lồ, các công ty AI đang cạn kiệt dữ liệu huấn luyện chất lượng cao. Tình trạng thiếu hụt này đe dọa phương pháp truyền thống là đơn giản mở rộng quy mô các mô hình với nhiều sức mạnh tính toán và bộ dữ liệu lớn hơn.
Kết Thúc Thời Kỳ Mở Rộng Dễ Dàng
Vấn đề xuất phát từ việc hiểu sai bài luận nổi tiếng Bitter Lesson của Rich Sutton . Trong khi nhiều người diễn giải nó như một lời kêu gọi ưu tiên sức mạnh tính toán trên tất cả, thì nút thắt cổ chai thực sự lại là tính khả dụng của dữ liệu. Các quy luật mở rộng hiện tại cho thấy việc tăng gấp đôi năng lực GPU đòi hỏi khoảng 1,4 lần dữ liệu huấn luyện nhiều hơn để duy trì hiệu quả. Tuy nhiên, các công ty về cơ bản đã cạn kiệt nội dung văn bản của internet cho mục đích huấn luyện.
Điều này tạo ra một ràng buộc toán học mà không có số tiền nào có thể giải quyết. Mối quan hệ giữa ngân sách tính toán, tham số mô hình và dữ liệu huấn luyện tuân theo các tỷ lệ cụ thể. Khi một yếu tố đạt đến giới hạn, toàn bộ phương pháp mở rộng sẽ sụp đổ. Các công ty không thể đơn giản đổ thêm phần cứng vào vấn đề mà không có sự gia tăng tương ứng trong chất liệu huấn luyện chất lượng.
Mối quan hệ Định luật Mở rộng: Ngân sách tính toán C ~ 6N × D, trong đó N = tham số mô hình và D = token dữ liệu huấn luyện. Tăng gấp đôi khả năng tính toán đòi hỏi nhiều hơn ~1.41x dữ liệu để duy trì hiệu quả.
Hai Con Đường Phía Trước Cho Phát Triển AI
Ngành công nghiệp đối mặt với một lựa chọn quan trọng giữa hai phương pháp khác biệt. Con đường đầu tiên tập trung vào cải tiến kiến trúc - phát triển các thiết kế mô hình hiệu quả hơn có thể đạt được hiệu suất tốt hơn với dữ liệu hiện có. Điều này bao gồm các đổi mới như State Space Models và các khung lý luận mới có thể mang lại những cải tiến hiệu suất ổn định 20-30%.
Phương pháp thứ hai liên quan đến việc tạo ra dữ liệu huấn luyện tổng hợp thông qua những gì các nhà nghiên cứu gọi là phương pháp giả kim thuật. Điều này bao gồm các kỹ thuật như học tăng cường từ phản hồi con người, các kịch bản tự chơi, và các hệ thống AI tạo ra các ví dụ huấn luyện của riêng chúng. Mặc dù có tiềm năng mang tính cách mạng, con đường này mang theo rủi ro cao hơn và kết quả không chắc chắn.
Nếu bạn có thể tìm ra cách tạo ra phần thưởng có thể xác minh về một thế giới mục tiêu, về cơ bản bạn có thể tạo ra lượng dữ liệu không giới hạn và có khả năng vượt qua nút thắt cổ chai hiện tại.
Các Con Đường Cải Thiện Hiệu Suất: Cải tiến kiến trúc mang lại mức tăng ổn định 20-30%, trong khi các phương pháp dữ liệu tổng hợp có độ biến động cao hơn với tiềm năng cải thiện 300%.
Tương Tác Thế Giới Thực Như Mảnh Ghép Còn Thiếu
Nhiều nhà nghiên cứu tin rằng giải pháp nằm ở việc kết nối các hệ thống AI trực tiếp hơn với thế giới vật lý. Các mô hình ngôn ngữ hiện tại được huấn luyện chủ yếu trên văn bản - về cơ bản là những cái bóng trên tường của kiến thức con người thay vì trải nghiệm trực tiếp. Con người học thông qua tương tác đa phương thức với môi trường của họ, xử lý thông tin thị giác, thính giác và xúc giác đồng thời.
Sự phong phú của dữ liệu từ tương tác thế giới thực vượt xa những gì được ghi lại trong văn bản viết. Một khoảnh khắc trải nghiệm của con người chứa đựng thông tin nhiều hơn rất nhiều so với những gì có thể được truyền đạt chỉ thông qua ngôn ngữ. Điều này cho thấy rằng các hệ thống AI cần truy cập vào các luồng dữ liệu cảm biến, phản hồi robot học, và môi trường tương tác để tiếp tục phát triển.
Khoảng Cách Thời Gian Phát Triển: Các mô hình AI robotics được ước tính chậm hơn khoảng 5 năm so với các mô hình ngôn ngữ về mặt khả năng và tính sẵn có của dữ liệu.
Tác Động Ngành Công Nghiệp và Triển Vọng Tương Lai
Tình trạng thiếu hụt dữ liệu này có những tác động sâu sắc đối với các công ty AI và nhà đầu tư. Sách lược truyền thống là đảm bảo nhiều tài nguyên tính toán hơn và mong đợi những cải tiến tỷ lệ thuận không còn hiệu quả nữa. Các công ty giờ đây phải phát triển các chiến lược dữ liệu tinh vi cùng với kế hoạch tính toán của họ.
Thách thức đặc biệt nghiêm trọng đối với các ứng dụng robot học, vốn chậm hơn khoảng năm năm so với các mô hình ngôn ngữ trong phát triển. Dữ liệu thế giới vật lý vừa đắt đỏ hơn để thu thập vừa phức tạp hơn để xử lý so với thông tin dựa trên văn bản. Tuy nhiên, nó có thể đại diện cho con đường hứa hẹn nhất hướng tới trí tuệ nhân tạo thực sự tổng quát.
Ngành công nghiệp đang đứng tại ngã tư đường nơi kỹ thuật thông minh và các phương pháp mới lạ quan trọng hơn sức mạnh tính toán thô. Thành công có khả năng sẽ đến từ các công ty có thể cải thiện đáng kể hiệu quả dữ liệu hoặc tìm ra những cách thức sáng tạo để tạo ra chất liệu huấn luyện tổng hợp chất lượng cao. Kỷ nguyên của việc mở rộng đơn giản có thể đang kết thúc, nhưng thời đại phát triển AI tinh vi mới chỉ bắt đầu.
Tham khảo: The Bitter Lesson Is Misunderstood