Cộng đồng AI đang tham gia vào một cuộc tranh luận sôi nổi về việc liệu ném nhiều sức mạnh tính toán hơn vào các vấn đề có phải luôn là cách tiếp cận tốt nhất hay không. Cuộc thảo luận này xoay quanh bài học cay đắng nổi tiếng của Rich Sutton - ý tưởng rằng các phương pháp tổng quát sử dụng nhiều tính toán cuối cùng sẽ thắng các giải pháp được thiết kế bởi con người. Trong khi nguyên tắc này dường như giải thích được những đột phá gần đây của AI, các phát triển mới đang khiến các nhà nghiên cứu đặt câu hỏi về tính ứng dụng phổ quát của nó.
 |
|---|
| Hình ảnh này nhấn mạnh khái niệm nền tảng về "bài học cay đắng" trong AI, tạo tiền đề cho cuộc thảo luận trong bài viết |
Cách tiếp cận ưu tiên tính toán gặp phải những rào cản thực tế
Bài học cay đắng hoạt động tốt trong các môi trường được kiểm soát như cờ vua và cờ vây, nơi các quy tắc rõ ràng và chiến thắng dễ dàng được đo lường. Tuy nhiên, các ứng dụng thực tế đưa ra những thách thức phức tạp hơn. Các tổ chức gặp khó khăn với các quy trình không xác định, chất lượng dữ liệu kém và các mục tiêu khó đo lường đơn giản. Không giống như một ván cờ vua với các quy tắc rõ ràng, động lực nơi làm việc bao gồm các thủ tục không thành văn và các tương tác phức tạp của con người khó nắm bắt trong dữ liệu.
Cộng đồng đã lưu ý rằng nhiều công ty thậm chí không thể xác định rõ ràng mục tiêu của họ, chứ đừng nói đến việc cung cấp dữ liệu chất lượng cao cần thiết để các cách tiếp cận tốn nhiều tính toán hoạt động hiệu quả. Điều này tạo ra một vấn đề cơ bản: không có dữ liệu tốt và mục tiêu rõ ràng, việc thêm nhiều sức mạnh tính toán hơn không giúp ích gì.
Các mô hình hiệu quả thách thức câu chuyện mở rộng quy mô
Các phát triển gần đây trong AI cho thấy rằng thông minh hơn, chứ không phải lớn hơn, có thể tốt hơn. Trong cờ vua, Stockfish vẫn bất bại mặc dù sử dụng cách tiếp cận lai kết hợp lập trình truyền thống với các mạng nơ-ron nhỏ, thay vì học sâu thuần túy. Nó có thể chạy trên iPhone trong khi vượt trội hơn các lựa chọn thay thế tốn nhiều tính toán.
Tương tự, một mô hình mới gọi là Hierarchical Reasoning Model (HRM) đạt được kết quả ấn tượng trên các tiêu chuẩn lý luận AI chỉ sử dụng 27 triệu tham số - một phần nhỏ so với các mô hình hàng tỷ tham số. Trong khi OpenAI được báo cáo đã chi 30.000 đô la Mỹ cho mỗi nhiệm vụ để đạt điểm cao, HRM hoàn thành kết quả tương tự với ít tài nguyên tính toán hơn nhiều.
Một mô hình như HRM có thể chạy trên điện thoại của bạn, giống như Stockfish. Đây không phải là các chương trình đa năng, và chúng không xuất sắc với tính toán dồi dào.
So sánh các mô hình:
- HRM (Hierarchical Reasoning Model): 27 triệu tham số, chuyên biệt cho các tác vụ cụ thể
- LLMs tiêu chuẩn: Hàng tỷ tham số, mục đích tổng quát
- OpenAI o3: 30.000 USD cho mỗi tác vụ để đạt điểm cao trên benchmark
- Stockfish: Phương pháp lai, chạy trên iPhone, vẫn bất bại trong cờ vua
Quan điểm suốt sự nghiệp so với nhu cầu tức thì
Cuộc thảo luận tiết lộ một sự phân biệt quan trọng về khung thời gian. Một số thành viên cộng đồng cho rằng bài học cay đắng áp dụng cho các chiến lược nghiên cứu suốt sự nghiệp, giả định cải tiến phần cứng liên tục trong nhiều thập kỷ. Từ quan điểm này, đặt cược vào các cách tiếp cận tính toán tổng quát có ý nghĩa cho các hướng nghiên cứu dài hạn.
Tuy nhiên, đối với các ứng dụng thực tế tức thì, các giải pháp chuyên biệt thường cung cấp kết quả tốt hơn. Các công ty xây dựng công cụ AI ngày nay cần các giải pháp hoạt động trong các ràng buộc hiện tại, không phải khả năng lý thuyết trong tương lai. Sự căng thẳng giữa các chiến lược khám phá so với khai thác trở nên quan trọng khi quyết định giữa đầu tư vào các cách tiếp cận có thể mở rộng tổng quát hoặc các giải pháp hiệu quả có mục tiêu.
Chi phí Sản xuất:
- Nhà máy sản xuất wafer hiện đại: 1-3 tỷ USD (hiện tại)
- Nhà máy sản xuất wafer tương lai: Lên đến 20 tỷ USD (dự kiến)
- Bối cảnh lịch sử: Khoảng năm 2000, những chi phí như vậy sẽ không thể tài trợ được
Các ràng buộc tài chính và kỹ thuật định hình thực tế
Cộng đồng đã đặt ra câu hỏi về việc ai được lợi từ việc thúc đẩy các cách tiếp cận tốn nhiều tính toán. Có nhận thức ngày càng tăng rằng sự nhấn mạnh gần đây vào việc mở rộng quy mô có thể bị ảnh hưởng bởi những người bán tài nguyên tính toán hoặc những người có quyền truy cập vào ngân sách tính toán khổng lồ.
Chi phí sản xuất cho các chip tiên tiến tiếp tục tăng, với các cơ sở chế tạo hiện đại có giá từ 1 đến 20 tỷ đô la Mỹ. Điều này tạo ra những giới hạn thực tế về lượng tính toán có thể thực tế áp dụng cho các vấn đề, đặc biệt đối với các tổ chức và nhà nghiên cứu nhỏ hơn.
Cuộc tranh luận phản ánh một câu hỏi rộng hơn về các ưu tiên phát triển AI. Trong khi các cách tiếp cận tính toán tổng quát có thể cuối cùng sẽ thống trị, nhu cầu tức thì về các giải pháp thực tế, hiệu quả hoạt động trong các ràng buộc thực tế vẫn cấp bách. Bài học cay đắng có thể đúng về lâu dài, nhưng nó không nhất thiết hướng dẫn các quyết định tốt nhất cho các ứng dụng AI ngày nay.
Tham khảo: Does the Bitter Lesson Have Limits?