Một nghiên cứu mới tiết lộ một mô hình đáng lo ngại trong hiệu suất AI: tác vụ càng dài, các AI agents càng có khả năng thất bại hoàn toàn cao hơn. Khám phá này đã gây ra cuộc thảo luận sôi nổi trong cộng đồng các nhà phát triển, những người nhận ra mô hình này từ những trải nghiệm bực bội của chính họ với các trợ lý lập trình AI.
Nghiên cứu cho thấy các AI agents tuân theo cái mà các nhà khoa học gọi là tỷ lệ rủi ro không đổi - có nghĩa là chúng có khả năng thất bại ổn định ở mỗi bước của một tác vụ. Điều này tạo ra sự suy giảm theo cấp số nhân trong tỷ lệ thành công khi các tác vụ trở nên dài hơn, tương tự như cách các vật liệu phóng xạ phân rã theo thời gian. Mỗi AI agent có thể được đặc trưng bởi chu kỳ bán rã riêng của nó - độ dài tác vụ mà tại đó nó chỉ thành công 50% thời gian.
 |
|---|
| Slide thuyết trình này tóm tắt nghiên cứu về tỷ lệ thành công giảm dần của các tác nhân AI , đặc biệt liên quan đến độ dài nhiệm vụ |
Vấn Đề Nhiễm Độc Ngữ Cảnh
Các nhà phát triển trong cộng đồng đã xác định được một lý do chính đằng sau những thất bại này: nhiễm độc ngữ cảnh. Khi các AI agents làm việc trên các tác vụ dài hơn, lịch sử hội thoại của chúng chứa đầy những nỗ lực thất bại, gợi ý sai và những ngõ cụt. Ngữ cảnh bị hỏng này khiến AI ngày càng có khả năng đưa ra những quyết định tồi tệ.
Chúng tự nhiễm độc ngữ cảnh của mình. Có thể bạn có thể gọi đó là sự thối rữa ngữ cảnh, khi ngữ cảnh phát triển và đặc biệt nếu nó phát triển với nhiều yếu tố gây xao nhãng và ngõ cụt, chất lượng đầu ra giảm nhanh chóng.
Nhiều nhà phát triển báo cáo rằng các AI agents bắt đầu đưa ra những lựa chọn kỳ lạ khi bị kẹt. Thay vì sửa một lỗi build đơn giản, một AI có thể quyết định chuyển sang một thư viện phần mềm hoàn toàn khác. Khi điều đó thất bại, nó có thể chuyển trở lại thư viện ban đầu, tạo ra một vòng lặp vô tận của sự nhầm lẫn.
 |
|---|
| Sơ đồ này phân tích hiệu suất AI qua các nhiệm vụ đa dạng, phản ánh vấn đề nhiễu độc ngữ cảnh mà các tác nhân AI gặp phải trong các nhiệm vụ dài hạn |
Hiệu Ứng Suy Giảm Theo Cấp Số Nhân
Mô hình toán học đằng sau hiện tượng này đơn giản một cách đáng ngạc nhiên. Nếu một AI có tỷ lệ thành công 50% trên các tác vụ một giờ, nó giảm xuống chỉ còn 25% cho các tác vụ hai giờ và 12.5% cho các tác vụ bốn giờ. Đối với các tác vụ yêu cầu độ tin cậy 99%, thời gian thực hiện co lại chỉ còn 1/70 so với chuẩn tỷ lệ thành công 50%.
Điều này giải thích tại sao các trợ lý lập trình AI hoạt động tốt với các vấn đề nhỏ, riêng lẻ nhưng gặp khó khăn với các dự án phức tạp, nhiều bước. Mỗi bước bổ sung trong một tác vụ nhân lên khả năng thất bại, tạo ra một vách đá dốc trong hiệu suất thay vì một sự suy giảm dần dần.
Mô hình Suy giảm Tỷ lệ Thành công:
- Tỷ lệ thành công cơ bản 50%
- Tỷ lệ thành công 25% khi độ dài tác vụ tăng gấp đôi
- Tỷ lệ thành công 12,5% khi độ dài tác vụ tăng gấp bốn lần
- Độ tin cậy 99% yêu cầu độ dài tác vụ bằng 1/70 so với tỷ lệ thành công 50%
Các Giải Pháp Thay Thế Của Nhà Phát Triển
Cộng đồng đã phát triển một số chiến lược để chống lại hạn chế này. Một số nhà phát triển thường xuyên bắt đầu các cuộc hội thoại mới, chỉ sao chép ngữ cảnh thiết yếu từ các phiên trước đó. Những người khác sử dụng các công cụ chuyên biệt có thể xóa hoặc nén lịch sử hội thoại để loại bỏ nội dung độc hại.
Cách tiếp cận thành công nhất dường như là coi các tương tác AI như các phiên lập trình cặp - duy trì sự tham gia tích cực và can thiệp khi AI bắt đầu đi theo những con đường không hiệu quả. Các nhà phát triển báo cáo rằng để AI hoạt động hơn vài phút mà không có hướng dẫn hiếm khi tạo ra kết quả tốt.
Ví dụ về Hiệu suất của Claude 3.5 Sonnet:
- Tỷ lệ thành công 50%: các tác vụ 59 phút
- Tỷ lệ thành công 80%: các tác vụ 15 phút
- Độ dài tác vụ cho tỷ lệ thành công 80% = 1/4 độ dài tác vụ có tỷ lệ thành công 50%
 |
|---|
| Biểu đồ này so sánh tỷ lệ thành công của các tác nhân AI khác nhau trên các độ dài tác vụ khác nhau, giúp nâng cao hiểu biết về các chiến lược của nhà phát triển để cải thiện đầu ra AI |
Ý Nghĩa Đối Với Phát Triển AI
Nghiên cứu này cho thấy rằng các AI agents hiện tại thiếu các cơ chế phục hồi lỗi hiệu quả. Không giống như con người, những người có thể lùi lại và đánh giá lại khi bị kẹt, các AI agents có xu hướng làm trầm trọng thêm những sai lầm của chúng. Chúng gặp khó khăn trong việc nhận ra khi chúng đang ở trạng thái thất bại và cần thay đổi cách tiếp cận.
Những phát hiện này cũng làm nổi bật một thách thức cơ bản trong phát triển AI: khoảng cách giữa hiệu suất ấn tượng trên các tác vụ ngắn và việc hoàn thành đáng tin cậy các dự án thực tế. Trong khi khả năng AI tiếp tục cải thiện nhanh chóng, với tỷ lệ thành công tăng gấp đôi mỗi bảy tháng theo nghiên cứu, bản chất cấp số nhân của sự suy giảm này có nghĩa là việc đạt được độ tin cậy cao trên các tác vụ dài vẫn là một rào cản đáng kể.
Hiểu được mối quan hệ toán học này giúp giải thích tại sao các AI agents có thể vừa có vẻ cực kỳ có khả năng vừa không đáng tin cậy một cách bực bội cùng một lúc. Đó không chỉ là về việc làm cho AI thông minh hơn - mà là về việc thay đổi cơ bản cách chúng xử lý thất bại và duy trì sự tập trung trong các khoảng thời gian dài.
Tham khảo: Is there a Half-Life for the Success Rates of AI Agents?