Một nghiên cứu gần đây đã thách thức niềm tin phổ biến rằng các công cụ lập trình AI giúp tăng năng suất của lập trình viên. Trong khi các gã khổng lồ công nghệ như Microsoft tuyên bố rằng các trợ lý AI của họ đang biến đổi việc phát triển phần mềm, nghiên cứu cho thấy thực tế có thể khá khác biệt đối với các lập trình viên có kinh nghiệm.
Tổ chức nghiên cứu AI phi lợi nhuận METR đã tiến hành một nghiên cứu toàn diện với 16 lập trình viên mã nguồn mở dày dạn kinh nghiệm, mỗi người có trung bình hơn 10 năm kinh nghiệm. Đây không phải là những người mới bắt đầu học lập trình - họ là các chuyên gia đang làm việc trên việc sửa lỗi và tính năng thực tế trong các kho mã quen thuộc.
Người tham gia nghiên cứu: 16 nhà phát triển mã nguồn mở có kinh nghiệm với trung bình hơn 10 năm kinh nghiệm
 |
|---|
| Một nhà phát triển dày dạn kinh nghiệm đang vật lộn với sự phức tạp của các công cụ lập trình AI, phản ánh những thách thức được tiết lộ trong nghiên cứu gần đây |
Nghịch lý năng suất
Kết quả thật đáng ngạc nhiên. Các lập trình viên sử dụng công cụ AI như Cursor Pro và Claude 3.5/3.7 Sonnet mất nhiều thời gian hơn 19% để hoàn thành nhiệm vụ so với những người làm việc mà không có sự hỗ trợ của AI. Điều khiến phát hiện này thậm chí còn thú vị hơn là bản thân các lập trình viên đã kỳ vọng AI sẽ giúp họ tăng tốc 24% trước khi bắt đầu, và vẫn tin rằng nó đã giúp họ làm việc nhanh hơn 20% ngay cả sau khi hoàn thành nghiên cứu.
Sự ngắt kết nối giữa nhận thức và thực tế này làm nổi bật một vấn đề chính trong cách chúng ta đánh giá hiệu quả của công cụ AI. Cộng đồng đã lưu ý rằng trong khi AI có thể nhanh chóng tạo ra lượng lớn mã, chi phí ẩn thường vượt quá lợi ích tốc độ ban đầu.
Kỳ vọng của Developer so với Thực tế: Kỳ vọng nhanh hơn 24%, cảm nhận cải thiện 20%, thực tế chậm đi 19%
Chi phí thời gian ẩn
Nghiên cứu tiết lộ một số yếu tố góp phần vào sự chậm trễ. Đầu tiên, các lập trình viên đã dành thời gian đáng kể để tạo ra các lời nhắc hiệu quả cho các công cụ AI. Viết lời nhắc lập trình tốt đòi hỏi kỹ năng và thực hành - không đơn giản như yêu cầu AI viết một hàm.
Thứ hai, và có lẽ quan trọng hơn, các lập trình viên thấy mình dành thời gian rất nhiều để xem xét mã do AI tạo ra và sửa lỗi. Một người tham gia, một lập trình viên Google Chrome , đã đặc biệt ngạc nhiên về việc các mô hình AI xử lý việc triển khai đặc tả web kém như thế nào.
Kinh nghiệm của tôi là [AI] có thể tạo ra 80% trong vài phút, nhưng phải mất rất nhiều thời gian để loại bỏ mã trùng lặp, thiết kế hệ thống tồi tệ hoặc không tồn tại, và sửa lỗi.
Công cụ AI được kiểm tra: Cursor Pro và Claude 3.5/3.7 Sonnet
Sự đánh đổi giữa chất lượng và tốc độ
Cuộc thảo luận của cộng đồng tiết lộ một mô hình mở rộng ra ngoài nghiên cứu đơn lẻ này. Nghiên cứu và đánh giá DevOps năm 2024 của Google đã tìm thấy các vấn đề tương tự - trong khi các công cụ AI tăng tốc độ xem xét mã, chất lượng thường quá kém để sử dụng trong sản xuất. Các nhóm báo cáo nhiều lỗi hơn và dành thêm thời gian để dọn dẹp các lỗi do AI tạo ra.
Điều này tạo ra cái mà một số lập trình viên gọi là vòng lặp zombie - các chu kỳ vô tận nơi AI tạo ra mã có lỗi, lập trình viên sửa nó, chỉ để AI quay lại những lỗi tương tự hoặc tạo ra các vấn đề mới.
Ý nghĩa rộng lớn hơn
Các phát hiện không giới hạn ở lập trình. Các vấn đề chất lượng tương tự xuất hiện trong nhiều lĩnh vực khác nhau nơi các công cụ AI đang được áp dụng. Vấn đề cốt lõi dường như là AI xuất sắc trong việc tạo ra công việc có vẻ đúng trên bề mặt nhưng thường chứa các lỗi tinh tế hoặc thiếu sót thiết kế đòi hỏi kiến thức chuyên môn để xác định và sửa chữa.
Đối với các chuyên gia có kinh nghiệm, điều này có nghĩa là các công cụ AI hoạt động tốt nhất như các trợ thủ thay vì thay thế. Chúng hiệu quả nhất khi bạn đã biết những gì mình muốn thực hiện và có thể nhanh chóng phát hiện khi AI đi sai hướng. Tuy nhiên, đối với những người dùng ít kinh nghiệm hơn phụ thuộc nhiều vào đầu ra AI, các công cụ có thể tạo ra sự phụ thuộc nguy hiểm nơi mọi người có thể tạo mã nhưng gặp khó khăn trong việc hiểu, gỡ lỗi hoặc bảo trì nó.
Nghiên cứu cho thấy rằng trong khi các công cụ lập trình AI có tiềm năng, những hạn chế hiện tại của chúng có nghĩa là chúng thực sự có thể cản trở năng suất cho các nhiệm vụ phát triển phức tạp, thực tế. Khi công nghệ tiếp tục phát triển, điều quan trọng sẽ là tìm ra sự cân bằng đúng đắn giữa sự hỗ trợ của AI và chuyên môn của con người.
Tham khảo: Wait a minute — developers who use genAI tools are slower?