Các công cụ review code được hỗ trợ bởi AI đang gặp khó khăn với một vấn đề cơ bản khiến các lập trình viên trên toàn thế giới cảm thấy bực bội. Trong khi các công ty như Cubic đã đạt được tiến bộ trong việc giảm 51% các kết quả dương tính giả, cộng đồng rộng lớn vẫn hoài nghi về việc liệu những công cụ này có thực sự mang lại giá trị hay chỉ tạo thêm nhiễu cho quy trình phát triển.
Cải tiến Đánh giá Mã AI của Cubic:
- Giảm 51% kết quả dương tính giả
- Giảm 50% số lượng bình luận trung bình trên mỗi pull request
- Kiến trúc phát triển qua 3 phiên bản sửa đổi lớn
- Các micro-agent chuyên biệt cho các khía cạnh đánh giá khác nhau (Bảo mật, Trùng lặp, Biên tập)
Vấn Đề Cốt Lõi: Quá Nhiều Nhiễu, Không Đủ Tín Hiệu
Vấn đề chính đang làm khổ các công cụ review code AI không chỉ mang tính kỹ thuật—mà còn về niềm tin. Các lập trình viên báo cáo rằng 90% các bình luận được tạo bởi AI là sai hoặc không liên quan, bỏ lỡ bối cảnh quan trọng mà các reviewer con người tự nhiên hiểu được. Điều này tạo ra tình huống mà phản hồi thực sự hữu ích bị chôn vùi dưới núi các gợi ý vô nghĩa.
Vấn đề sâu xa hơn các chỉ số độ chính xác đơn thuần. Các mô hình AI thiếu thứ mà các lập trình viên gọi là kiến thức bộ lạc—những quy tắc không thành văn, lịch sử dự án và bối cảnh kinh doanh để đưa ra những đánh giá code tốt. Khi một AI gắn cờ code bị comment là có vấn đề, nó thực sự có thể đang phát hiện một lỗi hợp lệ, nhưng các lập trình viên đã học cách bỏ qua những cảnh báo này vì quá nhiều cảnh báo khác tỏ ra vô giá trị.
Thống kê đánh giá code AI do cộng đồng báo cáo:
- 90% bình luận AI được báo cáo là sai hoặc không liên quan
- 5-10% gợi ý AI thực sự phát hiện được các vấn đề thực tế
- Các vấn đề chính: Thiếu ngữ cảnh, kiến thức nội bộ và quy tắc chất lượng code
Trò Chơi Tự Tin: Khi AI Giả Vờ Biết
Một xu hướng đặc biệt đáng lo ngại là các công cụ AI cung cấp điểm số độ tin cậy cho các gợi ý của chúng. Các thành viên cộng đồng chỉ ra rằng những giá trị độ tin cậy bằng số này về cơ bản là vô nghĩa—AI không có cơ sở thực sự để xác định mức độ chắc chắn về các khuyến nghị của mình. Độ chính xác giả này có thể đánh lừa các lập trình viên tin tưởng vào những gợi ý có thể hoàn toàn sai lệch.
Phương pháp lý luận có cấu trúc, nơi AI giải thích quy trình ra quyết định của mình, đại diện cho một nỗ lực nhằm giải quyết vấn đề minh bạch này. Tuy nhiên, các nhà phê bình cho rằng việc buộc AI phải biện minh cho kết luận của mình không thực sự cải thiện lý luận cơ bản—nó chỉ tạo ra ảo tưởng về tư duy logic.
Một Cách Tiếp Cận Khác: Khuyến Nghị Thay Vì Phán Xét
Một số lập trình viên gợi ý rằng các công cụ review code AI hoạt động tốt hơn khi chúng tập trung vào khuyến nghị thay vì phán xét dứt khoát. Thay vì gắn cờ các lỗi tiềm ẩn, những công cụ này có thể cung cấp khả năng tìm kiếm ngữ nghĩa, hiển thị các vấn đề hoặc pull request liên quan trong quá khứ có thể cung cấp bối cảnh hữu ích cho các reviewer con người.
Review code không phải là trường hợp sử dụng tốt cho LLM. LLM tỏa sáng trong các trường hợp sử dụng khi đầu ra của chúng không được đánh giá dựa trên độ chính xác - ví dụ, khuyến nghị, tìm kiếm ngữ nghĩa, đoạn mã mẫu.
Cách tiếp cận này thừa nhận những hạn chế của AI trong khi tận dụng điểm mạnh của nó trong nhận dạng mẫu và truy xuất thông tin.
Chu Kỳ Phát Triển Thử-Và-Sai
Xây dựng các agent AI hiệu quả đòi hỏi một cách tiếp cận hoàn toàn khác so với phát triển phần mềm truyền thống. Thay vì lập trình xác định, các lập trình viên thấy mình trong các chu kỳ thử nghiệm, kiểm tra các điều chỉnh và đo lường kết quả. Quy trình này giống phương pháp khoa học hơn là kỹ thuật thông thường, dẫn đến câu hỏi về độ tin cậy và khả năng dự đoán của các công cụ được hỗ trợ bởi AI.
Cách tiếp cận micro-agent chuyên biệt—chia nhỏ các tác vụ thành các thành phần AI tập trung, đơn mục đích—cho thấy triển vọng nhưng đi kèm với sự phức tạp gia tăng và chi phí sử dụng token. Trong khi chiến lược này có thể cải thiện độ chính xác, nó cũng làm nổi bật cách các hệ thống AI hiện tại gặp khó khăn với bản chất đa diện của việc review code.
Các Phương Pháp Kỹ Thuật Chính:
- Nhật Ký Lý Luận Rõ Ràng: AI phải biện minh các quyết định trước khi đưa ra phản hồi
- Bộ Công Cụ Đơn Giản Hóa: Giảm từ nhiều công cụ ( LSP , phân tích tĩnh, trình chạy test) xuống chỉ còn các thành phần thiết yếu
- Kiến Trúc Micro-Agent: Các agent chuyên biệt cho phạm vi hẹp thay vì sử dụng một prompt lớn duy nhất
Nhìn Về Phía Trước: Quản Lý Kỳ Vọng
Tình trạng hiện tại của các công cụ review code AI phản ánh những thách thức rộng lớn hơn trong việc áp dụng các mô hình ngôn ngữ lớn cho các tác vụ đòi hỏi độ chính xác cao. Trong khi các cải tiến như lý luận rõ ràng và các agent chuyên biệt có thể giảm kết quả dương tính giả, những hạn chế cơ bản vẫn còn. Các lập trình viên cần những công cụ tăng cường thay vì làm phức tạp quy trình làm việc của họ, và vẫn chưa rõ liệu các cách tiếp cận AI hiện tại có thể mang lại giá trị đó một cách nhất quán hay không.
Con đường phía trước có thể bao gồm tích hợp tốt hơn với các công cụ phát triển hiện có, nhận thức bối cảnh tinh vi hơn, và có lẽ quan trọng nhất, giao tiếp rõ ràng hơn về những gì các công cụ này có thể và không thể hoàn thành một cách đáng tin cậy.
Tham khảo: Learnings from building AI agents