Một công cụ phân tích bảo mật mới có tên TheAuditor đã gây ra những cuộc thảo luận sôi nổi trong cộng đồng lập trình viên, không phải vì khả năng của nó, mà vì cách nó được tạo ra và những rủi ro tiềm ẩn mà nó có thể gây ra. Công cụ này, được thiết kế để kiểm tra code được tạo bởi AI, bản thân nó được xây dựng hoàn toàn bằng sự hỗ trợ của AI bởi một người thẳng thắn thừa nhận rằng họ không biết lập trình.
Thống kê phát triển:
- Tổng thời gian phát triển: 252 giờ trong vòng 1 tháng
- Được xây dựng hoàn toàn bằng trợ lý AI Claude
- Người tạo thừa nhận không có khả năng lập trình
- Chỉ có hơn 3 tháng kinh nghiệm phát triển
- 500+ giờ kinh nghiệm phát triển có sự hỗ trợ của AI
Nghịch lý của việc AI xây dựng công cụ bảo mật AI
TheAuditor đại diện cho một cách tiếp cận khác thường trong phát triển phần mềm. Người tạo ra nó đã dành hơn 250 giờ sử dụng Claude , một trợ lý AI, để xây dựng một công cụ nhằm kiểm tra code được viết bởi các trợ lý AI. Điều này tạo ra cái mà người tạo ra mô tả như rùa chồng rùa - một vòng lặp vô tận của code được tạo bởi AI kiểm tra code được tạo bởi AI.
Công cụ này hứa hẹn sẽ phát hiện các lỗ hổng bảo mật, theo dõi luồng dữ liệu và xác định các vấn đề tái cấu trúc trong toàn bộ codebase. Nó đặc biệt nhắm vào 10 rủi ro bảo mật hàng đầu của OWASP và tuyên bố cung cấp sự thật cơ bản mà cả lập trình viên và trợ lý AI đều có thể tin tưởng. Tuy nhiên, sự giám sát của cộng đồng đã phát hiện ra những lỗ hổng đáng kể trong các mẫu phát hiện bảo mật của nó.
Các tính năng chính của TheAuditor:
- Phát hiện lỗ hổng bảo mật ( OWASP Top 10 )
- Theo dõi luồng dữ liệu từ nguồn đến đích
- Phân tích kiến trúc với biểu đồ phụ thuộc
- Phát hiện vấn đề tái cấu trúc
- Tích hợp với ESLint , Ruff , MyPy
- Tạo báo cáo được tối ưu hóa bằng AI
- Hỗ trợ hệ sinh thái Python và Node.js
Mối quan ngại của cộng đồng về kịch bản bảo mật
Các chuyên gia kỹ thuật kiểm tra code của công cụ đã tìm thấy những ví dụ đáng lo ngại về các kiểm tra bảo mật được đơn giản hóa quá mức. Một mẫu đặc biệt có vấn đề cố gắng phát hiện các điều kiện chạy đua time-of-check-time-of-use (TOCTOU) bằng cách sử dụng khớp văn bản cơ bản. Mẫu này sẽ gắn cờ sai các mẫu code phổ biến, an toàn như các lỗ hổng bảo mật trong khi bỏ sót các vấn đề bảo mật thực sự.
Điều này hoàn toàn không đủ để thực sự phát hiện TOCTOU , và thậm chí tệ hơn, sẽ gắn cờ rất nhiều thứ như các kết quả dương tính giả... cung cấp một cảm giác an toàn hoàn toàn sai lầm
Khám phá này làm nổi bật mối quan ngại rộng hơn về các công cụ hứa hẹn phân tích bảo mật toàn diện nhưng lại đưa ra kết quả không đáng tin cậy. Các kết quả dương tính giả có thể làm choáng ngợp các lập trình viên với những cảnh báo vô nghĩa, trong khi các lỗ hổng bị bỏ sót để lại hệ thống tiếp xúc với các mối đe dọa thực sự.
Các Vấn Đề Kỹ Thuật Được Xác Định:
- Phát hiện lỗ hổng race condition TOCTOU có sai sót khi sử dụng các mẫu regex
- Tỷ lệ báo sai tích cực cao trong các kiểm tra bảo mật
- Khớp mẫu quá đơn giản hóa đối với các lỗ hổng bảo mật phức tạp
- Các vấn đề hiệu suất tiềm ẩn do xung đột với phần mềm diệt virus
- Yêu cầu cài đặt phức tạp với môi trường sandbox
Câu hỏi rộng hơn về phát triển hỗ trợ bởi AI
Cuộc tranh cãi xung quanh TheAuditor phản ánh những căng thẳng ngày càng tăng trong cộng đồng phát triển phần mềm về chất lượng code được tạo bởi AI. Trong khi các trợ lý AI đã trở thành những công cụ mạnh mẽ để viết code nhanh chóng, chúng thường tạo ra các giải pháp hoạt động nhưng có thể không tuân theo các thực hành tốt nhất về bảo mật hoặc duy trì tính nhất quán trên các codebase lớn.
Người tạo ra thừa nhận những hạn chế này và đã mời gọi sự đóng góp của cộng đồng để cải thiện độ chính xác của công cụ. Tuy nhiên, các nhà phê bình lập luận rằng các công cụ bảo mật đòi hỏi chuyên môn sâu và thử nghiệm nghiêm ngặt trước khi được phát hành cho các lập trình viên có thể dựa vào đầu ra của chúng cho các hệ thống sản xuất.
Bài học cho cộng đồng phát triển
Tình huống này đóng vai trò như một câu chuyện cảnh báo về tình trạng hiện tại của phát triển hỗ trợ bởi AI. Trong khi các công cụ AI có thể tăng tốc các tác vụ lập trình, chúng không thể thay thế chuyên môn của con người trong các lĩnh vực quan trọng như phân tích bảo mật. Sự cố này cũng chứng minh tầm quan trọng của việc đánh giá đồng đẳng và giám sát cộng đồng trong các dự án mã nguồn mở, đặc biệt là những dự án liên quan đến bảo mật.
Cuộc tranh luận xung quanh TheAuditor cuối cùng đặt ra những câu hỏi quan trọng về trách nhiệm và chuyên môn trong một thời đại mà AI có thể tạo ra các công cụ trông có vẻ tinh vi nhưng có thể không thực hiện được những gì chúng hứa hẹn. Khi AI trở nên phổ biến hơn trong phát triển phần mềm, cộng đồng phải phát triển các tiêu chuẩn tốt hơn để đánh giá và xác thực các giải pháp được tạo bởi AI.
Tham khảo: TheAuditor