Dự án đầy tham vọng của một nhà phát triển nhằm tự động hóa tài liệu phần mềm bằng AI đã gây ra cuộc tranh luận về mức độ sẵn sàng của các hệ thống như vậy cho môi trường sản xuất. Hệ thống sử dụng tìm kiếm vector và các lời nhắc AI để tự động tạo ra tài liệu yêu cầu, đặc tả kỹ thuật và kế hoạch kiểm thử từ các user story, nhưng phản hồi từ cộng đồng làm nổi bật những khoảng trống quan trọng trong đánh giá chất lượng.
Các Thành Phần Kiến Trúc Hệ Thống:
- Điều phối luồng đám mây Power Automate
- Tích hợp Azure DevOps cho các trình kích hoạt user story
- Google Gemini AI để tạo nội dung
- Azure AI Search cho việc truy xuất mã dựa trên vector
- Các cuộc gọi REST API trực tiếp để tích hợp nền tảng
Thiếu xác thực chất lượng nổi lên như mối quan tâm chính
Vấn đề cấp bách nhất được cộng đồng công nghệ nêu ra tập trung vào việc thiếu đánh giá chất lượng nghiêm ngặt. Các nhà phê bình chỉ ra rằng trong khi hệ thống có vẻ hoạt động tốt, nhưng không có đủ dữ liệu về tần suất hệ thống tạo ra các đặc tả không chính xác hoặc không đầy đủ. Nhà phát triển thừa nhận hạn chế này, cho biết hệ thống đạt được khoảng 80% tính nhất quán dựa trên các thử nghiệm sơ bộ, với kế hoạch để kiến trúc sư xem xét trước khi giao cho nhà phát triển.
Điều này đặt ra những câu hỏi rộng hơn về việc xác thực AI trong phát triển phần mềm. Nhiều tổ chức đang triển khai các công cụ AI dựa trên các chỉ số thành công bề ngoài mà không kiểm tra kỹ lưỡng về độ chính xác hoặc tính đầy đủ. Rủi ro trở nên đặc biệt nghiêm trọng khi các đặc tả được tạo bởi AI trông có vẻ thuyết phục nhưng chứa những lỗi tinh vi có thể dẫn sai hướng toàn bộ nỗ lực phát triển.
Các Chỉ Số Chất Lượng Được Báo Cáo:
- 80% tính nhất quán đầu ra qua nhiều lần chạy
- 20% biến động bao gồm các đề xuất thay đổi bổ sung
- Yêu cầu đánh giá của kiến trúc sư trước khi giao việc cho nhà phát triển
- Chưa được thử nghiệm cho khối lượng sản xuất quy mô lớn
Hạn chế của embedding và các phương pháp thay thế
Các cuộc thảo luận kỹ thuật tiết lộ mối lo ngại về việc phụ thuộc nhiều vào vector embedding cho ngữ cảnh mã nguồn. Các thành viên cộng đồng tham chiếu đến các phương pháp thay thế mới nổi cho các cách tiếp cận Retrieval Augmented Generation ( RAG ) truyền thống, cho rằng các giải pháp dựa trên embedding có thể có những hạn chế vốn có đối với các codebase phức tạp. Nhà phát triển bày tỏ sự cởi mở trong việc khám phá những phương pháp thay thế này, cho thấy lĩnh vực này vẫn đang phát triển nhanh chóng.
Kiểm tra tính nhất quán tiết lộ các vấn đề về biến động
Khi được hỏi về tính nhất quán của đầu ra, nhà phát triển tiết lộ rằng việc chạy cùng một user story nhiều lần tạo ra các kết quả khác nhau, chỉ với 80% tính nhất quán giữa các lần chạy. 20% biến động còn lại bao gồm các đề xuất cho những thay đổi bổ sung, có thể là những hiểu biết có giá trị hoặc những sự không nhất quán có vấn đề tùy thuộc vào ngữ cảnh.
Thật tuyệt vời khi chúng ta đã đi được xa đến vậy với LLM và mọi người đều tin rằng những người khác thực sự đã xác thực các tuyên bố của họ rằng LLM của họ đang tạo ra đầu ra hợp lệ.
Kết quả được tạo ra:
- Tài liệu yêu cầu với các thông số kỹ thuật
- Kế hoạch kiểm thử và chiến lược thử nghiệm
- Các nhiệm vụ phát triển có cấu trúc cho Azure DevOps
- Sơ đồ kiến trúc Mermaid
- Tích hợp tài liệu Wiki
Mức độ sẵn sàng cho sản xuất vẫn còn đáng ngờ
Mặc dù có thành tựu kỹ thuật, hệ thống vẫn ở giai đoạn thử nghiệm. Nhà phát triển thừa nhận nó chưa sẵn sàng cho sản xuất và yêu cầu giám sát của con người ở nhiều giai đoạn. Điều này làm nổi bật một mô hình phổ biến trong công cụ AI nơi các cuộc trình diễn ấn tượng không ngay lập tức chuyển thành các hệ thống sản xuất đáng tin cậy.
Dự án này thể hiện cả tiềm năng và những hạn chế hiện tại của AI trong quy trình phát triển phần mềm. Trong khi việc tự động hóa các tác vụ tài liệu tẻ nhạt là hấp dẫn, công nghệ vẫn yêu cầu sự giám sát và xác thực đáng kể của con người để đảm bảo chất lượng và độ chính xác trong môi trường chuyên nghiệp.
Tham khảo: Grounding AI in Reality: How Vector Search on Our Codebase Transformed Our SDLC Automation