Một cuộc thảo luận gần đây tại San Francisco đã gây ra cuộc tranh luận sôi nổi trong cộng đồng công nghệ về lý do tại sao việc triển khai AI agent lại thất bại với tỷ lệ đáng báo động như vậy. Sự kiện có sự tham gia của các kỹ sư từ những công ty AI lớn đã tiết lộ rằng 95% các triển khai AI agent thất bại trong môi trường sản xuất - nhưng không phải vì những lý do mà hầu hết mọi người mong đợi.
Thống kê thất bại của AI Agent:
- 95% các triển khai AI agent thất bại trong môi trường sản xuất
- Thất bại được quy cho các vấn đề về scaffolding, không phải trí thông minh của mô hình
- Các lĩnh vực thất bại chính: kỹ thuật ngữ cảnh, bảo mật, quản lý bộ nhớ
Vấn Đề Thực Sự Không Phải Là Trí Tuệ Nhân Tạo
Cuộc thảo luận đã tiết lộ một sự thật đáng ngạc nhiên đang tạo tiếng vang trong toàn bộ cộng đồng nhà phát triển. Sự thất bại của AI agent trong sản xuất không phải vì các mô hình cơ bản thiếu trí thông minh. Thay vào đó, thủ phạm nằm trong cơ sở hạ tầng kỹ thuật phức tạp bao quanh các mô hình này - cái mà các chuyên gia gọi là scaffolding.
Scaffolding này bao gồm kỹ thuật ngữ cảnh, giao thức bảo mật, quản lý bộ nhớ và hệ thống định tuyến đa mô hình. Những thành phần này làm việc cùng nhau để làm cho AI agent đáng tin cậy và đáng tin trong các ứng dụng thế giới thực. Khi bất kỳ phần nào của hệ thống này thất bại, toàn bộ triển khai AI trở nên không đáng tin cậy.
Những Thách Thức Kỹ Thuật Chính:
- Lựa chọn và xác thực ngữ cảnh
- Điều phối và định tuyến đa mô hình
- Triển khai lớp ngữ nghĩa
- Thiết kế và quản lý bộ nhớ
- Yêu cầu độ tin cậy xác định
Text-to-SQL: Hello World Lừa Dối Của AI
Một lĩnh vực tạo ra cuộc thảo luận đáng kể trong cộng đồng là các ứng dụng text-to-SQL. Những hệ thống này có vẻ đơn giản trên bề mặt - chúng dịch các câu hỏi ngôn ngữ tự nhiên thành các truy vấn cơ sở dữ liệu. Tuy nhiên, các nhà phát triển đang khám phá ra rằng sự đơn giản rõ ràng này che giấu sự phức tạp to lớn.
Thách thức xuất phát từ bản chất mơ hồ của ngôn ngữ con người khi áp dụng vào các hoạt động cơ sở dữ liệu chính xác. Khi người dùng hỏi về doanh thu hoặc người dùng đang hoạt động, AI phải hiểu không chỉ các từ, mà còn ngữ cảnh kinh doanh cụ thể và cấu trúc cơ sở dữ liệu. Điều này đòi hỏi công việc kỹ thuật rộng lớn để ánh xạ các khái niệm ngôn ngữ tự nhiên với các lược đồ cơ sở dữ liệu chính xác và định nghĩa kinh doanh.
Ngôn ngữ tự nhiên là mơ hồ. Ngữ nghĩa cơ sở dữ liệu, ngữ nghĩa miền và câu hỏi của người dùng cũng như định nghĩa của công ty về 'doanh thu' hoặc 'người dùng đang hoạt động' không được ánh xạ mà không có kỹ thuật rõ ràng.
Nghịch Lý Hệ Thống Chuyên Gia
Các thành viên cộng đồng đã xác định một mô hình đáng lo ngại trong các phương pháp phát triển AI hiện tại. Để làm cho AI agent đủ đáng tin cậy cho việc sử dụng sản xuất, các nhà phát triển đang xây dựng các hệ thống dựa trên quy tắc tinh vi, trình phân tích cú pháp nghiêm ngặt và trình xác thực đầu ra. Những thành phần này xử lý logic kinh doanh và bảo vệ chống lại các lỗi AI.
Tuy nhiên, phương pháp này tạo ra một tình huống mỉa mai. Nếu các nhà phát triển phải tự xây dựng tất cả logic kinh doanh để làm cho AI đáng tin cậy, họ về cơ bản đã tái tạo các hệ thống chuyên gia của nhiều thập kỷ trước. Một số người cho rằng điều này làm cho thành phần AI trở nên không cần thiết - nếu bạn đã xây dựng 100% logic kinh doanh, tại sao không bỏ qua lớp trung gian AI không thể dự đoán được hoàn toàn?
Giao Diện Chat: Không Phải Lúc Nào Cũng Là Câu Trả Lời
Cuộc thảo luận cũng thách thức giả định rằng giao diện chat là lý tưởng cho các ứng dụng AI. Sự đồng thuận cho thấy rằng giao diện dựa trên cuộc trò chuyện hoạt động tốt nhất khi chúng loại bỏ đường cong học tập cho người dùng, nhưng nhiều quy trình làm việc phức tạp không ánh xạ tốt với các tương tác chatbot đơn giản.
Cộng đồng đang hướng tới các phương pháp lai kết hợp chat cho đầu vào ban đầu với các điều khiển GUI truyền thống để tinh chỉnh và lặp lại. Điều này mang lại cho người dùng sự tiện lợi của đầu vào ngôn ngữ tự nhiên trong khi duy trì độ chính xác và kiểm soát cần thiết cho các nhiệm vụ phức tạp.
Thực hành tốt nhất cho giao diện chat:
- Sử dụng chat cho các truy vấn mở, tổng quát
- Triển khai các mẫu kết hợp (chat + điều khiển GUI)
- Tránh sử dụng chat cho quy trình phức tạp đòi hỏi người dùng kiểm soát
- Tập trung vào việc loại bỏ đường cong học tập thay vì thay thế tất cả giao diện
Nhìn Về Phía Trước: Chiến Trường Tiếp Theo
Khi ngành công nghiệp AI trưởng thành, làn sóng tiếp theo của các công ty thành công sẽ không phải là những công ty có các mô hình ngôn ngữ tiên tiến nhất. Thay vào đó, họ sẽ là những người thành thạo chất lượng ngữ cảnh, thiết kế bộ nhớ và độ tin cậy xác định. Trọng tâm đang chuyển từ khả năng AI thô sang sự xuất sắc kỹ thuật trong các hệ thống hỗ trợ và hạn chế hành vi AI.
Điều này đại diện cho một sự thay đổi cơ bản trong cách ngành công nghiệp suy nghĩ về phát triển AI. Thành công sẽ đến không từ các prompt tốt hơn hoặc các mô hình mạnh mẽ hơn, mà từ việc giải quyết các thách thức kỹ thuật không hào nhoáng làm cho các hệ thống AI đáng tin cậy và tin cậy trong môi trường sản xuất.
Tham khảo: What Makes 5% of AI Agents Actually Work in Production