Bot tài liệu được hỗ trợ bởi AI của Shopify đang gây ra những rắc rối cho các developer bằng cách cung cấp các giải pháp code không chính xác trông có vẻ thuyết phục nhưng thực tế không hoạt động. Vấn đề này làm nổi bật một vấn đề ngày càng gia tăng với các trợ lý AI trong tài liệu kỹ thuật - chúng có thể tự tin đưa ra những câu trả lời sai lầm gây lãng phí đáng kể thời gian và tài nguyên.
Một developer gần đây đã phát hiện ra vấn đề này khi cố gắng phát hiện các đơn hàng Shopify Collective trong thông báo email. Bot đã cung cấp code template Liquid trông sạch sẽ, chuyên nghiệp và có vẻ hoàn hảo. Tuy nhiên, sau nhiều đơn hàng thử nghiệm và các khoản phí thẻ tín dụng, developer đã phát hiện ra giải pháp này hoàn toàn thất bại vì bot hiểu sai về thời điểm dữ liệu nhất định trở nên khả dụng trong hệ thống của Shopify.
Giải pháp AI sai vs Giải pháp hoạt động
Code sai của AI Bot:
{% if order.tags contains 'Shopify Collective' %}
<!-- Đơn hàng chứa ít nhất một sản phẩm được thực hiện thông qua Shopify Collective -->
<p>Một số sản phẩm trong đơn hàng của bạn đang được thực hiện bởi đối tác thương gia thông qua Shopify Collective.
{% endif %}
Giải pháp hoạt động:
{% assign has_collective_item = false %}
{% for line_item in line_items %}
{% if line_item.product.tags contains 'Shopify Collective' %}
{% assign has_collective_item = true %}
{% endif %}
{% endfor %}
Điểm khác biệt chính: AI đã đề xuất kiểm tra thẻ đơn hàng, nhưng thẻ Shopify Collective được thêm vào từng mục riêng lẻ, không phải bản thân đơn hàng, và có thể không khả dụng khi email xác nhận được tạo.
Chi Phí Của Ảo Giác AI Trong Tài Liệu Chính Thức
Vấn đề thực sự không chỉ là nhận được những câu trả lời sai - mà là những sai lầm này đến từ trợ lý tài liệu chính thức của Shopify. Khi các developer thấy lời khuyên từ trợ lý được công ty ủy quyền, họ tự nhiên tin tưởng nó hơn so với một công cụ AI tổng quát. Sự tin tưởng này khiến những thất bại trở nên tốn kém và bực bội hơn.
Cộng đồng đã nhận thấy hành vi không nhất quán từ bot. Những người dùng khác nhau hỏi cùng một câu hỏi kỹ thuật lại nhận được những câu trả lời hoàn toàn khác nhau, khiến nó trở nên không đáng tin cậy cho công việc phát triển nghiêm túc. Một số developer báo cáo rằng bot thậm chí không thể tìm thấy các hàm API cơ bản mà rõ ràng tồn tại trong tài liệu.
RAG (Retrieval-Augmented Generation): Một kỹ thuật mà các hệ thống AI tìm kiếm qua các tài liệu trước khi tạo ra câu trả lời, nhằm giảm ảo giác bằng cách dựa trên các phản hồi trong tài liệu thực tế.
Khi AI Đoán Thay Thế Kiến Thức Thực Sự
Vấn đề cốt lõi là các bot tài liệu AI thường lấp đầy những khoảng trống kiến thức bằng cách đưa ra những phỏng đoán có căn cứ thay vì thừa nhận sự không chắc chắn. Điều này tạo ra một tình huống nguy hiểm khi các developer nhận được lời khuyên kỹ thuật nghe có vẻ tự tin nhưng không chính xác. Vấn đề trở nên tồi tệ hơn khi AI thiếu hiểu biết sâu sắc về cách các hệ thống phức tạp như Shopify thực sự hoạt động đằng sau hậu trường.
Khái niệm 'grounding' là tùy ý. Không quan trọng nếu bạn sử dụng embeddings, hay sử dụng một công cụ sử dụng tìm kiếm thông thường của bạn và lấy các mục hàng đầu... Nó vẫn dựa vào model để không ảo giác với thông tin này, điều này rất khó vì quá nhiều thông tin -> model bị nhầm lẫn, nhưng quá ít thông tin -> model giả định thông tin có thể không có ở đó nên vô dụng.
Các developer có kinh nghiệm chỉ ra rằng các nền tảng như Shopify đòi hỏi hiểu biết về hành vi hệ thống cơ bản, không chỉ đọc tài liệu. Các bot AI gặp khó khăn với kiến thức ngữ cảnh này đến từ kinh nghiệm thực tế.
Tình Trạng Khó Xử Của Tài Liệu
Tình huống này đặt ra những câu hỏi quan trọng về AI trong tài liệu chính thức. Trong khi những bot này có thể nhanh chóng trả lời các câu hỏi hướng dẫn đơn giản, chúng có thể làm suy yếu công việc cẩn thận của các nhà viết tài liệu con người. Một số developer cho rằng không có tài liệu nào tốt hơn là có tài liệu không chính xác, vì thông tin sai lầm chủ động đánh lừa thay vì chỉ đơn giản để lại những khoảng trống kiến thức.
Thách thức đối với các công ty là cân bằng sự tiện lợi của hỗ trợ AI tức thì với độ tin cậy mà các developer cần cho các hệ thống sản xuất. Như một thành viên cộng đồng đã lưu ý, chi phí vận hành các hệ thống AI tinh vi hơn có thể tránh được những lỗi này có thể quá đắt đỏ để xử lý khối lượng lớn các truy vấn của người dùng.
Trường hợp Shopify đóng vai trò như một lời cảnh báo cho ngành công nghệ rộng lớn hơn về việc triển khai các trợ lý AI trong các vai trò tài liệu quan trọng mà không có các biện pháp bảo vệ thích hợp chống lại những phản hồi tự tin nhưng không chính xác.
Tham khảo: Is the doc bot docs, or not?