Cộng đồng phát triển AI đang tham gia vào một cuộc tranh luận gay gắt về việc liệu context engineering có đại diện cho một bước tiến có ý nghĩa trong phát triển AI agent hay chỉ đơn giản là đóng gói lại các kỹ thuật prompt engineering hiện có dưới một cái tên mới.
Cuộc thảo luận tập trung xung quanh việc quản lý bộ nhớ làm việc hạn chế của các mô hình ngôn ngữ lớn (LLM), mà các nhà phát triển so sánh với RAM máy tính. Khi các AI agent xử lý các cuộc hội thoại dài hơn và các tác vụ phức tạp hơn, chúng nhanh chóng lấp đầy cửa sổ ngữ cảnh của mình với các hướng dẫn, kiến thức và phản hồi công cụ, dẫn đến các vấn đề như nhiễu độc ngữ cảnh và nhầm lẫn.
Các Vấn Đề Ngữ Cảnh Phổ Biến Trong Tác Nhân AI
- Đầu Độc Ngữ Cảnh: Các ảo giác làm nhiễm độc ngữ cảnh
- Phân Tán Ngữ Cảnh: Ngữ cảnh làm quá tải quá trình huấn luyện mô hình
- Nhầm Lẫn Ngữ Cảnh: Ngữ cảnh thừa thãi ảnh hưởng đến phản hồi
- Xung Đột Ngữ Cảnh: Các phần xung đột trong ngữ cảnh tạo ra vấn đề
 |
|---|
| Sơ đồ này làm nổi bật cách các loại ngữ cảnh khác nhau chảy vào một mô hình ngôn ngữ lớn, một khía cạnh quan trọng trong việc quản lý bộ nhớ làm việc hạn chế trong các cuộc hội thoại AI |
Tranh cãi thuật ngữ chia rẽ các nhà phát triển
Một phần đáng kể của cộng đồng coi context engineering không khác gì thuật ngữ marketing. Những người chỉ trích cho rằng việc phân biệt giữa tối ưu hóa ngữ cảnh với hướng dẫn trong prompt không đủ để biện minh cho việc tạo ra một lĩnh vực hoàn toàn mới. Sự hoài nghi rất sâu sắc, với một số nhà phát triển so sánh xu hướng này với các giải pháp layer 2 của cryptocurrency - những cách tiếp cận nghe có vẻ kỹ thuật nhưng có thể không giải quyết được các vấn đề cơ bản.
Tuy nhiên, những người ủng hộ khẳng định rằng context engineering đại diện cho một sự mở rộng phạm vi thực sự vượt ra ngoài prompt engineering truyền thống. Họ lập luận rằng nó bao gồm các chiến lược tối ưu hóa rộng hơn bao gồm các kỹ thuật nén, lựa chọn và cô lập ngữ cảnh vượt ra ngoài việc tạo prompt đơn giản.
Các Chiến lược Kỹ thuật Ngữ cảnh
- Viết Ngữ cảnh: Lưu trữ ngữ cảnh bên ngoài cửa sổ ngữ cảnh
- Chọn lọc Ngữ cảnh: Kéo ngữ cảnh liên quan vào cửa sổ ngữ cảnh
- Nén Ngữ cảnh: Chỉ giữ lại các token thiết yếu (ví dụ: sử dụng LLMLingua )
- Cô lập Ngữ cảnh: Chia tách ngữ cảnh để cải thiện hiệu suất thực hiện tác vụ
 |
|---|
| Hình minh họa này mô tả sự tương tác giữa một tác nhân AI và môi trường thực thi của nó, tượng trưng cho những sắc thái của ngữ cảnh và hướng dẫn trong phát triển AI |
Hạn chế kỹ thuật phơi bày các vấn đề sâu xa hơn
Cuộc tranh luận tiết lộ những lo ngại cơ bản về khả năng AI hiện tại. Các nhà phát triển báo cáo sự suy giảm hiệu suất AI nhất quán trong các cuộc hội thoại kéo dài, đặc biệt lưu ý cách các mô hình như GPT-4 bắt đầu mạnh mẽ nhưng suy giảm vào phản hồi thứ năm. Mô hình này làm nổi bật tầm quan trọng thiết yếu của việc quản lý ngữ cảnh hiệu quả.
Bài nghiên cứu gần đây của Apple cho thấy AI gặp khó khăn với các tác vụ lý luận nhiều bước như bài toán Tháp Hà Nội đã thêm dầu vào lửa. Trong khi một số bác bỏ nghiên cứu này là cố ý hạn chế khả năng AI, những người khác coi nó như bằng chứng rằng các cách tiếp cận hiện tại đối với quản lý ngữ cảnh có vấn đề cơ bản.
 |
|---|
| Sơ đồ này minh họa cách các bối cảnh mới cập nhật các ký ức hiện có, làm nổi bật những thách thức mà AI phải đối mặt trong việc duy trì các tương tác mạch lạc trong suốt các cuộc trò chuyện kéo dài |
Sự cường điệu của ngành so với các giải pháp thực tế
Cộng đồng bày tỏ sự thất vọng với sự gia tăng của thuật ngữ x-engineering trên khắp ngành AI. Nhiều nhà phát triển cảm thấy rằng việc tạo ra những cái tên nghe có vẻ chuyên nghiệp cho các kỹ thuật cơ bản làm loãng ý nghĩa của bản thân engineering. Tình cảm này phản ánh những lo ngại rộng hơn về phát triển dựa trên sự cường điệu trong không gian AI.
Chúng tôi từng gọi cả hai điều này là giỏi với Google. Việc đánh đồng nó với engineering vừa buồn cười vừa xúc phạm.
Bất chấp các tranh cãi về thuật ngữ, các ứng dụng thực tế tiếp tục xuất hiện. Một số nhà phát triển báo cáo thành công khi sử dụng các system prompt chi tiết vượt quá 1.500 dòng cho các nền tảng lập trình hỗ trợ AI, trong khi những người khác triển khai các mô hình memory-bank để quản lý ngữ cảnh hiệu quả hơn.
Tìm kiếm các giải pháp tốt hơn
Cuộc tranh luận cuối cùng phản ánh cuộc đấu tranh của cộng đồng AI với các hạn chế kiến trúc cơ bản. Nhiều nhà phát triển tin rằng tiến bộ thực sự đòi hỏi phải sửa đổi kiến trúc transformer thay vì xếp lớp các kỹ thuật quản lý lên trên các mô hình hạn chế ngữ cảnh. Cho đến khi những đột phá như vậy xảy ra, ngành công nghiệp tiếp tục xây dựng những gì một số người mô tả là hack chồng lên hack.
Cuộc thảo luận về context engineering, bất kể tên gọi của nó, làm nổi bật một thách thức quan trọng đối với phát triển AI: làm thế nào để tạo ra các hệ thống có thể duy trì hành vi mạch lạc, hữu ích qua các tương tác kéo dài mà không mất dấu thông tin quan trọng hoặc gây ra lỗi.
Tham khảo: Context Engineering for Agents