Một bài viết gần đây tuyên bố rằng việc hiểu các cơ chế attention của AI là Big-O mới cho kỹ thuật prompt engineering đã gây ra cuộc tranh luận sôi nổi trong cộng đồng các nhà phát triển và nghiên cứu AI. Bài viết cho rằng việc cấu trúc các prompt dựa trên cách thức các Large Language Models ( LLMs ) xử lý attention có thể cải thiện kết quả một cách đáng kể, nhưng cộng đồng công nghệ đang phản đối mạnh mẽ cả về mặt khoa học lẫn phương pháp luận.
Tính chính xác kỹ thuật bị chỉ trích
Những lời chỉ trích gay gắt nhất tập trung vào những hiểu lầm cơ bản về cách thức hoạt động thực sự của các LLMs . Một số nhà phát triển chỉ ra rằng bài viết đã nhầm lẫn giữa cơ chế attention kỹ thuật được sử dụng trong các mô hình transformer với các khái niệm attention chung của con người. Một người bình luận lưu ý rằng các hệ thống AI hiện đại không đơn giản chỉ đọc tất cả các token cùng một lúc như đã tuyên bố, mà sử dụng các quy trình phức tạp bao gồm prefill song song và giải mã tuần tự với causal masks.
Cộng đồng cũng nhấn mạnh rằng các kiến trúc AI hiện tại đã phát triển vượt xa các cơ chế attention tiêu chuẩn. Nhiều hệ thống hiện tại sử dụng các phương pháp thay thế như Hyena hoặc các kỹ thuật như sliding window attention, khiến cho tiền đề cốt lõi trở nên lỗi thời ngay từ khi xuất bản.
Cơ chế attention: Quy trình toán học cho phép các mô hình AI tập trung vào những phần liên quan của văn bản đầu vào khi tạo ra phản hồi
Các Giải Pháp Thay Thế Kiến Trúc AI Hiện Đại cho Cơ Chế Attention Tiêu Chuẩn:
- Hyena : Cơ chế attention thay thế để cải thiện hiệu quả
- Sliding Window Attention : Xử lý văn bản theo các phân đoạn chồng lấp
- Causal Masks : Ngăn chặn các mô hình nhìn thấy các token tương lai trong quá trình huấn luyện
Thiếu bằng chứng và phương pháp đáng ngờ
Có lẽ lời chỉ trích mạnh mẽ nhất liên quan đến việc thiếu bằng chứng thực nghiệm. Nhiều người bình luận đã chỉ ra sự thiếu vắng của các so sánh song song, benchmark, hoặc kết quả có thể đo lường được. Bài viết trình bày hai phong cách prompt khác nhau nhưng không bao giờ hiển thị kết quả đầu ra thực tế hoặc các chỉ số hiệu suất để hỗ trợ cho những tuyên bố của mình.
Bạn không thể gọi nó là tối ưu hóa attention mà không mở não LLM và đánh giá những gì xảy ra trong các lớp attention. Liệu nghiên cứu được trích dẫn có làm điều đó không? Ý tôi là việc tối ưu hóa cho attention tạo ra prompt tốt hơn là một giả thuyết vững chắc, nhưng tôi không thấy bằng chứng ở đây.
Quan điểm này phản ánh sự thất vọng rộng rãi hơn trong cộng đồng AI về khoảng cách giữa những tuyên bố táo bạo và tính nghiêm túc khoa học trong các cuộc thảo luận về kỹ thuật prompt engineering.
Những Chỉ Trích Chính Về Phương Pháp Prompting "Tối Ưu Hóa Attention":
- Nhầm lẫn giữa cơ chế attention kỹ thuật với các khái niệm attention tổng quát
- Thiếu bằng chứng thực nghiệm và so sánh trực tiếp
- Không cung cấp các tiêu chuẩn đánh giá hoặc chỉ số hiệu suất có thể đo lường được
- Hiểu biết lỗi thời về các kiến trúc AI hiện tại
- Thiếu tính nghiêm túc khoa học trong phương pháp luận
Cuộc tranh luận về engineering nổi lên trở lại
Cuộc tranh cãi đã làm bùng phát lại những căng thẳng lâu dài về việc liệu prompt engineering có xứng đáng với nhãn mác engineering hay không. Những người chỉ trích cho rằng lĩnh vực này thiếu tính dự đoán được và nền tảng khoa học của các ngành engineering truyền thống. Một số người đề xuất thuật ngữ trung thực hơn như incantations hoặc rituals để mô tả bản chất thường là thử-và-sai của việc tối ưu hóa prompt.
Điều mỉa mai không khó nhận ra là các nhà phát triển thường chống lại việc gọi phát triển phần mềm là engineering lại nhanh chóng chấp nhận prompt engineering mặc dù nó có nền tảng kém nghiêm túc hơn.
Giá trị thực tiễn giữa những lời chỉ trích
Bất chấp những lời chỉ trích kỹ thuật, một số thành viên cộng đồng thừa nhận rằng prompting có cấu trúc thực sự có xu hướng tạo ra kết quả tốt hơn, bất kể những giải thích cơ bản. Lời khuyên cốt lõi về việc tổ chức các prompt một cách rõ ràng, chia nhỏ các nhiệm vụ phức tạp, và cung cấp ngữ cảnh cụ thể phù hợp với các thực hành tốt nhất đã được thiết lập trong giao tiếp con người.
Một số nhà phát triển đã chia sẻ các phương pháp thực tiễn hoạt động tốt, chẳng hạn như để các mô hình AI tự tối ưu hóa prompt hoặc sử dụng các định dạng có cấu trúc như template JSON để hướng dẫn phản hồi của AI hiệu quả hơn.
Nhìn về phía trước
Cuộc tranh luận làm nổi bật một thách thức quan trọng mà lĩnh vực AI đang đối mặt: cân bằng giữa các giải thích dễ tiếp cận với độ chính xác kỹ thuật. Trong khi cộng đồng đánh giá cao hướng dẫn thực tiễn để làm việc với các hệ thống AI, có nhu cầu ngày càng tăng về các phương pháp đánh giá nghiêm túc hơn và thừa nhận trung thực về những gì chúng ta chưa hiểu về các hệ thống phức tạp này.
Khi khả năng AI tiếp tục phát triển nhanh chóng, áp lực ngày càng tăng đối với prompt engineering để phát triển từ một hình thức nghệ thuật thành thứ gì đó giống engineering thực sự hơn - với kết quả có thể đo lường được, phương pháp có thể tái tạo, và xác thực khoa học.
Tham khảo: Attention Is the New Big-O