Ngành công nghệ đang chia rẽ về các Mô hình Ngôn ngữ Lớn ( LLMs ), với một số nhà phát triển tuyên bố có được những cải thiện năng suất khổng lồ trong khi những người khác báo cáo lợi ích tối thiểu. Sự chia rẽ này đã châm ngòi cho cuộc tranh luận gay gắt về việc liệu công nghệ này có đại diện cho một bước đột phá thực sự hay chỉ là một làn sóng hứa hẹn thổi phồng khác.
Vấn đề thiếu bối cảnh
Một vấn đề cốt lõi thúc đẩy sự chia rẽ này là việc thiếu các chi tiết cụ thể trong các tuyên bố về năng suất. Khi các nhà phát triển chia sẻ kinh nghiệm LLM của họ, thông tin quan trọng thường bị thiếu. Chúng ta không biết họ đang làm việc trên loại dự án nào, liệu đó là một ứng dụng mới hoàn toàn hay một hệ thống kế thừa phức tạp, hoặc những ngôn ngữ lập trình và framework nào được sử dụng.
Mức độ chuyên môn của nhà phát triển cũng vẫn không rõ ràng. Một kỹ sư cao cấp làm việc trên dự án React sẽ có kết quả hoàn toàn khác so với một designer cố gắng sửa đổi mã OCaml . Tuy nhiên, những kinh nghiệm này được gộp chung lại trong các cuộc thảo luận, khiến việc so sánh có ý nghĩa gần như không thể.
Các yếu tố thành công quan trọng khi sử dụng LLM:
- Chuyên môn sâu trong lĩnh vực đích
- Kỹ năng thiết kế prompt và phân tách nhiệm vụ
- Kỳ vọng phù hợp với đầu ra không xác định
- Khớp khả năng công cụ với các trường hợp sử dụng cụ thể
Kỳ vọng của ban quản lý so với thực tế
Khoảng cách năng suất trở nên có vấn đề hơn khi các tuyên bố thổi phồng đến tai ban quản lý. Một số công ty báo cáo nghe về những cải thiện năng suất gấp 10 lần, tạo ra những kỳ vọng không thực tế trên toàn tổ chức. Tuy nhiên, ngay cả những nhà phát triển thấy LLMs hữu ích thường chỉ thấy những cải thiện khiêm tốn hơn.
Một yếu tố quan trọng hạn chế những cải thiện năng suất tổng thể là Định luật Amdahl - ngay cả khi việc viết mã trở nên nhanh hơn đáng kể, các nhà phát triển vẫn dành thời gian đáng kể cho các hoạt động khác như lập kế hoạch, giao tiếp và gỡ lỗi. Điều này có nghĩa là cải thiện 10 lần trong việc tạo mã có thể chỉ dẫn đến cải thiện năng suất tổng thể 10-15%.
Yếu tố chi phí cũng quan trọng. Trong khi các gói đăng ký LLM như Claude Max có giá khoảng 200 đô la Mỹ mỗi tháng (khoảng 2% lương trung bình của một kỹ sư phần mềm), phương trình giá trị tổng thể phụ thuộc vào những cải thiện năng suất thực tế chứ không phải lý thuyết.
Kiểm tra thực tế về năng suất:
- Cải thiện được tuyên bố: Tăng năng suất lên đến 10 lần
- Cải thiện thực tế tổng thể: Thường chỉ 10-15% do định luật Amdahl
- Việc viết code chỉ chiếm một phần trong tổng thời gian phát triển
Bản chất không xác định tạo ra sự không nhất quán
LLMs đặt ra một thách thức khác thông qua hành vi không xác định của chúng. Cùng một lời nhắc có thể tạo ra kết quả khác nhau vào những thời điểm khác nhau, khiến việc thiết lập quy trình làm việc đáng tin cậy trở nên khó khăn. Tính không thể dự đoán này có nghĩa là những gì hoạt động hoàn hảo hôm nay có thể thất bại ngày mai, ngay cả với các tác vụ giống hệt nhau.
Một số nhà phát triển đã học cách làm việc với sự không chắc chắn này bằng cách đối xử với LLMs giống như các công cụ tìm kiếm - đòi hỏi kỹ năng để tạo ra các lời nhắc hiệu quả và quản lý kỳ vọng. Thành công thường đến từ việc chia nhỏ các tác vụ phức tạp thành những phần nhỏ hơn, dễ quản lý hơn thay vì mong đợi các giải pháp hoàn chỉnh.
Ứng dụng trong ngành ngoài lập trình
Trong khi các ứng dụng lập trình thu hút sự chú ý, LLMs cho thấy tiềm năng trong các lĩnh vực khác. Nhiều doanh nghiệp sử dụng hàng nghìn nhân viên chủ yếu di chuyển dữ liệu giữa các hệ thống - từ bảng tính đến CRM đến email. Những tác vụ lặp đi lặp lại này có thể phù hợp hơn với khả năng hiện tại của LLM so với phát triển phần mềm phức tạp.
Các chuyên gia pháp lý báo cáo những cải thiện năng suất đáng kể, với một số tuyên bố đầu ra gấp 2 lần với ít lỗi hơn. Điều này có lý khi công việc pháp lý thường liên quan đến việc tổ chức lại và định dạng lại văn bản hiện có thay vì tạo ra các cấu trúc logic hoàn toàn mới.
So sánh với cơn sốt Crypto
Các nhà phê bình rút ra những điểm tương đồng giữa sự nhiệt tình hiện tại về LLM và các chu kỳ cường điệu tiền điện tử trước đây. Cả hai công nghệ đều thu hút những người ủng hộ đam mê, những người bác bỏ những kẻ hoài nghi chỉ đơn giản là không hiểu tiềm năng thực sự. Động lực này có thể chấm dứt các cuộc thảo luận kỹ thuật hiệu quả về khả năng và hạn chế thực tế.
Tuy nhiên, không giống như crypto, LLMs thể hiện tiện ích rõ ràng trong các trường hợp sử dụng cụ thể ngày hôm nay. Thách thức nằm ở việc tách biệt các ứng dụng thực sự khỏi các tuyên bố tiếp thị thổi phồng và kỳ vọng không thực tế.
Chi phí Công cụ LLM:
- Claude Max : 200 USD/tháng (~2% mức lương trung bình của kỹ sư phần mềm)
- Đại diện cho chi phí tương đối nhỏ so với tổng chi phí nhân sự
Kết luận
Cuộc tranh luận về năng suất LLM phản ánh một thách thức rộng lớn hơn trong việc đánh giá các công nghệ mới nổi. Không có các chỉ số tiêu chuẩn và bối cảnh chi tiết, các kinh nghiệm cá nhân trở nên khó so sánh hoặc tổng quát hóa. Trong khi những công cụ này rõ ràng mang lại giá trị trong một số tình huống nhất định, ngành công nghiệp cần các phương pháp đánh giá nghiêm ngặt hơn để tách biệt những bước đột phá thực sự khỏi các chu kỳ cường điệu tạm thời.
Thành công với LLMs dường như phụ thuộc rất nhiều vào việc kết hợp đúng công cụ với đúng tác vụ, quản lý kỳ vọng một cách thích hợp, và phát triển kỹ năng để làm việc hiệu quả với các hệ thống không xác định. Khi công nghệ trưởng thành, các mô hình sử dụng hiệu quả rõ ràng hơn có thể sẽ xuất hiện.
Tham khảo: Everything around LLMs is still magical and wishful thinking