Thí nghiệm của một nhà phát triển với GPT-5-Codex cho nghiên cứu AI đã làm dấy lên cuộc tranh luận về khả năng hiện tại và những hạn chế của nghiên cứu có sự hỗ trợ của AI. Dự án này bao gồm việc huấn luyện các mô hình ngôn ngữ nhỏ trong khung thời gian năm phút, tiết lộ cả tiềm năng và ranh giới của các công cụ AI hiện tại.
Cấu trúc Chi phí:
- Sử dụng GPT-5-Codex : 200 USD mỗi tháng cho nghiên cứu chuyên sâu
- Tiêu thụ token: Cần khởi động lại sau mỗi triệu token
- Ràng buộc thời gian huấn luyện: Tối đa 5 phút cho việc huấn luyện mô hình
Kiểm tra thực tế: Nghiên cứu nghiệp dư so với chuyên nghiệp
Phản hồi từ cộng đồng đã làm nổi bật một sự phân biệt quan trọng mà thí nghiệm ban đầu đã bỏ qua. Một số chuyên gia có kinh nghiệm đã chỉ ra rằng việc so sánh này không thực sự có ý nghĩa, vì nó liên quan đến việc một người không có nền tảng nghiên cứu AI chính thức cạnh tranh với một hệ thống AI trong một nhiệm vụ tương đối đơn giản. Công việc được mô tả được đánh giá là ở mức độ của một sinh viên đại học trong khóa học xử lý ngôn ngữ tự nhiên đầu tiên chứ không phải là nghiên cứu thực sự.
Quan sát này đặt ra những câu hỏi quan trọng về cách chúng ta đánh giá khả năng của AI. Khi các công cụ AI vượt trội hơn những người nghiệp dư trong các lĩnh vực chuyên môn, điều đó không nhất thiết chỉ ra rằng công việc ở cấp độ chuyên nghiệp đang gặp rủi ro. Thay vào đó, nó cho thấy rằng AI hiện tại hiệu quả nhất trong việc nâng cao nền tảng - giúp người mới bắt đầu đạt được năng lực cơ bản nhanh hơn.
So sánh Kết quả Kỹ thuật:
- Phương pháp thủ công ban đầu: transformer 1.8M tham số, perplexity 9+
- Kết quả tốt nhất có hỗ trợ AI: perplexity 8.53 (3 lớp, 4 heads, chiều 1441)
- Phương pháp chưng cất N-gram: Đầu ra định tính tốt nhất với cấu trúc câu chuyện mạch lạc
- Phương pháp shallow fusion: perplexity 7.38 nhưng chất lượng văn bản kém
Tác động kinh tế của công việc có sự hỗ trợ AI
Một mối quan ngại đáng kể nổi lên xung quanh tác động kinh tế của những công cụ này. Các thành viên cộng đồng bày tỏ lo lắng về việc mất giá trị kỹ năng và thay thế công việc, đặc biệt đối với các chuyên gia giữa sự nghiệp. Cuộc thảo luận tiết lộ sự lo âu về một kịch bản mà ban quản lý có thể giảm quy mô đội ngũ dựa trên nhận thức về mức tăng năng suất của AI, trong khi những người lao động còn lại phải đối mặt với khối lượng công việc tăng lên trong việc xem xét mã do AI tạo ra thay vì tham gia vào việc giải quyết vấn đề sáng tạo.
Một số người coi đó là cách để loại bỏ các vấn đề khó khăn để họ có thể tập trung vào công việc tẻ nhạt. Bạn có thích viết mã nhưng ghét việc xem xét mã không? Đoán xem bạn sẽ phải làm gì nhiều hơn bây giờ!
Chi phí 200 đô la Mỹ hàng tháng cho việc sử dụng AI chuyên sâu cũng làm nổi bật những lo ngại về khả năng tiếp cận, cho thấy rằng nghiên cứu có sự hỗ trợ AI hiệu quả có thể trở thành một đặc quyền chỉ có sẵn chủ yếu cho các cá nhân hoặc tổ chức được tài trợ tốt.
Hạn chế kỹ thuật và vấn đề tin cậy
Thí nghiệm tiết lộ một số hạn chế kỹ thuật mà người dùng có kinh nghiệm đã gặp phải trên các công cụ nghiên cứu AI khác nhau. Nhiều người báo cáo rằng các hệ thống AI hoạt động tốt ban đầu nhưng cuối cùng gặp phải rào cản đòi hỏi sự can thiệp và gỡ lỗi của con người. Mô hình này cho thấy rằng các công cụ AI hiện tại hiệu quả nhất cho việc thiết lập và khám phá ban đầu hơn là giải quyết vấn đề phức tạp và bền vững.
Sự tin cậy nổi lên như một vấn đề quan trọng khác, đặc biệt với các hệ thống nghiên cứu AI có quyền truy cập hạn chế vào một số nguồn dữ liệu nhất định hoặc cho thấy khả năng lý luận không nhất quán. Người dùng lưu ý các vấn đề với hệ thống AI kết hợp các nguồn không đáng tin cậy hoặc không phân biệt được giữa thông tin khoa học hợp pháp và khoa học giả, đặc biệt trong các lĩnh vực như sức khỏe và y học.
Quy trình nghiên cứu AI:
- Codex chỉnh sửa script huấn luyện và chạy 3-4 thí nghiệm (~20 phút)
- AI đề xuất 2-3 phương pháp tiếp theo dựa trên kết quả
- Con người lựa chọn phương pháp hoặc thỉnh thoảng đề xuất giải pháp thay thế
- Quy trình lặp lại với việc tham khảo GPT-5-Pro định kỳ
Tương lai của nghiên cứu có sự hỗ trợ AI
Bất chấp những hạn chế, một số chuyên gia báo cáo trải nghiệm tích cực với việc lập trình theo cảm hứng và quy trình nghiên cứu có sự hỗ trợ AI. Điều quan trọng dường như là hiểu những công cụ này như những công cụ tăng cường năng suất cho các nhiệm vụ cụ thể thay vì thay thế cho chuyên môn sâu. Các ứng dụng thành công nhất dường như liên quan đến việc sử dụng AI cho việc tạo nguyên mẫu nhanh, quét tham số và xử lý các nhiệm vụ lập trình thường xuyên trong khi con người tập trung vào chiến lược cấp cao hơn và xác thực.
Cuộc tranh luận cuối cùng phản ánh những câu hỏi rộng lớn hơn về phát triển và triển khai AI. Trong khi các công cụ hiện tại cho thấy tiềm năng để tăng tốc một số khía cạnh nhất định của nghiên cứu và phát triển, chúng vẫn còn xa với khả năng nghiên cứu tự động mà một số tài liệu tiếp thị có thể gợi ý.