Thế giới xuất bản học thuật đang đối mặt với một cơn bão hoàn hảo. Tỷ lệ chấp nhận thấp tại các hội nghị AI hàng đầu đang tạo ra tình trạng tồn đọng lớn các bài nộp, trong khi các công cụ trí tuệ nhân tạo đang giúp việc tạo ra các bài báo nghiên cứu đáng ngờ trở nên dễ dàng hơn bao giờ hết. Sự kết hợp này đang đẩy hệ thống đánh giá đồng nghiệp truyền thống đến điểm sụp đổ.
Toán học đằng sau sự hỗn loạn
Phân tích gần đây tiết lộ một mô hình đáng lo ngại trong các hội nghị khoa học máy tính. Khi tỷ lệ chấp nhận giảm từ 35% xuống 20%, tổng số bài nộp không giảm - thực tế nó tăng lên đáng kể. Điều này xảy ra bởi vì các bài báo bị từ chối được nộp lại nhiều lần, tạo ra sự gia tăng giả tạo của nhóm bài nộp. Kết quả là các hội nghị với hơn 20.000 bài nộp không thực sự nhận được 20.000 ý tưởng nghiên cứu mới, mà chỉ là cùng một nhóm bài báo lưu chuyển qua hệ thống nhiều lần.
Gánh nặng đánh giá tăng theo cấp số nhân. Một hội nghị chấp nhận 20% bài nộp phải đánh giá khoảng gấp năm lần số bài báo so với một hội nghị chấp nhận cùng số lượng tuyệt đối ở mức 35%. Thực tế toán học này có nghĩa là việc giảm tỷ lệ chấp nhận không cải thiện chất lượng - nó chỉ tạo ra nhiều công việc hơn cho tất cả những người liên quan.
Phân tích Tác động của Tỷ lệ Chấp nhận
- Giảm tỷ lệ chấp nhận từ 35% xuống 20% làm tăng quy mô nhóm bài nộp khoảng ~46%
- Số lượng tuyệt đối các bài báo được chấp nhận vẫn giữ nguyên bất kể tỷ lệ chấp nhận
- Khối lượng công việc đánh giá tăng theo tỷ lệ gần đúng N/p (số bài báo mới chia cho tỷ lệ chấp nhận)
- Tỷ lệ từ bỏ bài báo kém chất lượng tăng từ ~60% lên ~77%, nhưng tỷ lệ từ bỏ bài báo trung bình tăng từ 4% lên 24%
Vấn đề LLM xuất hiện
Các nghiên cứu sinh ngày càng chuyển sang sử dụng các mô hình ngôn ngữ lớn để giúp viết bài báo của họ, thường với kết quả thảm khốc. Một người quan sát đã chứng kiến một sinh viên nộp bài báo hội nghị chứa đầy tài liệu hoàn toàn bịa đặt và các trích dẫn không tồn tại, tất cả đều được tạo ra bởi AI. Bài báo trông có vẻ chấp nhận được ở cái nhìn đầu tiên, nhưng lại sụp đổ dưới sự xem xét kỹ lưỡng.
Trước tiên, những mô hình này hoàn toàn không giỏi viết kỹ thuật. Chúng không có khái niệm về trọng lượng của một câu duy nhất, chúng chỉ thích nói lải nhải.
Sự dễ dàng trong việc tạo ra nội dung nghe có vẻ hợp lý nhưng vô giá trị về mặt khoa học đang làm ngập các hội nghị với những bài nộp chất lượng thấp. Điều này tạo ra một vòng luẩn quẩn nơi các nhà đánh giá con người trở nên quá tải và cung cấp các đánh giá chất lượng thấp hơn, điều này lại làm cho quá trình chấp nhận trở nên ngẫu nhiên hơn và buộc các tác giả phải nộp nhiều bài báo hơn để tăng cơ hội của họ.
 |
|---|
| Những thách thức của việc viết có hỗ trợ AI được làm nổi bật trong một cuộc trò chuyện hài hước về việc nộp bài học thuật |
Động lực nghề nghiệp thúc đẩy cuộc khủng hoảng
Nguyên nhân gốc rễ mở rộng ra ngoài công nghệ đến các động lực nghề nghiệp cơ bản trong học thuật. Các trường đại học và cơ quan tài trợ tiếp tục đánh giá các nhà nghiên cứu chủ yếu dựa trên nơi họ xuất bản thay vì những gì họ đóng góp. Điều này tạo ra áp lực nhắm mục tiêu chỉ vào những địa điểm uy tín nhất, bất kể công việc có thực sự xứng đáng với mức độ công nhận đó hay không.
Khẩu hiệu một bài báo mỗi năm tại các trường đại học nghiên cứu thúc đẩy sinh viên và giảng viên cắt nhỏ công việc của họ thành nhiều ấn phẩm thay vì tập trung vào những đóng góp quan trọng. Nhiều bài báo ngày nay đại diện cho những gì trước đây sẽ được chia sẻ như các kho mã nguồn mở, nhưng giờ đây lại yêu cầu toàn bộ quy trình xuất bản học thuật để được công nhận.
Giới hạn vật lý gặp phải nhu cầu kỹ thuật số
Các hội nghị đối mặt với những ràng buộc thực tế mà các mô hình toán học không tính đến. Ngay cả các phiên poster cũng có giới hạn không gian, và việc tạo ra các hội nghị hàng đầu mới từ đầu cần hàng thập kỷ xây dựng danh tiếng. Trong khi một số người đề xuất tính phí nộp bài hoặc thực hiện các rào cản khác, những giải pháp này có nguy cơ tạo ra các trở ngại tài chính cho các nhà nghiên cứu từ các tổ chức ít giàu có hơn.
Cộng đồng đang khám phá các lựa chọn thay thế như hội nghị liên bang và hệ thống đánh giá phân tán, nhưng sự thay đổi diễn ra chậm chạp trong các tổ chức học thuật. Trong khi đó, chất lượng của cả bài báo được chấp nhận và bị từ chối tiếp tục bị ảnh hưởng khi hệ thống đấu tranh dưới sức nặng của sự tăng trưởng theo cấp số nhân trong số bài nộp.
Tham số Mô hình Nộp bài Hội nghị
- Giả định 5.000 bài báo mới mỗi chu kỳ hội nghị
- Phân bố chất lượng bài báo: 15% xuất sắc, 70% trung bình, 15% kém
- Tỷ lệ xác suất chấp nhận: 15:5:1 (xuất sắc:trung bình:kém)
- Bài báo bị từ bỏ sau T=6 chu kỳ bị từ chối
- Hệ thống đạt trạng thái cân bằng sau T+1 lần lặp
Con đường phía trước
Một số giải pháp tiềm năng đang xuất hiện từ các cuộc thảo luận cộng đồng. Các thí nghiệm đánh giá nhanh bên ngoài các hội nghị chính thức có thể giúp lặp lại các mô hình mới nhanh hơn. Giảm số lượng nhà đánh giá cho mỗi bài báo từ mức hiện tại 4-5 có thể giải phóng thời gian đánh giá cho việc đánh giá chu đáo hơn. Quan trọng nhất, cộng đồng học thuật cần đánh giá một cách trung thực những gì họ coi trọng và mong muốn từ hệ thống xuất bản.
Cuộc khủng hoảng hiện tại đại diện cho nhiều hơn chỉ là những khó khăn trong quá trình phát triển - đó là sự không phù hợp cơ bản giữa cách đánh giá nghề nghiệp học thuật và cách chia sẻ kiến thức khoa học. Cho đến khi những động lực này phù hợp, cả các nhà nghiên cứu con người và nội dung được tạo ra bởi AI sẽ tiếp tục làm ngập một hệ thống được thiết kế cho một cộng đồng khoa học nhỏ hơn và hợp tác hơn nhiều.
Tham khảo: Queueing to publish in AI (and CS)