OpenAI gần đây đã phát hành các mô hình ngôn ngữ mã nguồn mở lớn đầu tiên của mình, gpt-oss-120b và gpt-oss-20b, đánh dấu một sự thay đổi đáng kể đối với công ty nổi tiếng với việc giữ kín các mô hình tiên tiến nhất của mình. Mặc dù các mô hình này cho thấy hiệu suất ấn tượng trên các benchmark tiêu chuẩn, phản hồi sớm từ người dùng tiết lộ một mô hình quen thuộc đã ám ảnh các mô hình được huấn luyện bằng dữ liệu tổng hợp: điểm kiểm tra xuất sắc nhưng hiệu suất thực tế đáng thất vọng.
Thông số kỹ thuật của mô hình:
- gpt-oss-120b: 120 tỷ tham số (5 tỷ tham số hoạt động)
- gpt-oss-20b: 20 tỷ tham số
- Giấy phép: Apache 2.0
- Phương pháp huấn luyện: Dữ liệu tổng hợp và được tuyển chọn (tương tự như dòng Microsoft Phi)
Phương Pháp Huấn Luyện Dữ Liệu Tổng Hợp
Các mô hình mới của OpenAI dường như tuân theo cùng một triết lý như dòng Phi của Microsoft, tập trung vào việc huấn luyện độc quyền trên dữ liệu tổng hợp và được tuyển chọn chất lượng cao thay vì văn bản internet thô. Phương pháp này cho phép các nhà phát triển kiểm soát hoàn toàn nội dung huấn luyện, cho phép họ tạo ra dữ liệu phù hợp chặt chẽ với các tác vụ benchmark. Tuy nhiên, phương pháp dạy để kiểm tra này thường dẫn đến các mô hình xuất sắc trong đánh giá có kiểm soát nhưng gặp khó khăn với bản chất lộn xộn, không thể dự đoán của các ứng dụng thực tế.
Các cuộc thảo luận cộng đồng tiết lộ rằng người dùng đã thấy các mô hình có năng lực kỹ thuật trong các lĩnh vực cụ thể như khoa học và lập trình, với một số báo cáo thành công trên các truy vấn SQL phức tạp khiến các mô hình có kích thước tương tự khác bối rối. Một người dùng lưu ý rằng mô hình 20B đã xác định chính xác các mối quan hệ logic tinh tế mà các mô hình lớn hơn đã bỏ lỡ, chứng minh khả năng suy luận thực sự trong các tác vụ có cấu trúc.
Mối liên hệ nhân sự chủ chốt:
- Sebastien Bubeck : Đã dẫn dắt việc phát triển mô hình Phi của Microsoft trong năm 2024
- Gia nhập OpenAI vào cuối năm 2024
- Có khả năng tham gia vào việc phát triển mô hình gpt-oss
- Các mô hình Phi nổi tiếng với phương pháp huấn luyện dữ liệu tổng hợp
Sự Đánh Đổi An Toàn
Việc lựa chọn sử dụng dữ liệu huấn luyện tổng hợp có thể xuất phát từ mối quan tâm về an toàn hơn là tối ưu hóa hiệu suất. Các mô hình mã nguồn mở đặt ra rủi ro độc đáo cho các công ty lớn vì một khi được phát hành, chúng không thể được cập nhật hoặc kiểm soát. Người dùng có thể tinh chỉnh các mô hình này cho bất kỳ mục đích nào, và trường hợp sử dụng phổ biến nhất cho việc tùy chỉnh mô hình cục bộ trong lịch sử là tạo nội dung người lớn.
Bằng cách huấn luyện trên dữ liệu tổng hợp được tuyển chọn cẩn thận, OpenAI có thể đảm bảo các mô hình của họ chứa huấn luyện từ chối rộng rãi và thiếu tiếp xúc với nội dung có vấn đề. Điều này làm cho các mô hình an toàn hơn nhiều để phát hành công khai, ngay cả khi nó đi kèm với chi phí của kiến thức tổng quát và khả năng đối thoại. Các mô hình được báo cáo có kiến thức khoa học rộng nhưng thiếu hiểu biết về văn hóa đại chúng và các sự kiện hiện tại.
Phản Ứng Cộng Đồng và Khoảng Cách Hiệu Suất
Những người sử dụng sớm có cảm xúc trái chiều về các mô hình mới. Trong khi một số khen ngợi khả năng lập trình và suy luận logic của chúng, những người khác chỉ trích cơ sở kiến thức hạn chế và phản ứng quá thận trọng của chúng. Các mô hình cho thấy các triệu chứng cổ điển của huấn luyện dữ liệu tổng hợp: chúng hoạt động tốt trên các benchmark học thuật và các tác vụ có cấu trúc nhưng cảm thấy nhân tạo và hạn chế trong các cuộc trò chuyện mở.
Chúng có năng lực kỹ thuật nhưng thiếu nhiều kiến thức ngoài lĩnh vực: ví dụ, chúng có kiến thức tổng quát rộng về khoa học, nhưng không biết nhiều về văn hóa đại chúng.
Khoảng cách hiệu suất này làm nổi bật một thách thức cơ bản trong phát triển AI. Các công ty phải cân bằng khả năng với an toàn, đặc biệt khi phát hành các mô hình mà người dùng có thể tự do sửa đổi. Đối với OpenAI, có kinh doanh chính vẫn là các mô hình nguồn đóng của họ, những bản phát hành mở này phục vụ nhiều hơn như định vị cạnh tranh chống lại các mô hình Trung Quốc hơn là các lựa chọn thay thế nghiêm túc cho các sản phẩm hàng đầu của họ.
Đặc điểm hiệu suất:
- Hiệu suất mạnh trên các bài kiểm tra học thuật
- Tốt trong các tác vụ có cấu trúc ( SQL , lập trình, lý luận logic)
- Yếu về văn hóa đại chúng và các sự kiện thời sự
- Kiến thức ngoài lĩnh vực hạn chế
- Phản hồi quá thận trọng do huấn luyện an toàn
Nhìn Về Phía Trước
Chiến lược phát hành cho thấy rằng OpenAI xem các mô hình mã nguồn mở như một phần cần thiết nhưng thứ yếu trong kinh doanh của họ. Không giống như Meta, cần các mô hình mở mạnh để thúc đẩy việc áp dụng hệ sinh thái của họ, OpenAI có thể đủ khả năng ưu tiên an toàn hơn khả năng trong các bản phát hành công khai của họ. Liệu phương pháp này có thỏa mãn cộng đồng mã nguồn mở hay không vẫn còn phải xem, nhưng các chỉ báo sớm cho thấy các mô hình này sẽ tham gia danh sách ngày càng tăng của các hệ thống AI gây ấn tượng trong demo nhưng thất vọng trong sử dụng hàng ngày.
Cuộc tranh luận xung quanh các mô hình này cũng phản ánh các câu hỏi rộng hơn về những gì cấu thành mã nguồn mở trong kỷ nguyên AI, với các thành viên cộng đồng tranh luận liệu việc phát hành trọng số mô hình mà không có dữ liệu huấn luyện và mã có thực sự đủ điều kiện là phần mềm mã nguồn mở hay không.
Tham khảo: OpenAl's new open-source model is basically Phi-5