Swiss AI đã ra mắt Apertus, một mô hình ngôn ngữ mã nguồn mở mới nhằm giải quyết những lo ngại ngày càng tăng về việc tuân thủ bản quyền và tính minh bạch dữ liệu trong huấn luyện AI. Mô hình có hai phiên bản 70B và 8B tham số và đại diện cho một bước tiến đáng kể hướng tới phát triển AI hoàn toàn minh bạch.
Thông số kỹ thuật của mô hình
- Tham số: Có sẵn phiên bản 70B và 8B
- Dữ liệu huấn luyện: 15T token với chương trình giảng dạy theo giai đoạn (web, mã code, toán học)
- Độ dài ngữ cảnh: 65.536 token
- Ngôn ngữ được hỗ trợ: 1.811 ngôn ngữ
- Kiến trúc: Bộ giải mã Transformer với hàm kích hoạt xILU
- Phần cứng huấn luyện: 4.096 GPU GH200
Tuân Thủ Bản Quyền Trở Thành Trọng Tâm
Cộng đồng công nghệ đặc biệt tập trung vào cách tiếp cận dữ liệu huấn luyện của Apertus. Không giống như nhiều mô hình thương mại thu thập nội dung web mà không có sự cho phép rõ ràng, Apertus tuyên bố tôn trọng sự đồng ý từ chối từ chủ sở hữu dữ liệu, thậm chí có hiệu lực ngược. Điều này có nghĩa là nếu những người tạo nội dung yêu cầu dữ liệu của họ được gỡ bỏ, các nhà phát triển mô hình sẽ tôn trọng những yêu cầu đó. Tuy nhiên, một số thành viên cộng đồng đặt câu hỏi liệu hệ thống từ chối này có thực sự giải quyết được vấn đề bản quyền hay không, lưu ý rằng nó vẫn đặt gánh nặng lên những người tạo nội dung phải chủ động bảo vệ tác phẩm của mình.
Tính năng Pháp lý và Tuân thủ
- Tài liệu minh bạch theo Đạo luật AI của EU đã được cung cấp
- Tài liệu Quy tắc Thực hành có sẵn
- Các quy trình yêu cầu xóa bỏ PII và bản quyền đã được thiết lập
- Email liên hệ: [email protected], [email protected]
- Bộ lọc đầu ra cho PII được lên kế hoạch (kiểm tra mỗi 6 tháng)
- Sự đồng ý từ chối tham gia hồi tố được tôn trọng
Hiệu Suất Ngang Bằng Các Mô Hình Một Năm Tuổi
Các đánh giá ban đầu cho thấy Apertus hoạt động tương đương với Llama 3.1 của Meta, được phát hành khoảng một năm trước. Mô hình cho thấy khả năng kiến thức tổng quát khá tốt nhưng tụt hậu trong các lĩnh vực chuyên môn như lập trình và các tác vụ lý luận. Đối với một mô hình hoàn toàn mở được huấn luyện trên dữ liệu tuân thủ, mức hiệu suất này đại diện cho một thành tựu có ý nghĩa, mặc dù nó làm nổi bật thách thức đang diễn ra trong việc sánh ngang với các mô hình mã nguồn đóng có thể sử dụng các phương pháp thu thập dữ liệu tích cực hơn.
So sánh các tính năng chính
| Tính năng | Apertus | Các mô hình đóng thông thường |
|---|---|---|
| Tính minh bạch của dữ liệu huấn luyện | Tiết lộ đầy đủ | Độc quyền/không công bố |
| Tuân thủ bản quyền | Tôn trọng sự đồng ý từ chối tham gia | Thay đổi/không rõ ràng |
| Trọng số mô hình | Mã nguồn mở | Đóng/chỉ qua API |
| Hỗ trợ ngôn ngữ | 1.811 ngôn ngữ | Thường <100 |
| Hiệu suất so với Llama 3.1 | Tương đương (tổng quát), kém hơn (lập trình/lý luận) | Thường vượt trội |
Hỗ Trợ Đa Ngôn Ngữ Khổng Lồ
Một trong những tính năng nổi bật của Apertus là khả năng hỗ trợ hơn 1.800 ngôn ngữ, khiến nó trở thành một trong những mô hình đa dạng ngôn ngữ nhất hiện có. Phạm vi ngôn ngữ rộng lớn này, kết hợp với cửa sổ ngữ cảnh 65.536 token, định vị mô hình này đặc biệt có giá trị cho các ứng dụng toàn cầu và xử lý nội dung dạng dài.
Mô hình được huấn luyện trên 15 nghìn tỷ token sử dụng 4.096 GPU GH200 chuyên dụng, chứng minh nguồn lực tính toán đáng kể cần thiết cho phát triển AI hiện đại. Swiss AI đã cam kết phát hành không chỉ trọng số mô hình mà còn cả dữ liệu huấn luyện hoàn chỉnh, công thức và các điểm kiểm tra trung gian.
Cộng Đồng Kêu Gọi Tiêu Chuẩn Dữ Liệu Sạch
Việc phát hành đã khơi dậy các cuộc thảo luận rộng hơn về nhu cầu có thêm nhiều mô hình được huấn luyện trên các bộ dữ liệu có thể truy vết và sạch. Như một nhà quan sát cộng đồng lưu ý, có nhu cầu ngày càng tăng đối với các lựa chọn thay thế cho các mô hình đóng mà sau này chúng ta phát hiện ra đã được huấn luyện trên các cuộc thảo luận mạng xã hội và các nguồn đáng ngờ khác.
Theo ý kiến của tôi, chúng ta cần nhiều mô hình hơn được huấn luyện trên dữ liệu hoàn toàn có thể truy vết và sạch thay vì các mô hình đóng mà sau này chúng ta phát hiện ra đã được huấn luyện trên các chủ đề thảo luận Reddit và Facebook.
Trong khi một số người bác bỏ Apertus có thể chết ngay từ đầu do khoảng cách hiệu suất, những người khác coi đây là một bước quan trọng hướng tới việc thiết lập các tiêu chuẩn mới cho phát triển AI có đạo đức. Việc mô hình tuân thủ các yêu cầu của Đạo luật AI EU và cung cấp tài liệu minh bạch cho thấy nó có thể thu hút các tổ chức ưu tiên tuân thủ quy định hơn hiệu suất tiên tiến.
Tham khảo: swiss-ai/Apertus-708-2509