Moonshot AI đã phát hành Kimi K2 , một mô hình ngôn ngữ khổng lồ với 1 nghìn tỷ tham số, đã châm ngòi cho các cuộc thảo luận trong cộng đồng công nghệ về điều gì tạo nên một mô hình AI thực sự dễ tiếp cận. Trong khi công ty khoe khoang về các chỉ số hiệu suất ấn tượng, người dùng đang phải vật lộn với thực tế khi vận hành một hệ thống lớn như vậy.
Thông số kỹ thuật Kimi K2
- Kiến trúc: Mixture-of-Experts (MoE)
- Tổng số tham số: 1 nghìn tỷ
- Tham số được kích hoạt: 32 tỷ
- Số lượng chuyên gia: 256
- Chuyên gia được chọn cho mỗi token: 8
- Độ dài ngữ cảnh: 16K token
- Kích thước từ vựng: 147.825
 |
|---|
| Ảnh chụp màn hình này minh họa kho lưu trữ GitHub cho Kimi K2 , thể hiện các tính năng của dự án và những đóng góp từ cộng đồng |
Yêu cầu phần cứng tạo ra rào cản tiếp cận
Kích thước khổng lồ của mô hình đã trở thành điểm thảo luận trung tâm. Các thành viên cộng đồng ước tính rằng việc chạy Kimi K2 với tốc độ hợp lý đòi hỏi đầu tư phần cứng nghiêm túc - khoảng 16 GPU H200 để có hiệu suất tối ưu, hoặc xấp xỉ 20.000 đô la Mỹ cho một thiết lập khiêm tốn hơn sử dụng các phiên bản được lượng tử hóa trên phần cứng tiêu dùng cao cấp.
Một số người dùng đã tìm ra các giải pháp sáng tạo, gợi ý rằng các phiên bản lượng tử hóa 4-bit có thể chạy trên hai Mac Studio với mỗi máy có 512GB RAM , được kết nối qua Thunderbolt . Tuy nhiên, cách tiếp cận này đi kèm với những thỏa hiệp đáng kể về tốc độ, có thể chỉ cung cấp 1 token mỗi giây - một tốc độ mà nhiều người thấy không thực tế cho việc sử dụng trong thế giới thực.
Cộng đồng có vẻ chia rẽ về điều gì tạo nên hiệu suất có thể sử dụng được. Trong khi một số người dùng hài lòng với 5 token mỗi giây cho các ứng dụng trò chuyện thông thường, những người khác đặt câu hỏi về tính thực tế của tốc độ chậm như vậy đối với các tác vụ phức tạp như hoạt động của tác nhân tự động.
Ước tính Yêu cầu Phần cứng
- Hiệu suất Tối ưu: ~16 GPU H200
- Thiết lập Ngân sách: 2x Mac Studios (mỗi máy 512GB RAM) - ~20.000 USD
- Single Socket EPYC : hệ thống RAM >1TB
- Đánh đổi Hiệu suất: lượng tử hóa 4-bit đạt được ~1 token/giây trên thiết lập ngân sách so với 5+ token/giây trên phần cứng cao cấp
Tranh cãi về giấy phép mã nguồn mở
Một cuộc tranh luận sôi nổi khác tập trung xung quanh các điều khoản cấp phép của Kimi K2 . Mặc dù được tiếp thị với Giấy phép MIT Đã Sửa đổi, mô hình bao gồm các hạn chế thương mại yêu cầu các công ty có hơn 100 triệu người dùng hoạt động hàng tháng hoặc 20 triệu đô la Mỹ doanh thu hàng tháng phải hiển thị Kimi K2 một cách nổi bật trong giao diện người dùng của họ.
Điều này đã dẫn đến các tranh cãi về việc liệu mô hình có thực sự đủ điều kiện là mã nguồn mở hay không. Những người chỉ trích cho rằng bất kỳ hạn chế sử dụng nào đều vi phạm các nguyên tắc mã nguồn mở truyền thống, trong khi những người ủng hộ khẳng định rằng các điều khoản như vậy là hợp lý và vẫn có tính cho phép hơn nhiều giấy phép hiện có.
Giấy phép này thậm chí không bảo vệ các tác giả nhiều lắm. Nó chỉ yêu cầu ghi nhận công lao nếu bạn vượt qua ngưỡng MAU/ARR... Các nguồn lực được đầu tư vào việc xây dựng điều này là đáng kể và họ đang trao nó cho bạn miễn phí.
Cuộc tranh luận phản ánh những căng thẳng rộng lớn hơn trong cộng đồng AI về các mô hình tài trợ bền vững cho việc phát triển mô hình quy mô lớn so với việc duy trì các nguyên tắc truy cập mở.
Hạn chế Khóa của Giấy phép MIT Đã sửa đổi Các sản phẩm hoặc dịch vụ thương mại có:
- Hơn 100 triệu người dùng hoạt động hàng tháng, HOẶC
- Hơn 20 triệu USD doanh thu hàng tháng Phải hiển thị nổi bật " Kimi K2 " trong giao diện người dùng
Hiệu suất và ứng dụng thực tế
Bất chấp những lo ngại về khả năng tiếp cận, những người dùng đầu tiên báo cáo trải nghiệm tích cực với khả năng của Kimi K2 . Mô hình có vẻ xuất sắc trong các tác vụ lập trình và thể hiện phong cách giao tiếp tự nhiên hơn, ít robot hơn so với một số đối thủ cạnh tranh. Người dùng đặc biệt đánh giá cao khả năng viết mã sạch hơn, dễ đọc hơn của nó, mặc dù một số lưu ý rằng đôi khi nó bỏ lỡ những trường hợp biên tinh tế mà các mô hình khác bắt được.
Thời điểm phát hành Kimi K2 cũng đã gây ra suy đoán về tác động của nó đối với kế hoạch của các công ty khác, với một số người cho rằng nó có thể đã ảnh hưởng đến quyết định của OpenAI trong việc trì hoãn thông báo mô hình mã nguồn mở của riêng họ.
Kết luận
Kimi K2 đại diện cho cả lời hứa và thách thức của các mô hình AI quy mô lớn. Trong khi nó mang lại hiệu suất ấn tượng, các rào cản thực tế trong triển khai làm nổi bật những câu hỏi đang diễn ra về khả năng tiếp cận mô hình và ý nghĩa thực sự của phát triển AI mở. Khi cộng đồng tiếp tục thử nghiệm với các chiến lược triển khai và tranh luận về các cách tiếp cận cấp phép, Kimi K2 đóng vai trò là chất xúc tác cho các cuộc thảo luận rộng lớn hơn về hướng tương lai của phân phối và truy cập mô hình AI .
Tham khảo: KIMI