Jan , một trợ lý AI mã nguồn mở hứa hẹn hoạt động hoàn toàn offline, đã thu hút sự chú ý nhờ cách tiếp cận tập trung vào quyền riêng tư khi chạy các mô hình ngôn ngữ lớn trên máy cục bộ. Tuy nhiên, các cuộc thảo luận trong cộng đồng cho thấy một số rào cản kỹ thuật mà người dùng đang gặp phải bất chấp những mục tiêu đầy tham vọng của nền tảng này.
Tính năng chính:
- Mô hình AI cục bộ: Tải xuống và chạy các LLM từ HuggingFace
- Tích hợp đám mây: Kết nối với OpenAI , Anthropic , Mistral , Groq
- Trợ lý tùy chỉnh: Tạo các trợ lý AI chuyên biệt
- API tương thích OpenAI : Máy chủ cục bộ tại localhost:1337
- Giao thức ngữ cảnh mô hình: Tích hợp MCP
- Ưu tiên quyền riêng tư: Mọi thứ đều chạy cục bộ khi mong muốn
Vấn đề về hiệu suất và quản lý tài nguyên
Người dùng đang báo cáo những vấn đề nghiêm trọng với việc phân bổ tài nguyên và chiến lược tải mô hình của Jan . Không giống như các giải pháp cạnh tranh như Ollama , Jan dường như gặp khó khăn với việc quản lý bộ nhớ hiệu quả khi xử lý các mô hình lớn hơn. Một số người dùng phát hiện rằng Jan cố gắng phân bổ toàn bộ kích thước mô hình vào bộ nhớ, điều này có thể gây ra lỗi trên các hệ thống có VRAM hạn chế. Ví dụ, người dùng với card VRAM 10GB báo cáo các vấn đề khi Jan cố gắng phân bổ 30GB cho các mô hình chạy hoàn hảo trên các nền tảng khác.
Ứng dụng cũng phải đối mặt với chỉ trích về cách tiếp cận đối với các hoạt động đồng thời. Người dùng không thể tương tác với nhiều mô hình cùng lúc, ngay cả khi sử dụng các mô hình từ xa thông qua các dịch vụ như OpenRouter . Hạn chế này buộc người dùng phải chờ một cuộc trò chuyện hoàn thành trước khi bắt đầu cuộc khác, ảnh hưởng đáng kể đến hiệu quả công việc.
Yêu cầu hệ thống:
- macOS: 13.6+ (8GB RAM cho các mô hình 3B, 16GB cho 7B, 32GB cho 13B)
- Windows: 10+ với hỗ trợ GPU cho NVIDIA/AMD/Intel Arc
- Linux: Hầu hết các bản phân phối đều hoạt động, có sẵn tăng tốc GPU
Mối quan ngại về tích hợp và tương thích
Một điểm đau lớn đối với người dùng liên quan đến việc tích hợp Jan với cơ sở hạ tầng AI hiện có. Một số thành viên cộng đồng đã báo cáo khó khăn trong việc kết nối Jan với các endpoint Ollama , với các vấn đề GitHub đang diễn ra làm nổi bật các vấn đề kết nối dai dẳng. Điều này đặc biệt gây khó chịu cho những người dùng đã đầu tư thời gian thiết lập cấu hình Ollama và mong đợi khả năng tương tác liền mạch.
Kiến trúc dựa trên Tauri của nền tảng cũng nhận được phản ứng trái chiều, đặc biệt từ người dùng Linux , những người mô tả trải nghiệm là cồng kềnh so với các ứng dụng gốc. Lựa chọn kỹ thuật này ảnh hưởng đến trải nghiệm người dùng tổng thể và có thể hạn chế việc áp dụng trong số những người dùng ưu tiên tích hợp desktop mượt mà.
Yêu cầu tiên quyết cho phát triển:
- Node.js ≥ 20.0.0
- Yarn ≥ 1.22.0
- Make ≥ 3.81
- Rust (cho Tauri )
Tuyên bố về quyền riêng tư bị xem xét kỹ
Trong khi Jan tiếp thị mình là ưu tiên quyền riêng tư, người dùng đã nhận thấy rằng ứng dụng thường xuyên kết nối với các trang web bên ngoài bao gồm GitHub và các dịch vụ khác. Hành vi này đã đặt ra câu hỏi về mức độ thực sự của khả năng offline, đặc biệt trong số những người dùng chọn Jan cụ thể vì lời hứa hoạt động chỉ cục bộ.
Nó cũng cố gắng phân bổ 30gb đó là kích thước của mô hình nhưng vram của tôi chỉ có 10gb và máy là 32gb, vì vậy nó không có ý nghĩa. Ollama hoạt động hoàn hảo với các mô hình 30b.
Cuộc thảo luận cộng đồng cũng đã khơi mào các cuộc tranh luận về quyền riêng tư trong các ứng dụng AI nói chung, với nhiều người dùng khác nhau quảng bá các giải pháp thay thế và đặt câu hỏi về hiệu quả của các cách tiếp cận quyền riêng tư khác nhau trong bối cảnh hiện tại.
Cạnh tranh và vị thế thị trường
Jan định vị mình như một sự thay thế cho cả ChatGPT và các giải pháp AI cục bộ khác như LM Studio . Trong khi nó cung cấp tính minh bạch mã nguồn mở mà các đối thủ độc quyền thiếu, người dùng lưu ý rằng các nền tảng đã được thiết lập thường cung cấp trải nghiệm ổn định hơn và tối ưu hóa tài nguyên tốt hơn. Việc bổ sung gần đây các thành phần GUI vào Ollama cũng đã làm tăng cường cạnh tranh trong không gian AI cục bộ.
Bất chấp những thách thức này, phản hồi từ cộng đồng cho thấy Jan đã cải thiện đáng kể theo thời gian, với những người dùng gặp lỗi trong các phiên bản trước được khuyến khích thử các bản phát hành gần đây. Cam kết của dự án đối với phát triển mã nguồn mở và cập nhật thường xuyên cho thấy những nỗ lực liên tục để giải quyết các mối quan ngại của người dùng và hạn chế kỹ thuật.
Tham khảo: Jan - Local AI Assistant