Một bài kiểm tra benchmark toàn diện về hệ thống desktop mới dựa trên AMD của Framework đã tiết lộ những đặc điểm hiệu suất thú vị cho các khối lượng công việc AI, với các cuộc thảo luận cộng đồng nêu bật cả những khía cạnh đầy hứa hẹn và những hạn chế đáng chú ý. Việc thử nghiệm bao gồm cả cấu hình nút đơn và thiết lập cluster 4 nút, cung cấp cái nhìn sâu sắc về cách các hệ thống này hoạt động trên các kịch bản triển khai khác nhau.
Hiệu Suất Nút Đơn Cho Thấy Tiềm Năng Cho Thiết Lập AI Ngân Sách
Desktop Framework , được trang bị bộ xử lý AMD Ryzen 7 5700X và 128GB RAM, đã thể hiện hiệu suất hợp lý cho các tác vụ suy luận AI cục bộ. Các thành viên cộng đồng đặc biệt quan tâm đến việc so sánh thiết lập này với các giải pháp dựa trên GPU truyền thống. So sánh của một người dùng với card đồ họa RTX 4000 SFF Ada (20GB), có giá khoảng 1.200 đô la Mỹ, cho thấy desktop hoạt động với tốc độ khoảng một phần ba cho hầu hết các tác vụ. Mặc dù điều này có thể có vẻ đáng thất vọng lúc đầu, cộng đồng lưu ý rằng thiết kế bộ nhớ tích hợp mang lại lợi thế đáng kể cho các mô hình AI lớn hơn vượt quá giới hạn bộ nhớ GPU thông thường.
Cuộc thảo luận đã tiết lộ một cân nhắc quan trọng cho những người mua tiềm năng lựa chọn giữa các phương pháp phần cứng khác nhau. Đối với người dùng quan tâm đến các mô hình AI nhỏ hơn khoảng 27 tỷ tham số, GPU NVIDIA chuyên dụng vẫn là lựa chọn ưa thích. Tuy nhiên, đối với những người làm việc với các mô hình lớn hơn từ 70 đến 120 tỷ tham số, các hệ thống dựa trên AMD hoặc sản phẩm của Apple trở nên hấp dẫn hơn do khả năng bộ nhớ vượt trội.
So sánh hiệu năng:
- Framework AMD desktop: chậm hơn khoảng 2.5-3 lần so với RTX 4000 SFF Ada (20GB) đối với hầu hết các tác vụ AI
- Giá RTX 4000 SFF Ada: ~$1,200 USD
- Phù hợp hơn cho các mô hình 70-120B tham số so với mô hình 27B tham số (ưu thế của NVIDIA)
Kết Quả Cấu Hình Cluster Gây Ra Câu Hỏi
Có lẽ phát hiện đáng ngạc nhiên nhất từ việc thử nghiệm là hiệu suất cluster. Khi được cấu hình như một thiết lập 4 nút với tổng cộng 512GB RAM, hệ thống cho thấy kết quả đáng thất vọng so với hoạt động nút đơn. Cộng đồng bày tỏ mối quan ngại đặc biệt về hiệu suất GPU kém hơn đáng kể trong cấu hình cluster so với trên một nút đơn, đặc biệt là xem xét nút đơn thiếu GPU chuyên dụng.
Khoảng cách hiệu suất này đã khơi dậy cuộc thảo luận về các công cụ suy luận AI phân tán. Một số thành viên cộng đồng đã khuyến nghị khám phá các dự án như distributed-llama, mặc dù họ lưu ý các giải pháp này đi kèm với những hạn chế riêng, bao gồm các vấn đề tương thích Vulkan và hỗ trợ chỉ một số lượng hạn chế các mô hình AI. Sự phức tạp của việc thiết lập và duy trì các cluster AI phân tán được nêu bật như một rào cản đáng kể cho người dùng gia đình.
Thông số kỹ thuật phần cứng:
- Bộ xử lý AMD Ryzen 7 5700X
- RAM 128GB (nút đơn) / tổng cộng 512GB RAM (cụm 4 nút)
- Bộ nhớ NVMe Micron 9300
- GPU tích hợp với hỗ trợ Vulkan và ROCm
Thách Thức Hệ Sinh Thái Phần Mềm Vẫn Tồn Tại
Việc thử nghiệm tiết lộ những thách thức đang diễn ra với hỗ trợ phần mềm AI trên phần cứng AMD. Trong khi ROCm (nền tảng tính toán GPU của AMD) cuối cùng đã hoạt động sau khi nâng cấp lên một bản phân phối Linux mới hơn, quá trình cài đặt ban đầu tỏ ra khó khăn. Các thành viên cộng đồng lưu ý rằng hỗ trợ Vulkan, thường hoạt động đáng tin cậy hơn ngay từ đầu, không được hỗ trợ bởi các công cụ AI phổ biến như Ollama.
Lý do họ đưa ra là chủ quan tệ hại... chỉ là một cái 'không' cứng rắn, chúng tôi nghĩ nó không đáng tin cậy. Tôi đoán họ chỉ muốn bạn bỏ họ và sử dụng llama.cpp.
Hạn chế phần mềm này đã dẫn đến suy đoán về ảnh hưởng tiềm tăng từ NVIDIA trong việc giữ các giải pháp GPU thay thế ít tiếp cận hơn với người dùng cuối. Một số thành viên cộng đồng đã tìm thấy thành công với các công cụ thay thế như ramalama, được báo cáo cung cấp tăng tốc GPU tốt hơn ngay từ đầu trên các hệ thống AMD.
Vấn đề tương thích phần mềm:
- Cài đặt ROCm gặp khó khăn trên Fedora 42, dễ dàng hơn trên Rawhide
- Ollama thiếu hỗ trợ Vulkan mặc dù các phiên bản fork cộng đồng đã chứng minh tính khả thi
- Các công cụ thay thế: distributed-llama, ramalama, llama.cpp RPC
- Vulkan thường hoạt động ổn định hơn ROCm đối với người dùng cuối
Định Vị Thị Trường và Đề Xuất Giá Trị
Cuộc thảo luận cộng đồng tiết lộ ý kiến trái chiều về vị trí thị trường của desktop AMD Framework . Trong khi hệ thống cung cấp lợi thế độc đáo cho các khối lượng công việc AI cụ thể, đặc biệt là những khối lượng công việc yêu cầu lượng lớn bộ nhớ, tỷ lệ hiệu suất trên đô la của nó phải đối mặt với sự cạnh tranh gay gắt từ cả các giải pháp GPU chuyên dụng và các sản phẩm AMD khác như Ryzen 9950X.
Cấu trúc giá đã thu hút sự chỉ trích, với người dùng lưu ý rằng việc vượt ra ngoài hiệu suất desktop chính thống đòi hỏi những bước nhảy chi phí đáng kể lên phần cứng cấp chuyên nghiệp. Điều này đã dẫn đến câu hỏi về thị trường mục tiêu cho các hệ thống này, với các đề xuất từ giao dịch tần số cao đến các ứng dụng khoa học dữ liệu, mặc dù nhiều trường hợp sử dụng này có thể được phục vụ tốt hơn bởi phần cứng máy chủ chuyên dụng.
Desktop AMD Framework dường như chiếm một vị trí thích hợp trong bối cảnh phần cứng AI. Trong khi nó cung cấp lợi thế hấp dẫn cho các trường hợp sử dụng cụ thể liên quan đến các mô hình AI lớn, hiệu suất cluster trái chiều và thách thức hệ sinh thái phần mềm cho thấy nó có thể phù hợp nhất cho người dùng có yêu cầu cụ thể hơn là như một máy trạm AI đa mục đích.
Tham khảo: Benchmark Framework Desktop Mainboard and 4-node cluster #21