Một phiên bản tái hiện nhẹ của công cụ suy luận vLLM phổ biến đã thu hút sự chú ý của cộng đồng học máy khi đạt được hiệu suất tốt hơn trong khi sử dụng ít code hơn đáng kể. Nano-vLLM , được xây dựng từ đầu với khoảng 1.200 dòng Python , chứng minh rằng đôi khi ít thực sự là nhiều hơn trong kỹ thuật phần mềm.
Dự án này xuất hiện vào thời điểm các nhà phát triển ngày càng cảm thấy bực bội với codebase phình to của vLLM và các Docker image đã tăng lên hơn 10GB. Các thành viên cộng đồng đã chỉ ra những thực hành phát triển đáng ngờ, bao gồm việc các gói CUDA xuất hiện nhiều lần trên các layer khác nhau, góp phần vào việc tăng kích thước khổng lồ.
Các Tính Năng Kỹ Thuật Chính
- Kích Thước Codebase: ~1,200 dòng Python
- Bộ Tối Ưu Hóa: Prefix caching, Tensor Parallelism, biên dịch Torch, đồ thị CUDA
- Tương Thích API: Phản chiếu giao diện vLLM với một số khác biệt nhỏ
- Cài Đặt:
pip install git+https://github.com/GeeeekExplorer/nano-vllm.git
Hiệu Suất Tự Nói Lên Tất Cả
Kết quả benchmark cho thấy Nano-vLLM đạt được 1.434 token mỗi giây so với 1.362 token mỗi giây của vLLM trên cùng một phần cứng. Cải thiện 5% này đạt được trong khi xử lý cùng 133.966 output token, với Nano-vLLM hoàn thành nhiệm vụ trong 93,41 giây so với 98,37 giây của vLLM . Các bài test sử dụng model Qwen3-0.6B trên laptop RTX 4070 với 8GB bộ nhớ, xử lý 256 chuỗi với độ dài input và output khác nhau.
Điều làm cho những kết quả này đặc biệt ấn tượng là chúng được đạt được với một codebase đơn giản hóa đáng kể. Việc triển khai sạch sẽ vẫn duy trì tất cả các tính năng tối ưu hóa thiết yếu bao gồm prefix caching, tensor parallelism, torch compilation và hỗ trợ CUDA graph .
So sánh hiệu suất
| Chỉ số | vLLM | Nano-vLLM |
|---|---|---|
| Token đầu ra | 133,966 | 133,966 |
| Thời gian xử lý | 98.37s | 93.41s |
| Thông lượng | 1,361.84 tokens/s | 1,434.13 tokens/s |
| Cải thiện hiệu suất | - | +5.3% |
Các Ứng Dụng Thực Tế Đã Xuất Hiện
Dự án đã nhanh chóng thu hút sự quan tâm vượt ra ngoài các benchmark. Các nhà phát triển từ series fine-tuning mã nguồn mở Dolphin đã áp dụng Nano-vLLM cho các tính năng nâng cao như trích xuất logit sample-K hiệu quả. Kỹ thuật này, được mô tả trong nghiên cứu gần đây về sparse logit sampling, tỏ ra quá phức tạp để triển khai trong vLLM gốc nhưng lại đơn giản trong kiến trúc Nano-vLLM được tối ưu hóa.
Nhà phát triển, được cho là từ team DeepSeek , đã tạo ra thứ gì đó phù hợp với mong muốn của cộng đồng về các công cụ đơn giản hơn, dễ bảo trì hơn. Codebase dễ đọc cho phép các nhà phát triển hiểu toàn bộ pipeline suy luận từ đầu đến cuối, điều đã trở nên ngày càng khó khăn với độ phức tạp ngày càng tăng của vLLM .
Cấu hình Kiểm thử
- Phần cứng: RTX 4070 Laptop (8GB VRAM)
- Mô hình: Qwen3-0.6B
- Quy mô Kiểm thử: 256 chuỗi
- Độ dài Đầu vào: 100-1024 token (lấy mẫu ngẫu nhiên)
- Độ dài Đầu ra: 100-1024 token (lấy mẫu ngẫu nhiên)
Nhìn Về Tương Lai
Thành công của Nano-vLLM đặt ra những câu hỏi thú vị về tương lai của các công cụ suy luận. Với hiệu suất như vậy có thể đạt được trong code tối thiểu, các nhà phát triển đã bắt đầu suy đoán về các khả năng như suy luận phân tán trên các thiết bị trong khi vẫn duy trì prefix cache nhất quán, hoặc thiết kế các hệ thống suy nghĩ theo thuật ngữ modular attention scope thay vì monolithic graph.
Hiện tại, Nano-vLLM cung cấp một lựa chọn thay thế hấp dẫn cho các nhà phát triển muốn có hiệu suất tương thích với vLLM mà không cần overhead. Dự án phản chiếu API của vLLM chỉ với những khác biệt nhỏ, làm cho nó trở thành một sự thay thế drop-in cho nhiều trường hợp sử dụng trong khi cung cấp tính minh bạch và khả năng bảo trì mà bản gốc đã mất theo thời gian.
Tham khảo: Nano-vLLM