Bối cảnh phát triển AI cục bộ đã đạt được một cột mốc quan trọng. Một mô hình mã nguồn mở mới, GLM-4.5 Air , hiện có thể chạy trên phần cứng tiêu dùng và tạo ra mã code hoạt động với kết quả ấn tượng. Sự phát triển này đánh dấu một bước ngoặt khi hỗ trợ lập trình mạnh mẽ không còn cần đến dịch vụ đám mây hoặc phần cứng máy chủ đắt tiền.
Yêu Cầu Phần Cứng Giảm Mạnh
Mô hình GLM-4.5 Air , mặc dù có tới 106 tỷ tham số khổng lồ, đã được nén thành công thành gói 44GB có thể chạy trên laptop với 64GB RAM. Thành tựu này đạt được thông qua kỹ thuật lượng tử hóa 3-bit giúp giảm đáng kể dung lượng bộ nhớ của mô hình mà không ảnh hưởng nghiêm trọng đến hiệu suất. Mô hình sử dụng khoảng 48GB RAM ở mức sử dụng cao nhất, tạo ra mã code với tốc độ khoảng 25 token mỗi giây trên phần cứng Apple Silicon .
Lượng tử hóa là một kỹ thuật nén giúp giảm độ chính xác của các con số trong mô hình AI để tiết kiệm bộ nhớ trong khi vẫn duy trì phần lớn hiệu suất ban đầu.
Thông số kỹ thuật mô hình GLM-4.5 Air :
- Tổng số tham số: 106 tỷ
- Kích thước nén: 44GB (lượng tử hóa 3-bit)
- Kích thước gốc: 205.78GB
- Sử dụng RAM: ~48GB tại đỉnh
- Hiệu suất: 25.5 token/giây tạo sinh
- Giấy phép: MIT (mã nguồn mở)
Việc Tập Trung Huấn Luyện Trên Code Mang Lại Hiệu Quả
Thảo luận trong cộng đồng cho thấy một xu hướng rõ ràng: hầu như mọi mô hình AI lớn được phát hành trong năm 2025 đều đặc biệt nhắm vào khả năng lập trình. GLM-4.5 đã trải qua quá trình huấn luyện sâu rộng trên các bộ dữ liệu code và lý luận, với 7 nghìn tỷ token dành riêng cho nội dung lập trình. Cách tiếp cận tập trung này đã tạo ra những mô hình có thể tạo ra các ứng dụng hoạt động, debug code hiện có, và thậm chí giải thích quá trình lý luận của chúng.
Kết quả nói lên tất cả. Trong khi các mô hình từ chỉ hai năm trước còn gặp khó khăn với việc tuân theo hướng dẫn cơ bản, các mô hình cục bộ ngày nay có thể tạo ra những ứng dụng hoàn chỉnh, hoạt động từ những lời nhắc đơn giản. Ví dụ về Space Invaders chứng minh khả năng này, nhưng các thành viên cộng đồng cũng báo cáo thành công với những ứng dụng phức tạp và tùy chỉnh hơn.
Phân tích dữ liệu huấn luyện:
- Huấn luyện sơ bộ: 15 nghìn tỷ token (kho dữ liệu tổng quát)
- Lập trình & Lý luận: 7 nghìn tỷ token (huấn luyện chuyên biệt)
- Các giai đoạn bổ sung để nâng cao lĩnh vực hạ nguồn
- Học tăng cường mở rộng cho việc tạo mã lệnh
Sự Đánh Đổi Giữa Cục Bộ và Đám Mây Xuất Hiện
Khi các mô hình cục bộ được cải thiện, các nhà phát triển đang cân nhắc lợi ích của việc chạy AI cục bộ so với sử dụng dịch vụ đám mây. Thực thi cục bộ mang lại quyền riêng tư, không giới hạn sử dụng, và độc lập khỏi kết nối internet. Tuy nhiên, nó đòi hỏi đầu tư phần cứng ban đầu đáng kể và có thể hy sinh một số chất lượng so với các mô hình đám mây tiên tiến.
Việc chậm 6 tháng thật ĐIÊN RỒ! Tôi chưa bao giờ trong những giấc mơ hoang dại nhất tin rằng chúng ta sẽ đến được đây. Thực tế tôi nghĩ sẽ mất khoảng 2 năm để đạt được mức độ của gpt3.5 .
Yêu cầu phần cứng vẫn còn đáng kể. Trong khi một MacBook Pro 64GB có thể chạy những mô hình này, những cấu hình như vậy có giá cao hơn đáng kể so với các mô hình cơ bản. Các thiết lập thay thế sử dụng nhiều GPU NVIDIA hoặc máy trạm RAM cao có thể đạt được kết quả tương tự nhưng đòi hỏi chuyên môn kỹ thuật để cấu hình đúng cách.
So sánh Yêu cầu Phần cứng:
- Apple Silicon (Khuyến nghị): MacBook Pro / Mac Studio với bộ nhớ thống nhất 64GB trở lên
- Thiết lập GPU NVIDIA: 2x RTX 3090 (mỗi card 24GB VRAM) + bo mạch chủ tương thích (~1.500 USD đã qua sử dụng)
- Thiết lập chỉ dùng CPU: RAM hệ thống 64GB trở lên (hiệu suất chậm hơn đáng kể)
- Phương án thay thế: Thuê GPU đám mây để thử nghiệm trước khi mua phần cứng
Cộng Đồng Tranh Luận Về Khả Năng Của Mô Hình
Cộng đồng nhà phát triển vẫn còn chia rẽ về cách thức hoạt động thực sự của những mô hình này. Một số cho rằng các mô hình chủ yếu kết hợp lại các mẫu code hiện có từ dữ liệu huấn luyện, trong khi những người khác chỉ ra bằng chứng về khả năng lý luận thực sự và giải quyết vấn đề sáng tạo. Thực tế có thể nằm ở đâu đó giữa những quan điểm này, với các mô hình thể hiện cả việc khớp mẫu và giải quyết vấn đề sáng tạo tùy thuộc vào độ phức tạp của nhiệm vụ.
Thử nghiệm cho thấy các mô hình xuất sắc trong các nhiệm vụ lập trình được tài liệu hóa tốt nhưng gặp khó khăn với các yêu cầu có tính mới cao. Hạn chế này đã khiến một số nhà phát triển tạo ra các benchmark riêng để đánh giá hiệu suất mô hình trên các trường hợp sử dụng cụ thể của họ, thay vì dựa vào các benchmark công khai có thể bị nhiễm bởi dữ liệu huấn luyện.
Tác Động Tương Lai Đối Với Phát Triển
Sự cải thiện nhanh chóng trong các mô hình AI cục bộ gợi ý những thay đổi đáng kể phía trước cho phát triển phần mềm. Khi những mô hình này trở nên có khả năng và dễ tiếp cận hơn, chúng có thể giảm sự phụ thuộc vào các dịch vụ AI dựa trên đám mây cho nhiều nhiệm vụ lập trình. Tuy nhiên, yêu cầu phần cứng đáng kể có nghĩa là việc áp dụng rộng rãi sẽ phụ thuộc vào tối ưu hóa thêm và có thể là phần cứng mới được thiết kế đặc biệt cho khối lượng công việc AI.
Quỹ đạo hiện tại cho thấy hỗ trợ lập trình AI cục bộ sẽ ngày càng khả thi cho các nhà phát triển cá nhân và nhóm nhỏ, trong khi các tổ chức lớn hơn có thể tiếp tục dựa vào dịch vụ đám mây cho những ứng dụng đòi hỏi khắt khe nhất.
Tham khảo: My 2.5 year old laptop can write Space Invaders in JavaScript now, using GLM-4.5 Air and MLX