Khi chi phí huấn luyện AI đạt đến mức thiên văn—với OpenAI được báo cáo chi hơn 50 triệu đô la Mỹ mỗi ngày cho việc huấn luyện mô hình ngôn ngữ lớn—cộng đồng công nghệ ngày càng hướng đến những giải pháp phần cứng thay thế triệt để có thể dân chủ hóa việc phát triển trí tuệ nhân tạo. Cách tiếp cận tập trung vào GPU hiện tại đã tạo ra một khoảng cách tài nguyên khổng lồ, khiến các công ty nhỏ hơn và các nhà nghiên cứu không thể cạnh tranh với những gã khổng lồ công nghệ kiểm soát hàng trăm nghìn bộ xử lý cao cấp.
Chi phí đào tạo AI hiện tại:
- OpenAI : Chi phí trên 50 triệu USD mỗi ngày cho việc đào tạo LLM
- Các phòng thí nghiệm lớn kiểm soát: 200.000+ GPU tương đương H100 / H200
- Chi phí đào tạo DeepSeek : 6 triệu USD (con số còn tranh cãi)
- Ngưỡng chi tiêu AI doanh nghiệp: 30.000+ USD hàng tháng cho các dịch vụ chưng cất
Tính Toán Tập Trung Vào Bộ Nhớ Đang Tăng Đà
Cuộc thảo luận xung quanh các kiến trúc tính toán tập trung vào bộ nhớ đã trở nên gay gắt khi việc mở rộng GPU truyền thống gặp phải rào cản kinh tế. Các công nghệ như memristor và chip neuromorphic hứa hẹn sẽ giảm đáng kể yêu cầu về năng lượng và tính toán cho việc huấn luyện AI. Trong khi các công ty như Cerebras đã chứng minh các bộ xử lý quy mô wafer với 44 GB SRAM và băng thông 21 PB/s, cộng đồng tin rằng cần có những bước đi triệt để hơn nữa so với các kiến trúc hiện tại.
Memristor: Các thiết bị bộ nhớ có thể vừa lưu trữ dữ liệu vừa thực hiện tính toán, có khả năng loại bỏ nhu cầu di chuyển dữ liệu liên tục giữa bộ nhớ và các đơn vị xử lý.
Các Công Nghệ Tính Toán Thay Thế:
- Memristor: Thiết bị bộ nhớ kết hợp lưu trữ và tính toán
- Mạng Nơ-ron Xung (SNN): Xử lý thưa thớt lấy cảm hứng từ não bộ
- Bộ xử lý quy mô wafer: Chip Cerebras với 44 GB SRAM, băng thông 21 PB/s
- Tính toán tập trung bộ nhớ: Xử lý gần hơn với lưu trữ dữ liệu
- Chip neuromorphic: Phần cứng mô phỏng kiến trúc não bộ
Mạng Nơ-ron Spiking Cho Thấy Tiềm Năng Về Hiệu Quả
Mạng Nơ-ron Spiking ( SNNs ) đại diện cho một biên giới khác có thể cách mạng hóa hiệu quả AI. Các kiến trúc lấy cảm hứng từ não bộ này xử lý thông tin theo các mẫu thưa thớt, điều khiển bởi sự kiện thay vì các phép toán ma trận dày đặc mà các mô hình hiện tại dựa vào. Não người được ước tính hoạt động với mật độ đồ thị chỉ từ 0.0001 đến 0.001, cho thấy tiềm năng to lớn cho các phương pháp tính toán thưa hiệu quả hơn.
Sự Hoài Nghi Gặp Gỡ Lạc Quan Trong Phản Hồi Cộng Đồng
Trong khi một số thành viên cộng đồng vẫn hoài nghi về các công nghệ đột phá đã được thử nghiệm trong nhiều thập kỷ, những người khác chỉ ra các tiền lệ lịch sử nơi nghiên cứu bền bỉ cuối cùng đã được đền đáp. Bản thân mạng nơ-ron, xe điện và vắc-xin mRNA đều cần nhiều thập kỷ phát triển trước khi đạt được thành công chủ đạo. Cơn bùng nổ AI hiện tại đã tạo ra áp lực tài trợ chưa từng có để tìm ra các giải pháp thay thế cho việc huấn luyện dựa trên GPU đắt đỏ.
Có áp lực rất lớn để chứng minh và mở rộng các mô hình thay thế triệt để như tính toán tập trung vào bộ nhớ như memristor, hoặc SNNs, v.v. Đó là lý do tại sao tôi ngạc nhiên khi chúng ta không nghe nhiều về các khoản đầu tư đầu cơ rất lớn theo những hướng này để tăng đáng kể hiệu quả tính toán AI.
Giải Pháp Tạm Thời Distillation
Cho đến khi những đột phá phần cứng này trở thành hiện thực, distillation mô hình đã nổi lên như chiến lược chính cho các bên nhỏ hơn. Kỹ thuật này cho phép các công ty huấn luyện các mô hình nhỏ hơn, chuyên biệt bằng cách sử dụng đầu ra từ các mô hình giáo viên lớn hơn, thường bảo tồn 95% hiệu suất trong khi nhanh hơn và rẻ hơn một bậc để chạy. Tuy nhiên, cách tiếp cận này vẫn để lại lợi thế huấn luyện cơ bản cho các phòng thí nghiệm được tài trợ tốt.
Cuộc đua cho các giải pháp phần cứng AI thay thế phản ánh sự nhận thức rộng rãi hơn rằng quỹ đạo hiện tại là không bền vững. Dù thông qua memristor, chip neuromorphic, hay các mô hình tính toán hoàn toàn mới, đột phá tiếp theo có thể san bằng sân chơi và làm cho AI tiên tiến trở nên dễ tiếp cận với các nhà nghiên cứu và công ty trên toàn thế giới.
Tham khảo: GPU-Rich Labs Have Won: What's Left for the Rest of Us is Distillation