Tenstorrent đối mặt với những chỉ trích gay gắt về ngăn xếp phần mềm phức tạp và trải nghiệm nhà phát triển

George Hotz , người sáng lập Comma.ai và tác giả của framework học máy tinygrad , đã công bố một bài phê bình gay gắt về cách tiếp cận phần mềm của Tenstorrent . Những bình luận của ông làm nổi bật mối quan ngại ngày càng tăng về trải nghiệm nhà phát triển và các lớp trừu tượng quá phức tạp của công ty chip AI này.

Tenstorrent , được dẫn dắt bởi kiến trúc sư chip huyền thoại Jim Keller , đã định vị mình như một đối thủ của NVIDIA trong không gian tính toán AI. Công ty hứa hẹn phần cứng có thể lập trình được nhiều hơn so với GPU truyền thống, nhưng Hotz cho rằng họ đang thất bại trong việc phơi bày lợi thế chính này cho các nhà phát triển.

Sự thất vọng của nhà phát triển với nhiều lớp trừu tượng

Chỉ trích cốt lõi tập trung vào việc ngăn xếp phần mềm của Tenstorrent có quá nhiều lớp trừu tượng. Hotz đặc biệt chỉ trích cách tiếp cận Low Level Kernel (LLK) của họ là có lỗi cơ bản, so sánh nó như việc xây một lâu đài trên một đầm lầy shit. Ông ủng hộ một cách tiếp cận ba lớp đơn giản hơn: frontend, compiler và runtime/driver.

Phản hồi từ cộng đồng ủng hộ những mối quan ngại này. Các nhà phát triển có kinh nghiệm, những người lẽ ra phải là những người áp dụng sớm lý tưởng, báo cáo rằng họ gặp khó khăn trong việc đạt được tiến bộ với các công cụ của Tenstorrent . Một sinh viên tiến sĩ về học máy với kinh nghiệm lập trình hệ thống phong phú đã mô tả việc không thể hiểu được tất cả các trừu tượng khác nhau của họ mặc dù đã đọc tài liệu và tham dự các buổi gặp mặt.

Một nhà phát triển khác đã cố gắng chạy một Vision Language Model gần đây trên phần cứng Blackhole của Tenstorrent trong một cuối tuần nhưng ít có tiến bộ, bị mắc kẹt ở các hoạt động không được hỗ trợ trải dài qua nhiều phần của ngăn xếp phần mềm.

Cấu trúc ngăn xếp phần mềm được khuyến nghị:

• Cách tiếp cận hiện tại của Tenstorrent: Hơn 7 lớp trừu tượng bao gồm LLK (Low Level Kernel)
• Cách tiếp cận đơn giản hóa được đề xuất: Chỉ 3 lớp
  1. Frontend (PyTorch, ONNX, tensor.py)
  2. Compiler (bố trí bộ nhớ, lập lịch op, kernel fusion)
  3. Runtime/Driver (phơi bày phần cứng, biên dịch, điều phối, xếp hàng)

Vấn đề ELU như một biểu tượng của những vấn đề sâu xa hơn

Hotz sử dụng hàm kích hoạt Exponential Linear Unit (ELU) như một ví dụ về sự phức tạp bị đặt sai chỗ. Ông lập luận rằng các hàm cơ bản như ELU không nên yêu cầu triển khai đặc biệt ở các cấp độ thấp của ngăn xếp. Thay vào đó, chúng nên được tạo thành từ các hoạt động đơn giản hơn như ReLU và các hàm mũ.

Điều này phản ánh một vấn đề tổ chức rộng hơn nơi các kỹ sư xuất sắc có thể đang ám ảnh điều chỉnh cho các trường hợp sử dụng của riêng họ mà không xem xét trải nghiệm nhà phát triển rộng hơn. Kết quả là một hệ thống hoạt động cho các nhóm nội bộ nhưng tạo ra rào cản cho các nhà phát triển bên ngoài.

Các Vấn Đề Kỹ Thuật Chính Được Xác Định:

• Triển Khai ELU: Nên được cấu thành dưới dạng self.relu() - alpha*(1-self.exp()).relu() thay vì được mã hóa cứng ở các cấp độ thấp
• Vấn Đề Trừu Tượng Hóa: LLK ( Low Level Kernel ) nằm dưới tt-metalium ngăn cản việc phơi bày phần cứng một cách phù hợp
• Rào Cản Cho Nhà Phát Triển: Các lớp trừu tượng phức tạp đa tầng khiến các nhà phát triển bên ngoài gặp khó khăn trong việc triển khai các mô hình như Mixtral hoặc Pixtral

Lợi thế của NVIDIA và con đường phía trước

Chỉ trích này đến vào thời điểm quan trọng đối với Tenstorrent . Như Hotz chỉ ra, công ty không thể cạnh tranh về các thỏa thuận sản xuất hoặc cấp phép sở hữu trí tuệ chống lại các đối thủ đã thành lập như NVIDIA và AMD . Lợi thế bền vững duy nhất của họ nằm ở việc phơi bày khả năng lập trình của phần cứng.

Không có sự lãnh đạo sản phẩm nào về thiết kế API. Chỉ có rất nhiều kỹ sư thực sự xuất sắc ám ảnh điều chỉnh cho các trường hợp sử dụng của riêng họ, không muốn đánh đổi một cú đánh vào hiệu suất hoặc tính biểu đạt cho khả năng đọc hoặc khả năng viết.

Cuộc thảo luận cộng đồng tiết lộ rằng các nền tảng phần cứng AI thành công đòi hỏi nhiều hơn chỉ sự xuất sắc kỹ thuật. Họ cần sự lãnh đạo sản phẩm mạnh mẽ tập trung vào trải nghiệm nhà phát triển và kỷ luật để duy trì các trừu tượng sạch sẽ ngay cả khi điều đó có nghĩa là hy sinh một số hiệu suất hoặc tiện lợi nội bộ.

Kết luận

Mặc dù khả năng phần cứng của Tenstorrent có thể ấn tượng, những khó khăn của cộng đồng nhà phát triển cho thấy công ty cần phải suy nghĩ lại cơ bản về cách tiếp cận phần mềm của mình. Chỉ trích từ các nhà phát triển có kinh nghiệm, những người lẽ ra phải là những người ủng hộ tự nhiên, cho thấy rằng sự xuất sắc kỹ thuật một mình không đủ để thách thức sự thống trị của NVIDIA trong tính toán AI.

Con đường phía trước có thể yêu cầu những quyết định khó khăn về việc đơn giản hóa ngăn xếp phần mềm, ngay cả khi điều đó có nghĩa là những đánh đổi hiệu suất ngắn hạn. Nếu không giải quyết những vấn đề trải nghiệm nhà phát triển này, Tenstorrent có nguy cơ trở thành một công ty chip AI đầy hứa hẹn khác mà thất bại trong việc đạt được sức hút thị trường có ý nghĩa.

Tham khảo: tt-tiny