Thị trường GPU gaming đang chứng kiến một sự thay đổi thú vị khi chiếc RTX 5090 mới nhất của NVIDIA đối mặt với những thách thức bất ngờ trong các khối lượng công việc machine learning, đặc biệt là với việc triển khai Flash Attention. Mặc dù card có thông số kỹ thuật ấn tượng trên lý thuyết, hiệu suất thực tế lại kể một câu chuyện khác đang thu hút sự chú ý của các nhà phát triển và nghiên cứu.
 |
|---|
| Phân tích các mẫu truy cập bộ nhớ làm nổi bật các nút thắt cổ chai tiềm ẩn trong khối lượng công việc machine learning trên RTX 5090 |
Những hạn chế về hiệu suất dù có phần cứng tiên tiến
Hiệu suất BF16 lý thuyết của RTX 5090 đạt 209.5 TFLOPs, nhưng con số này chỉ chiếm chưa đến 10% so với các card Blackwell cấp server như B200, có thể cung cấp 2,250 TFLOPs. Điều đáng lo ngại hơn đối với các nhà phát triển là hiệu suất Flash Attention trên 5090 có vẻ tệ hơn so với các card kiến trúc Hopper thế hệ trước, dù được xây dựng trên công nghệ Blackwell mới hơn.
Khoảng cách hiệu suất này xuất phát từ những hạn chế có chủ ý của NVIDIA đối với các card gaming. Bắt đầu từ RTX 4090, công ty giới hạn hiệu suất tensor core đặc biệt cho các hoạt động training machine learning. Phép nhân ma trận FP8 và FP16 chỉ chạy với tốc độ tối đa khi tích lũy trong FP16, nhưng giảm xuống một nửa tốc độ với tích lũy FP32 - một hạn chế không có trên các card cấp workstation.
TFLOPs: Trillion Floating Point Operations Per Second, một thước đo hiệu suất tính toán Tensor Cores: Các đơn vị xử lý chuyên biệt được thiết kế cho tính toán AI và machine learning
So sánh hiệu năng: RTX 5090 vs B200
| Thông số kỹ thuật | RTX 5090 | B200 |
|---|---|---|
| BF16 TFLOPs | 209.5 | 2,250 |
| Giá (USD) | ~$2,000 | $30,000-40,000 |
| TFLOPs trên $1K | 105 | 56 |
| Băng thông bộ nhớ | ~2TB/s | Không được chỉ định |
| Hỗ trợ NVLink | Không | Có |
| Tích lũy FP32 | Tốc độ một nửa | Tốc độ đầy đủ |
Phân tích chi phí-hiệu suất tiết lộ kết quả bất ngờ
Khi xem xét hiệu suất trên mỗi đô la, tính kinh tế trở nên phức tạp hơn. RTX 5090 cung cấp khoảng 105 TFLOPs trên mỗi 1,000 đô la Mỹ, trong khi B200 cung cấp 56 TFLOPs trên mỗi 1,000 đô la Mỹ dựa trên mức giá 30,000-40,000 đô la Mỹ. Tuy nhiên, lợi thế rõ ràng này biến mất khi xem xét các thách thức triển khai thực tế.
Chỉ nhận được gấp 2 lần FLOPs trên mỗi đô la có lẽ không đáng để phải chịu khó khăn khi phải lắp đặt nhiều gấp 10 lần số GPU, trong khi không có NVLink.
Việc thiếu kết nối NVLink trên các card consumer tạo ra những nút thắt đáng kể cho các thiết lập đa GPU. Ngoài ra, tiêu thụ điện năng trở thành một yếu tố chính khi so sánh một B200 với mười RTX 5090 cần thiết để có sức mạnh tính toán tương đương.
NVLink: Công nghệ kết nối tốc độ cao của NVIDIA cho giao tiếp GPU-to-GPU
 |
|---|
| Biểu diễn trực quan các tình trạng dừng hiệu suất trong kiến trúc GPU , nhấn mạnh các thách thức hiệu quả tiềm ẩn trong thiết lập đa GPU |
Thách thức triển khai và các giải pháp thay thế
Các nhà phát triển cố gắng triển khai Flash Attention trên card RTX 5090 đã gặp phải nhiều vấn đề tương thích khác nhau. Kiến trúc Blackwell mới hơn sử dụng triển khai Blackwell giả mạo không có hỗ trợ tcgen05, giới hạn kích thước phép nhân ma trận và thông lượng thông qua tensor cores. Điều này tạo ra những nút thắt hiệu suất bất ngờ ngay cả khi code biên dịch thành công.
Tình hình cải thiện phần nào với các hoạt động độ chính xác thấp hơn. Tính toán MXFP4 có thể chạy với thông lượng tối đa trên RTX 5090, nhưng yêu cầu các kỹ thuật tinh vi hơn để duy trì tính ổn định trong training. Xu hướng hiện tại hướng tới training độ chính xác thấp hơn có thể giúp giảm thiểu một số hạn chế về hiệu suất, mặc dù tích lũy FP32 vẫn quan trọng cho nhiều ứng dụng.
Những Hạn Chế Kỹ Thuật Chính Của RTX 5090
- Hạn Chế Tensor Core: Các phép toán FP16/FP8 chạy với tốc độ chỉ bằng một nửa khi tích lũy FP32
- Thiếu Các Tính Năng Phần Cứng: Không hỗ trợ tcgen05 làm hạn chế khả năng nhân ma trận
- Không Có NVLink: Ngăn cản việc giao tiếp hiệu quả giữa nhiều GPU
- Vấn Đề Flash Attention: Hiệu suất tệ hơn so với kiến trúc Hopper trước đó
- Triển Khai Blackwell: Sử dụng Blackwell "giả" mà không có bộ tính năng đầy đủ
Tác động thị trường và triển vọng tương lai
Những đặc điểm hiệu suất này cho thấy rằng chiến lược phân biệt sản phẩm gaming và datacenter của NVIDIA đang trở nên rõ rệt hơn. Thời kỳ mà các card gaming cung cấp một giải pháp thay thế hiệu quả về chi phí cho các khối lượng công việc machine learning dường như đang kết thúc. Mặc dù RTX 5090 cung cấp băng thông bộ nhớ hào phóng gần 2TB/s, những hạn chế tính toán của nó khiến card kém hấp dẫn hơn cho việc phát triển AI nghiêm túc.
Tình hình này làm nổi bật sự phức tạp ngày càng tăng của việc đánh giá hiệu suất GPU vượt ra ngoài việc đếm FLOP đơn giản. High-performance computing hiện đại yêu cầu xem xét các hệ thống phân cấp bộ nhớ, khả năng điều phối lệnh và các tính năng phần cứng chuyên biệt khác nhau đáng kể giữa các dòng sản phẩm.
Đối với các nhà phát triển làm việc với Flash Attention và các khối lượng công việc tương tự, việc lựa chọn giữa phần cứng consumer và professional giờ đây bao gồm những đánh đổi tinh tế hơn so với những gì các tính toán cost-per-FLOP đơn giản có thể gợi ý.
Tham khảo: Writing: Speed-of-Light Flash Attention for SD90 in CUDA C++