Một phân tích chi tiết về chi phí hoạt động suy luận AI đã gây ra cuộc tranh luận sôi nổi trong cộng đồng công nghệ, thách thức niềm tin phổ biến rằng các công ty như OpenAI và Anthropic đang chảy máu tiền cho mỗi yêu cầu của người dùng. Phân tích này cho rằng chi phí tính toán thô để chạy các mô hình AI có thể thấp hơn nhiều so với những gì thường được cho là đúng, có khả năng định hình lại hiểu biết của chúng ta về kinh tế học AI.
 |
|---|
| Khám phá tính khả thi tài chính của các hoạt động suy luận AI đối với các công ty như OpenAI và Anthropic |
Toán học đằng sau chi phí suy luận AI
Phân tích này chia suy luận thành hai giai đoạn riêng biệt có cấu trúc chi phí khác nhau một cách đáng kể. Xử lý đầu vào, nơi các mô hình tiêu thụ lượng lớn văn bản hoặc ngữ cảnh, hoạt động với chi phí biên gần như bằng không nhờ khả năng xử lý song song. Tuy nhiên, tạo đầu ra lại yêu cầu tạo token tuần tự và mang chi phí cao hơn đáng kể - đắt hơn khoảng 1.000 lần mỗi token so với xử lý đầu vào.
Sử dụng giá thuê GPU H100 hiện tại là 2 đô la Mỹ mỗi giờ làm cơ sở, các tính toán cho thấy token đầu vào có chi phí khoảng 0,003 đô la Mỹ trên triệu token, trong khi token đầu ra có chi phí khoảng 3,08 đô la Mỹ trên triệu token. Sự bất đối xứng lớn này giải thích tại sao một số ứng dụng AI có khả năng sinh lời cao trong khi những ứng dụng khác gặp khó khăn với kinh tế đơn vị.
GPU H100 là các đơn vị xử lý đồ họa cao cấp được thiết kế đặc biệt cho khối lượng công việc AI, có tính năng bộ nhớ chuyên biệt và khả năng xử lý.
So sánh chi phí trên một triệu token:
- Token đầu vào: ~$0.003 USD (xử lý song song)
- Token đầu ra: ~$3.08 USD (tạo tuần tự)
- Tỷ lệ chi phí: chênh lệch ~1.000 lần giữa đầu vào và đầu ra
Cộng đồng phản đối về các con số
Phân tích này đã thu hút sự chỉ trích đáng kể từ các nhà quan sát ngành, những người đặt câu hỏi về các giả định cơ bản của nó. Một số người bình luận chỉ ra rằng các tính toán dường như dựa trên mô hình R1 của DeepSeek , được biết đến với hiệu quả đặc biệt so với các mô hình tiên tiến khác. Các nhà phê bình cho rằng điều này tạo ra một bức tranh quá lạc quan không phản ánh chi phí thực sự mà các công ty AI lớn phải đối mặt.
Ngoài ra, các nền tảng toán học cũng bị xem xét kỹ lưỡng. Một người đánh giá kỹ thuật lưu ý rằng các tính toán token đầu vào dường như sai lệch ít nhất 1.000 lần, cho thấy chi phí thực tế có thể cao hơn đáng kể so với ước tính. Phân tích này cũng giả định việc sử dụng phần cứng hoàn hảo suốt ngày đêm, điều hiếm khi xảy ra trong các hoạt động thực tế.
Con voi chi phí đào tạo trong phòng
Có lẽ khía cạnh gây tranh cãi nhất của cuộc thảo luận tập trung vào những chi phí nào nên được bao gồm khi đánh giá khả năng sinh lời của AI. Phân tích ban đầu chỉ tập trung vào chi phí suy luận, cố tình loại trừ các chi phí khổng lồ liên quan đến đào tạo các mô hình mới. Cách tiếp cận này đã được so sánh với các thực hành kế toán đáng ngờ, với các nhà phê bình cho rằng nó giống như đánh giá khả năng sinh lời của một tòa nhà chung cư trong khi bỏ qua các khoản thanh toán thế chấp.
Tuy nhiên, những người ủng hộ phân tích này cho rằng việc tách chi phí suy luận khỏi đầu tư đào tạo cung cấp cái nhìn sâu sắc có giá trị về kinh tế đơn vị. Họ cho rằng việc hiểu liệu các dịch vụ AI có thể hoạt động có lãi trên cơ sở mỗi yêu cầu hay không là rất quan trọng để đánh giá khả năng tồn tại lâu dài, ngay cả khi các công ty hiện đang thua lỗ tổng thể do chi tiêu nghiên cứu và phát triển.
Bằng chứng thực tế chỉ ra cả hai hướng
Cuộc tranh luận trở nên phức tạp bởi những tuyên bố mâu thuẫn từ các nhà lãnh đạo ngành. CEO của OpenAI Sam Altman gần đây tuyên bố công ty sẽ có lãi nếu không có chi phí đào tạo, cho thấy các hoạt động suy luận thực sự có lãi. Tuy nhiên, ông cũng thừa nhận rằng các thuê bao OpenAI Pro đang gây ra tổn thất vì họ sử dụng dịch vụ nhiều hơn dự kiến.
Trong khi đó, sự tồn tại của nhiều nhà cung cấp API cung cấp dịch vụ AI với giá cực kỳ thấp hỗ trợ cho lập luận rằng chi phí suy luận có thể được quản lý. Một số nhà cung cấp cung cấp các mô hình nhất định hoàn toàn miễn phí, điều này sẽ không thể nếu chi phí cơ bản quá cao.
Phân tích gói đăng ký:
- ChatGPT Plus (20 USD/tháng): Chi phí thực tế ước tính 3 USD (tỷ lệ lợi nhuận 5-6 lần)
- Claude Code Max 5 (100 USD/tháng): Chi phí thực tế ước tính 4,92 USD (tỷ lệ lợi nhuận 20,3 lần)
- Claude Code Max 10 (200 USD/tháng): Chi phí thực tế ước tính 16,89 USD (tỷ lệ lợi nhuận 11,8 lần)
Ý nghĩa đối với ngành công nghiệp AI
Nếu phân tích này chứng minh chính xác, nó có thể thay đổi cơ bản cách chúng ta nhìn nhận tính bền vững tài chính của ngành AI. Câu chuyện hiện tại về việc đốt tiền không bền vững có thể bị thổi phồng quá mức, đặc biệt đối với các ứng dụng tiêu thụ lượng lớn ngữ cảnh đầu vào trong khi tạo ra đầu ra tối thiểu - chính xác là mô hình được thấy trong các trợ lý lập trình và công cụ phân tích tài liệu.
Tuy nhiên, phân tích này cũng làm nổi bật tại sao một số ứng dụng AI vẫn đắt đỏ. Tạo video, yêu cầu sản xuất đầu ra khổng lồ từ đầu vào tối thiểu, đối mặt với kinh tế tàn khốc dưới cấu trúc chi phí này. Điều này giải thích việc định giá cao cấp và các hạn chế sử dụng mà chúng ta thấy trong các dịch vụ video AI ngày nay.
Cuộc tranh luận đang diễn ra phản ánh sự không chắc chắn rộng lớn hơn về kinh tế AI khi ngành công nghiệp trưởng thành. Mặc dù chi phí suy luận có thể được quản lý hơn so với lo ngại, các khoản đầu tư khổng lồ cần thiết để đào tạo các mô hình cạnh tranh tiếp tục tạo áp lực tài chính trên toàn bộ lĩnh vực.
Tham khảo: Are OpenAI and Anthropic Really Losing Money on Inference?