StreamNative đã ra mắt Ursa Engine , một nền tảng streaming dữ liệu mới hứa hẹn giảm đáng kể chi phí so với các triển khai Apache Kafka truyền thống. Công ty tuyên bố các doanh nghiệp có thể đạt được mức giảm chi phí lên đến 95% và tăng tốc độ mở rộng nhanh hơn 1000 lần, đồng thời duy trì khả năng tương thích hoàn toàn với Kafka API . Tuy nhiên, thông báo này đã gây ra cuộc tranh luận sôi nổi trong cộng đồng nhà phát triển về độ chính xác của benchmark và bản chất độc quyền của nền tảng.
So sánh chi phí:
- Ursa : 50 USD mỗi giờ cho khối lượng công việc GB/s
- Tuyên bố giảm chi phí: Lên đến 95% so với Kafka truyền thống
- Cải thiện hiệu suất: Mở rộng nhanh hơn 1000 lần, thông lượng cao hơn 2.5 lần
- Dựa trên triển khai AWS đa vùng không có lưu trữ phân tầng
 |
|---|
| Đồ họa này minh họa sự phức tạp và chi phí ẩn liên quan đến các triển khai Kafka truyền thống, tạo bối cảnh cho các tuyên bố về chi phí của Ursa Engine |
Các tuyên bố giảm chi phí đối mặt với sự xem xét kỹ lưỡng
Tuyên bố thu hút sự chú ý nhất tập trung vào việc chạy các khối lượng công việc Kafka thông lượng cao chỉ với 50 đô la Mỹ mỗi giờ cho xử lý gigabyte mỗi giây. StreamNative đã công bố một so sánh chi phí chi tiết cho thấy khối lượng công việc Kafka 5 GB/s sẽ rẻ hơn đáng kể trên Ursa so với các đối thủ cạnh tranh như WarpStream , Amazon MSK và Redpanda . Phân tích này giả định triển khai đa vùng trên AWS mà không kích hoạt lưu trữ phân tầng.
Tuy nhiên, các chuyên gia trong ngành đang phản bác những con số này. Một nhân viên của Redpanda đã chỉ ra các lỗ hổng tiềm ẩn trong phương pháp benchmark, đặc biệt là xung quanh chi phí lưu lượng truy cập giữa các vùng khả dụng. Họ lưu ý rằng với việc định hình lưu lượng truy cập phù hợp và các tính năng tìm nạp follower, sự khác biệt chi phí được tuyên bố có thể được giảm đáng kể, gọi việc so sánh này là benchmarketing thiếu thiện chí.
 |
|---|
| Hình ảnh này thể hiện khái niệm về việc phân tích giảm chi phí và các cạm bẫy tiềm ẩn trong việc đánh giá hiệu suất của Ursa Engine so với các đối thủ cạnh tranh |
Lời hứa và câu hỏi về kiến trúc không có leader
Sự đổi mới cốt lõi của Ursa nằm ở kiến trúc không có leader tách biệt metadata khỏi lưu trữ dữ liệu. Không giống như các triển khai Kafka truyền thống yêu cầu các giao thức đồng thuận dựa trên leader, Ursa tuyên bố loại bỏ nhu cầu định tuyến lưu lượng truy cập qua các broker lead đơn lẻ. Thiết kế này được cho là giảm lưu lượng truy cập đắt tiền giữa các vùng làm tăng chi phí trong các triển khai đa vùng khả dụng.
Cộng đồng kỹ thuật vẫn tò mò về cách tiếp cận không có leader này thực sự hoạt động như thế nào. Các nhà phát triển quen thuộc với các giao thức đồng thuận lưu ý rằng cả Kafka và Pulsar đều dựa vào các hệ thống dựa trên leader để cung cấp các đảm bảo của chúng, đặt ra câu hỏi về những đánh đổi mà Ursa thực hiện để đạt được thiết kế không có leader của mình. StreamNative giải thích họ sử dụng Apache BookKeeper cho các khối lượng công việc nhạy cảm với độ trễ và object storage cho các kịch bản được tối ưu hóa chi phí.
Lưu ý: Các giao thức đồng thuận là các phương pháp cho phép các hệ thống phân tán thống nhất về tính nhất quán và thứ tự dữ liệu trên nhiều máy chủ.
Kiến trúc Kỹ thuật:
- Thiết kế Không Có Leader: Loại bỏ việc định tuyến qua single lead broker
- Tùy chọn Lưu trữ: Object storage ( AWS S3 , GCP GCS , Azure Blob ) để tối ưu hóa chi phí; Apache BookKeeper cho các workload độ trễ thấp
- Tích hợp Lakehouse: Hỗ trợ native cho các định dạng Apache Iceberg và Delta Lake
- Hỗ trợ Protocol: Tương thích đầy đủ với Kafka API cộng với protocol Apache Pulsar
Lời hứa mã nguồn mở gặp phải sự hoài nghi của cộng đồng
Có lẽ vấn đề gây tranh cãi nhất là trạng thái độc quyền hiện tại của Ursa . Nền tảng này chỉ có sẵn thông qua dịch vụ đám mây của StreamNative , mặc dù đồng sáng lập Sijie Guo hứa sẽ mở mã nguồn các thành phần cốt lõi sớm. Điều này đã kích hoạt những lo ngại quen thuộc trong cộng đồng nhà phát triển về việc các công ty sử dụng lời hứa mã nguồn mở cho marketing trong khi duy trì kiểm soát độc quyền.
Mọi người nghi ngờ về việc bị lừa. Đã có nhiều trường hợp như vậy trong quá khứ, nơi các công ty quảng cáo với FOSS , nhưng không có ý nghĩa thực sự.
Sự cảnh giác của cộng đồng xuất phát từ những kinh nghiệm lặp đi lặp lại với các công ty ban đầu hứa hẹn phát hành mã nguồn mở nhưng sau đó thay đổi hướng đi. Các nhà phát triển đặc biệt quan tâm đến khả năng tự lưu trữ, tin rằng họ có thể đạt được chi phí thậm chí còn thấp hơn bằng cách triển khai trực tiếp trên cơ sở hạ tầng đám mây thay vì thông qua dịch vụ được quản lý của StreamNative .
Tích hợp Lakehouse làm cho Ursa khác biệt
Ngoài các tuyên bố về chi phí, Ursa phân biệt bản thân thông qua tích hợp gốc với các kiến trúc lakehouse. Nền tảng lưu trữ dữ liệu trực tiếp trong các định dạng bảng mở như Apache Iceberg và Delta Lake , loại bỏ nhu cầu về các connector riêng biệt và giảm sự trùng lặp dữ liệu giữa các hệ thống streaming và phân tích. Sự tích hợp này với các thành phần ngăn xếp dữ liệu hiện đại như Snowflake's Open Catalog đại diện cho một sự thay đổi kiến trúc đáng kể từ các nền tảng streaming truyền thống.
Thời điểm này phù hợp với các xu hướng ngành rộng lớn hơn hướng tới các kiến trúc cơ sở dữ liệu dựa trên object storage. Tương tự như cách Snowflake đã cách mạng hóa kho dữ liệu bằng cách áp dụng object storage vào năm 2016, các nền tảng streaming hiện đang theo suit. Ursa tham gia cùng các giải pháp streaming dựa trên object storage khác như AutoMQ và WarpStream hiện đã ngừng hoạt động trong danh mục mới nổi này.
Bối cảnh cạnh tranh:
- Đối thủ cạnh tranh trực tiếp: WarpStream (đã ngừng hoạt động), AutoMQ , Amazon MSK , Redpanda
- Vị thế thị trường: Nền tảng streaming dựa trên object storage
- Khả năng sẵn có: Hiện tại chỉ có trên cloud thông qua StreamNative ; phiên bản mã nguồn mở đã được hứa hẹn
- Hỗ trợ Cloud: AWS , Google Cloud Platform , Microsoft Azure
 |
|---|
| Đồ họa này phác thảo quá trình di chuyển từ các dịch vụ Kafka sang Ursa Engine của StreamNative, thể hiện quá trình chuyển đổi hướng tới các kiến trúc dữ liệu mới |
Kết luận
Ursa Engine đại diện cho một nỗ lực đầy tham vọng để tái tưởng tượng cơ sở hạ tầng streaming dữ liệu cho kỷ nguyên đám mây. Trong khi những tiết kiệm chi phí được hứa hẹn và các đổi mới kiến trúc rất hấp dẫn, nền tảng này đối mặt với những câu hỏi chính đáng về phương pháp benchmark và cam kết mã nguồn mở dài hạn. Khi thị trường dữ liệu streaming tiếp tục phát triển hướng tới object storage và tích hợp lakehouse, thành công của Ursa có thể sẽ phụ thuộc vào việc cung cấp các so sánh hiệu suất minh bạch và thực hiện theo các lời hứa mã nguồn mở. Cộng đồng nhà phát triển vẫn lạc quan một cách thận trọng nhưng rõ ràng mong đợi nhiều bằng chứng cụ thể hơn trước khi áp dụng rộng rãi.
Tham khảo: Ursa Engine