Thư viện TypeScript Pickaxe đối mặt với thách thức về streaming và tính ổn định bất chấp kiến trúc AI Agent đầy hứa hẹn

Nhóm Cộng đồng BigGo
Thư viện TypeScript Pickaxe đối mặt với thách thức về streaming và tính ổn định bất chấp kiến trúc AI Agent đầy hứa hẹn

Pickaxe , một thư viện TypeScript mới để xây dựng các AI agent có khả năng mở rộng, đã tạo ra sự quan tâm đáng kể trong cộng đồng nhà phát triển. Được xây dựng trên hệ thống hàng đợi tác vụ bền vững của Hatchet , thư viện này hứa hẹn sẽ xử lý việc điều phối phức tạp trong khi cho phép các nhà phát triển tập trung vào logic kinh doanh. Tuy nhiên, những người dùng đầu tiên đang đặt ra những câu hỏi quan trọng về các tính năng còn thiếu và những lo ngại về tính ổn định cơ bản.

Tính năng chính

  • Thực thi bền vững với các điểm kiểm tra tự động
  • Được xây dựng trên hệ thống hàng đợi tác vụ Hatchet
  • Kiến trúc agent dựa trên hàm
  • Hỗ trợ TypeScript với xác thực schema
  • Thực thi phân tán trên nhiều máy

Real-Time Streaming vẫn là khoảng trống lớn

Một trong những vấn đề cấp bách nhất mà các nhà phát triển đang thảo luận là việc thiếu khả năng streaming thời gian thực. Hạn chế này đặc biệt có vấn đề đối với các trợ lý lập trình và ứng dụng AI tương tác nơi người dùng mong đợi phản hồi ngay lập tức. Đội ngũ phát triển thừa nhận khoảng trống này và đã hứa hẹn streaming từ agent đến client trong vòng vài tuần, nhưng tính năng này vẫn chưa sẵn sàng cho việc sử dụng trong sản xuất.

Thách thức streaming trở nên phức tạp hơn trong các hệ thống phân tán nơi người dùng có thể tải lại trang hoặc quay lại sau thời gian dài. Việc duy trì các kết nối liên tục và luồng tin nhắn có thể tiếp tục trên nhiều máy đòi hỏi cơ sở hạ tầng tinh vi mà Pickaxe vẫn chưa giải quyết hoàn toàn.

Mối lo ngại về tính linh hoạt trong tích hợp LLM

Các nhà phát triển cũng đang đặt câu hỏi về cách tiếp cận tích hợp mô hình ngôn ngữ của Pickaxe . Thư viện này tích hợp AI SDK của Vercel cho các cuộc gọi LLM, nhưng điều này tạo ra hạn chế cho các đội muốn sử dụng các tính năng tiên tiến từ các nhà cung cấp AI. Một số nhà phát triển thích có quyền kiểm soát trực tiếp việc lựa chọn mô hình, xây dựng prompt và quản lý lịch sử tin nhắn thay vì dựa vào các giải pháp tích hợp sẵn.

Do tốc độ các nhà cung cấp AI lặp lại trên API của họ nhanh như thế nào, nhiều tính năng đến AI SDK muộn hơn vài tuần hoặc vài tháng.

Đội ngũ đang xem xét các giải pháp như nạp chồng mô hình ngôn ngữ mặc định với các bản đồ cho các trường hợp sử dụng khác nhau hoặc cho phép các nhà phát triển thoát khỏi công cụ chọn lựa để triển khai tùy chỉnh.

Hạn chế hiện tại

  • Không có streaming thời gian thực (sẽ có trong vài tuần tới)
  • Tính linh hoạt tích hợp LLM hạn chế
  • Mối lo ngại về tính ổn định với nền tảng Hatchet cơ bản
  • Nhầm lẫn tên với nền tảng Pickaxe.co hiện có
  • AI SDK đi kèm có thể chậm hơn so với các API của nhà cung cấp

Câu hỏi về tính ổn định cơ bản

Có lẽ đáng lo ngại nhất là các vấn đề ổn định với Hatchet , công cụ thực thi cơ bản cung cấp sức mạnh cho Pickaxe . Những người dùng lâu năm đã bày tỏ sự thất vọng về tính ổn định và hiệu suất của nền tảng, với một số người thẳng thắn tuyên bố rằng Hatchet không ổn định. Điều này đặt ra câu hỏi về việc xây dựng các hệ thống sản xuất trên nền tảng có thể chưa sẵn sàng cho việc sử dụng doanh nghiệp.

Đội ngũ Hatchet thừa nhận những lo ngại này và giải thích rằng họ đang làm việc để tối ưu hóa các trường hợp sử dụng đa tác vụ và đồng thời. Họ tuyên bố rằng các khối lượng công việc FIFO tác vụ đơn có thể xử lý hơn 10.000 thao tác mỗi giây, nhưng hiệu suất thực tế với các quy trình agent phức tạp có thể khác biệt đáng kể.

Tuyên bố về Hiệu suất

  • Single-task FIFO : >10,000 thao tác/giây
  • Hỗ trợ hàng trăm nghìn tác vụ mỗi lần thực thi
  • Hàng tỷ tác vụ được xử lý hàng tháng
  • Hiệu suất I/O-bound với cấu hình ổ đĩa phù hợp

Nhầm lẫn tên gọi làm tăng thêm rào cản áp dụng

Thêm vào những thách thức, thư viện này chia sẻ tên với Pickaxe.co , một nền tảng low-code đã được thiết lập để xây dựng chatbot đã hoạt động hơn hai năm. Xung đột tên gọi này có thể tạo ra sự nhầm lẫn trên thị trường và khiến các nhà phát triển khó tìm tài liệu và tài nguyên liên quan hơn.

Bất chấp những thách thức này, kiến trúc cốt lõi của Pickaxe cho thấy tiềm năng. Mô hình thực thi bền vững với các checkpoint tự động có thể giải quyết các vấn đề thực tế trong phát triển AI agent, đặc biệt là cho các quy trình chạy dài cần tồn tại qua các lỗi phần cứng. Cách tiếp cận dựa trên hàm của thư viện cũng hấp dẫn các nhà phát triển muốn có nhiều quyền kiểm soát hơn đối với việc triển khai agent của họ so với các framework nặng nề.

Sự thành công của Pickaxe có thể sẽ phụ thuộc vào việc đội ngũ có thể giải quyết nhanh chóng các hạn chế streaming, cải thiện tính ổn định nền tảng cơ bản và cung cấp nhiều tính linh hoạt hơn cho các trường hợp sử dụng nâng cao. Hiện tại, các nhà phát triển có thể muốn đánh giá cẩn thận những đánh đổi này trước khi cam kết với Pickaxe cho các ứng dụng sản xuất.

Tham khảo: Pickaxe: A Typescript library for building AI agents that scale