PyProc , một công cụ mới được xây dựng bằng Go để quản lý các tiến trình worker Python , đã xuất hiện trong cộng đồng lập trình viên như một giải pháp cho những hạn chế khét tiếng của Global Interpreter Lock (GIL) trong Python . Công cụ này hứa hẹn chạy các tiến trình Python được cô lập với khả năng song song thực sự, nhưng các cuộc thảo luận trong cộng đồng tiết lộ những lo ngại sâu sắc hơn về các giải pháp thay thế hiện có và những cân nhắc về bảo mật.
Dự án này giải quyết các thách thức xử lý đa nhân của Python bằng cách sinh ra các tiến trình thông dịch Python riêng biệt, mỗi tiến trình hoàn toàn cô lập với những tiến trình khác. Cách tiếp cận này bỏ qua hoàn toàn GIL , cho phép thực thi song song thực sự của mã Python trên nhiều nhân CPU .
Các Tính Năng Chính của PyProc :
- 100% các tiến trình Python được cô lập với bộ nhớ chia sẻ bằng không
- Tính song song thực sự thông qua nhiều tiến trình thông dịch Python
- Triển khai đơn giản với phân phối nhị phân đơn lẻ
- Sử dụng bộ nhớ ổn định để ngăn chặn lỗi
- Kiến trúc hướng thông điệp xử lý hàng tỷ thao tác
Các giải pháp hiện có đã sẵn sàng
Các thành viên cộng đồng nhanh chóng chỉ ra các giải pháp thay thế đã được thiết lập, đặc biệt là framework go-plugin của HashiCorp . Giải pháp trưởng thành này đã cung cấp chức năng tương tự với hỗ trợ cho cả giao thức net/rpc và gRPC , cho phép các tiến trình bên ngoài được viết bằng Python . Framework này xử lý việc sinh và quản lý tiến trình một cách tự động, và đã chứng minh độ tin cậy thông qua việc sử dụng rộng rãi trong các sản phẩm HashiCorp như Nomad và Packer .
Cuộc thảo luận đặt ra câu hỏi liệu PyProc có mang lại lợi thế đáng kể so với những giải pháp đã được thử nghiệm kỹ lưỡng này hay không, hoặc liệu nó có đang tái phát minh những bánh xe đã có.
Các Giải Pháp Thay Thế Được Đề Cập:
- HashiCorp go-plugin: Framework trưởng thành với hỗ trợ net/rpc và gRPC, được sử dụng trong Nomad và Packer
- Starlark: Cung cấp các đảm bảo hermetic mạnh mẽ hơn cho việc thực thi trong môi trường sandbox
- Microservices tiêu chuẩn: Phương pháp truyền thống cho việc cô lập tiến trình và khả năng mở rộng
Mối quan ngại về bảo mật và sandbox
Một phần đáng kể của cuộc thảo luận cộng đồng tập trung vào việc Python thiếu khả năng sandbox phù hợp. Các lập trình viên bày tỏ sự thất vọng về việc chạy các script Python do người dùng định nghĩa một cách an toàn, đặc biệt là việc không thể vô hiệu hóa các system call của filesystem và network cho mã không đáng tin cậy.
Tôi ước Python có cấu hình sandbox phù hợp. Điều này sẽ rất tuyệt cho các script do người dùng định nghĩa nhưng chỉ khi tôi có thể vô hiệu hóa các syscall filesystem và network cho mã do người dùng định nghĩa.
Trong khi một số người đề xuất sử dụng Unix Domain Sockets để cô lập giao tiếp và các hạn chế dựa trên container, những người khác khuyến nghị Starlark như một giải pháp thay thế với các đảm bảo hermetic mạnh mẽ hơn. Các phương pháp cô lập truyền thống như chroot bị bác bỏ vì không đủ cho mục đích bảo mật.
Câu hỏi về kiến trúc microservices
Kiến trúc cơ bản của PyProc cũng thu hút sự xem xét kỹ lưỡng từ các lập trình viên đặt câu hỏi về sự khác biệt của nó so với microservices tiêu chuẩn. Những người chỉ trích tự hỏi việc chạy một pool các tiến trình worker Python khác biệt có ý nghĩa như thế nào so với việc triển khai các microservices dựa trên Python , vốn đã cung cấp cô lập tiến trình và khả năng mở rộng.
Việc đặt câu hỏi này làm nổi bật một cuộc tranh luận rộng hơn về việc liệu sự phức tạp của quản lý process pool có biện minh cho những lợi ích so với các mẫu kiến trúc đơn giản hơn mà các lập trình viên đã hiểu và tin tưởng.
Ứng dụng thực tế và tiềm năng tương lai
Bất chấp những chỉ trích, một số lập trình viên thấy các ứng dụng tiềm năng cho PyProc , đặc biệt trong việc thay thế các hệ thống quản lý workflow phức tạp. Cách tiếp cận của công cụ này trong việc xử lý các workload Python tập trung vào CPU có thể chứng tỏ có giá trị cho các ứng dụng khoa học dữ liệu và các tác vụ suy luận machine learning nơi GIL trở thành một nút thắt cổ chai đáng kể.
Cuộc thảo luận cộng đồng phản ánh thách thức đang diễn ra trong việc cân bằng tính dễ sử dụng của Python với các yêu cầu hiệu suất trong môi trường production. Trong khi PyProc đưa ra một cách tiếp cận cho vấn đề này, cuộc tranh luận cho thấy các lập trình viên đang cân nhắc cẩn thận nó so với các giải pháp hiện có, đã được chứng minh.
Tham khảo: pyproc