Apptainer , trước đây được biết đến với tên Singularity , đã nổi lên như một giải pháp container phổ biến trong các môi trường điện toán hiệu năng cao (HPC). Mặc dù công nghệ này hứa hẹn mang lại các container an toàn, di động và dễ sử dụng, nhưng các cuộc thảo luận gần đây trong cộng đồng đã tiết lộ những thách thức thực tế đáng kể mà người dùng gặp phải khi triển khai trong thực tế.
 |
|---|
| Một giao diện có tổ chức hiển thị kết quả container Terraform, tượng trưng cho bối cảnh rộng lớn hơn của các giải pháp container trong môi trường HPC |
Sự Cô Lập Container Tạo Ra Vấn Đề Trong Quy Trình Phát Triển
Thiết kế cơ bản của các container Apptainer đã tạo ra những rào cản bất ngờ cho các nhóm phát triển. Người dùng báo cáo rằng sự cô lập giữa các container khiến việc tạo ra các quy trình làm việc modular trở nên khó khăn, nơi các công cụ khác nhau cần phải hoạt động cùng nhau. Khi các công cụ xây dựng thiết yếu như Make , GCC và Git được đặt trong các container riêng biệt, chúng không thể tương tác hiệu quả với nhau. Điều này buộc các nhóm phải đóng gói mọi thứ vào các container đơn lẻ khổng lồ hoặc từ bỏ hoàn toàn phương pháp container hóa.
Vấn đề còn vượt ra ngoài việc tương tác công cụ đơn giản. Khi các ứng dụng được biên dịch trong container, chúng thường tạo ra các phụ thuộc vào các thư viện chỉ tồn tại bên trong môi trường container đó. Điều này có nghĩa là các chương trình có thể hoạt động chính xác trong quá trình phát triển nhưng lại thất bại khi triển khai, vì chúng không thể truy cập các phụ thuộc cần thiết bên ngoài container gốc của mình.
Apptainer so với các Giải pháp Container Khác
| Tính năng | Apptainer | Docker/Podman | Traditional Modules |
|---|---|---|---|
| Yêu cầu quyền root | Không | Không (chế độ rootless) | Không |
| Phân phối file đơn lẻ | Có (định dạng SIF) | Không (các lớp) | Không |
| Tương tác công cụ | Hạn chế | Hạn chế | Xuất sắc |
| Hỗ trợ cluster HPC | Xuất sắc | Hạn chế | Xuất sắc |
| Tương thích hệ thống file mạng | Xuất sắc | Kém | Xuất sắc |
| Hỗ trợ GPU | Tự nhiên | Tốt | Biến đổi |
Môi Trường HPC Thúc Đẩy Việc Áp Dụng Bất Chấp Những Hạn Chế
Bất chấp những thách thức này, Apptainer vẫn được sử dụng rộng rãi trên các cụm HPC lớn bao gồm Leonardo , LUMI , Fugaku và nhiều trung tâm tính toán đại học khác. Sức hấp dẫn của công nghệ này trong các môi trường này xuất phát từ khả năng chạy mà không cần quyền root và tính tương thích với các tài nguyên tính toán chia sẻ. Không giống như Docker hoặc Podman , các container Apptainer có thể tồn tại hoàn toàn trong thư mục home của người dùng trên các hệ thống tệp mạng, tránh việc cần không gian đĩa cục bộ thường bị hạn chế trên các node tính toán.
Trên một node tính toán, / có thể là 500gb nvme. Đó là tất cả không gian đĩa mà nó có. Người dùng mount $home của họ qua nfs và nhận bất kỳ quota nào chúng tôi chỉ định. Có thể là hàng trăm tb.
Sự khác biệt kiến trúc này trở nên quan trọng khi xử lý quy mô điển hình trong các môi trường HPC , nơi việc sao chép các image container lớn đến hàng nghìn node tính toán sẽ tạo ra các nút thắt mạng và thách thức lưu trữ đáng kể.
Các Cụm HPC Lớn Sử Dụng Apptainer/Singularity
- Leonardo ( EuroHPC )
- LUMI ( EuroHPC )
- Fugaku ( Japan )
- NeSI ( New Zealand )
- Levante ( Germany )
- Các trung tâm tính toán đại học trên toàn thế giới
Sự Khác Biệt Kỹ Thuật Xuất Hiện Giữa Apptainer Và Singularity CE
Hệ sinh thái container đã trở nên phức tạp hơn sau khi dự án Singularity gốc bị tách ra. Apptainer đại diện cho sự tiếp nối của dự án gốc dưới Linux Foundation , trong khi Sylabs duy trì Singularity CE như một nhánh riêng biệt. Mặc dù cả hai hệ thống vẫn tương thích phần lớn, nhưng những khác biệt tinh tế đang xuất hiện và ảnh hưởng đến việc sử dụng thực tế.
Các phát hiện gần đây bao gồm lỗi xử lý múi giờ ảnh hưởng đến một implementation nhưng không ảnh hưởng đến implementation kia, tạo ra các vấn đề tiềm ẩn cho các ứng dụng tính toán khoa học dựa vào tính toán thời gian chính xác. Những sự phân kỳ này làm nổi bật những thách thức trong việc duy trì tính tương thích giữa các codebase tương tự nhưng riêng biệt.
Các Giải Pháp Thay Thế Đạt Được Sức Hút
Những khó khăn thực tế với Apptainer đã khiến một số tổ chức khám phá các phương pháp thay thế. Các hệ thống module truyền thống như TCL (hiện tại là Lua ) modules đang trở lại, cung cấp khả năng tích hợp tốt hơn giữa các thành phần phần mềm khác nhau mà không có các hình phạt cô lập của container. Các hệ thống này cho phép kết hợp và ghép nối các công cụ và phiên bản khác nhau trong khi vẫn duy trì các môi trường có thể tái tạo.
Các nhóm khác đang chuyển sang các giải pháp mới hơn như Flox , cung cấp sandbox ứng dụng dựa trên Nix , hoặc gắn bó với các cấu hình Docker và Podman rootless có thể cung cấp lợi ích bảo mật tương tự với hỗ trợ hệ sinh thái rộng hơn.
Những thách thức đang diễn ra với Apptainer phản ánh các câu hỏi rộng hơn về vai trò của container trong các môi trường tính toán khoa học, nơi nhu cầu tái tạo phải được cân bằng với các yêu cầu thực tế của các quy trình làm việc phức tạp, liên kết với nhau.
Tham khảo: EMPOWER YOUR APPLICATIONS.