Google đã phát hành LangExtract , một thư viện Python tận dụng các mô hình ngôn ngữ lớn để trích xuất thông tin có cấu trúc từ tài liệu trong khi vẫn duy trì nguồn gốc chính xác. Công cụ này đã tạo ra nhiều cuộc thảo luận sôi nổi trong cộng đồng các nhà phát triển, những người nhìn thấy tiềm năng ứng dụng trên nhiều lĩnh vực khác nhau, từ phân tích tài liệu pháp lý đến xử lý hồ sơ y tế.
So sánh với các giải pháp hiện có
Cộng đồng nhà phát triển đã nhanh chóng so sánh LangExtract với các công cụ hiện có trong lĩnh vực này. Một số lựa chọn thay thế đã xuất hiện trong cuộc thảo luận, bao gồm Unstract , một giải pháp mã nguồn mở cung cấp khả năng tiền xử lý thông qua OCR và kết nối với các nguồn dữ liệu hiện có như một công cụ ETL. Một điểm so sánh khác là thư viện LLM của Simon Willison , hỗ trợ hàng chục mô hình thông qua cơ chế plugin và cung cấp khả năng trích xuất dữ liệu có cấu trúc tương tự.
Điểm khác biệt chính dường như là việc LangExtract tập trung vào nguồn gốc - ánh xạ mọi thông tin trích xuất trở lại vị trí chính xác của nó trong văn bản gốc. Điều này cho phép làm nổi bật trực quan để theo dõi, giải quyết một thách thức phổ biến trong quy trình xử lý tài liệu.
Tính năng chính:
- Định vị nguồn chính xác với tô sáng trực quan
- Thực thi đầu ra có cấu trúc
- Trực quan hóa HTML tương tác
- Hỗ trợ tài liệu lớn (đã thử nghiệm với hơn 147.000 ký tự)
- Khả năng xử lý song song
- Định nghĩa lược đồ không phụ thuộc vào lĩnh vực
Ứng dụng thực tế trên nhiều ngành
Các chuyên gia pháp lý đã thể hiện sự quan tâm đặc biệt đối với tiềm năng của công cụ này trong công việc thẩm định. Phân tích hợp đồng trong các giao dịch đầu tư hoặc mua lại thường yêu cầu luật sư phải xem xét thủ công khối lượng lớn tài liệu để xác định các khái niệm và điều khoản chính. Khả năng trực quan hóa kết quả trích xuất có thể tăng tốc đáng kể quá trình xem xét trong khi vẫn duy trì tiêu chuẩn độ chính xác.
Các ứng dụng y tế cũng được nhấn mạnh trong cuộc thảo luận, mặc dù các nhà phát triển đã bao gồm những tuyên bố miễn trừ trách nhiệm phù hợp về tình trạng hiện tại của công cụ như một bản demo thay vì một sản phẩm y tế được phê duyệt. Thư viện bao gồm các ví dụ về trích xuất thuốc và cấu trúc báo cáo X-quang, thể hiện tiềm năng của nó trong quy trình tài liệu chăm sóc sức khỏe.
Đây giống như chén thánh của việc trích xuất văn bản xác định. Tôi sẽ thử ngay lập tức.
Triển khai kỹ thuật và hỗ trợ mô hình
LangExtract hiện tại hỗ trợ các mô hình dựa trên đám mây như Gemini và các mô hình cục bộ thông qua các endpoint Ollama . Thư viện sử dụng các kỹ thuật tạo có kiểm soát để thực thi các lược đồ đầu ra nhất quán, đặc biệt với các mô hình được hỗ trợ như Gemini . Đối với các nhà phát triển làm việc với các mô hình mã nguồn mở khác, hệ thống có thể được mở rộng thông qua các endpoint suy luận tùy chỉnh.
Công cụ tạo ra các trực quan hóa HTML tương tác từ dữ liệu được trích xuất, cho phép người dùng xem xét hàng nghìn thực thể trong bối cảnh gốc của chúng. Thành phần trực quan này giải quyết thách thức tìm kim trong đống cỏ khô phổ biến trong các tác vụ xử lý tài liệu lớn.
Các Mô Hình Được Hỗ Trợ:
- Dựa trên đám mây: Các mô hình Gemini (yêu cầu khóa API)
- Cục bộ: Các điểm cuối Ollama
- Có thể mở rộng cho các API bên thứ ba khác
- Khóa API có sẵn từ AI Studio hoặc Vertex AI
Tích hợp với hệ thống quản lý tri thức
Một điểm thảo luận thú vị tập trung vào cách LangExtract liên quan đến các phương pháp quản lý tri thức hiện có. Quy trình truyền thống thường sử dụng Nhận dạng thực thể có tên để xây dựng đồ thị tri thức bổ sung cho vector embedding trong các hệ thống RAG . Cộng đồng đang khám phá liệu LangExtract có thể tăng cường hoặc có thể thay thế một số mẫu đã được thiết lập này.
Khả năng xử lý tài liệu hoàn chỉnh trực tiếp từ URL của thư viện, được minh họa thông qua ví dụ Romeo and Juliet xử lý hơn 147.000 ký tự, cho thấy tiềm năng cho các quy trình phân tích tài liệu quy mô lớn. Khả năng này, kết hợp với hỗ trợ xử lý song song, định vị nó như một lựa chọn khả thi cho các tác vụ trích xuất văn bản quy mô doanh nghiệp.
LangExtract đại diện cho sự gia nhập của Google vào không gian trích xuất văn bản có cấu trúc, cung cấp cho các nhà phát triển một công cụ cân bằng độ chính xác trích xuất với khả năng truy xuất nguồn - một sự kết hợp dường như phù hợp với nhu cầu hiện tại của cộng đồng nhà phát triển.
Tham khảo: LangExtract