Một dự án triển khai Large Language Model được viết hoàn toàn bằng Rust đã thu hút sự chú ý của các developer, nhưng không hẳn vì những lý do mà tác giả mong muốn. Dự án này tuyên bố xây dựng một mô hình ngôn ngữ dựa trên transformer từ đầu chỉ sử dụng các dependency cơ bản, nhưng đã trở thành tâm điểm của một cuộc tranh luận sôi nổi về code được tạo bởi AI và các thực tiễn phát triển hiện đại.
Các dấu hiệu cho thấy nguồn gốc từ AI
Các thành viên cộng đồng nhanh chóng nhận ra những dấu hiệu đặc trưng cho thấy dự án này phần lớn được tạo ra bởi các công cụ AI thay vì được viết tay. Bằng chứng bao gồm các comment quá dài dòng không mang lại giá trị gì, cấu trúc code dư thừa, và một README đầy emoji cùng ngôn ngữ kiểu marketing điển hình của đầu ra AI. Một developer đã chỉ ra sự hiện diện của các comment như // Increased for better learning không cung cấp thông tin có ý nghĩa nào, cùng với các định nghĩa hằng số trùng lặp bỏ qua các import đã có từ file thư viện của dự án.
Tác giả sau đó đã xác nhận trên Reddit rằng các công cụ AI thực sự đã được sử dụng trong việc tạo ra dự án, xác thực những nghi ngờ của cộng đồng. Tiết lộ này đã khơi mào những câu hỏi rộng hơn về chất lượng và tính xác thực của việc phát triển có sự hỗ trợ của AI.
Tranh cãi về From Scratch
Mặc dù tuyên bố xây dựng mọi thứ từ đầu, dự án vẫn dựa vào một số dependency bên ngoài bao gồm ndarray cho các phép toán ma trận, rand cho tạo số ngẫu nhiên, và rand_distr cho phân phối thống kê. Những người chỉ trích cho rằng điều này mâu thuẫn với câu chuyện from scratch, mặc dù những người ủng hộ chỉ ra rằng cây dependency vẫn tương đối sạch với chỉ ba dependency trực tiếp mở rộng thành một tập hợp các dependency bắc cầu có thể quản lý được.
Cuộc tranh luận làm nổi bật những căng thẳng đang diễn ra trong cộng đồng phát triển về việc gì cấu thành triển khai thực sự từ đầu so với việc tận dụng các thư viện hiện có, đã được kiểm tra kỹ cho các hoạt động nền tảng.
Các phụ thuộc trực tiếp
- ndarray v0.16.1 - Mảng N chiều cho các phép toán ma trận
- rand v0.9.0 - Tạo số ngẫu nhiên để khởi tạo
- rand_distr v0.5.1 - Phân phối thống kê để khởi tạo tham số
Python Dependency Hell vs Rust Simplicity
Cuộc thảo luận đã có một bước ngoặt thú vị hướng tới việc so sánh trải nghiệm phát triển giữa các ngôn ngữ. Nhiều developer ca ngợi sự đơn giản của hệ thống cargo của Rust , tương phản với những thách thức quản lý dependency khét tiếng của Python . Tuy nhiên, điều này đã khơi mào cuộc tranh luận riêng về việc liệu việc bao gồm dependency dễ dàng có luôn có lợi hay không.
Độ khó của việc bao gồm một dependency nên tỷ lệ thuận với rủi ro bạn đang chấp nhận, có nghĩa là nó không nên khó như trong C nơi mà mọi thư viện khác liên tục phát minh lại cùng 5 tiện ích, nhưng cũng không nên dễ như với npm hoặc cargo , vì bạn sẽ có sự lộn xộn dependency điên rồ.
Một số người cho rằng việc làm cho dependency quá dễ thêm vào có thể dẫn đến các dự án phình to và mối quan ngại về bảo mật, trong khi những người khác phản bác rằng các công cụ hiện đại như uv cho Python đã phần lớn giải quyết các vấn đề quản lý package truyền thống.
Giá trị giáo dục bất chấp nguồn gốc
Bất kể code được tạo ra như thế nào, nhiều developer đã tìm thấy giá trị giáo dục trong cấu trúc rõ ràng và coverage test toàn diện của dự án. Việc triển khai này thể hiện các khái niệm machine learning chính bao gồm kiến trúc transformer, backpropagation, và các giai đoạn training mô hình ngôn ngữ. Thiết kế modular làm cho việc hiểu các thành phần riêng lẻ như cơ chế self-attention và mạng feed-forward trở nên dễ dàng.
Dự án phục vụ như một ví dụ thực tế về cách các công cụ AI hiện đại có thể tạo ra code có thể đọc được, có cấu trúc tốt phục vụ mục đích giáo dục, ngay cả khi nó thiếu sự hiểu biết sâu sắc đến từ việc triển khai thủ công.
Cấu hình Mô hình
- Kích thước Từ vựng: Động (được xây dựng từ dữ liệu huấn luyện)
- Chiều Embedding: 128
- Chiều Ẩn: 256
- Độ dài Chuỗi Tối đa: 80 token
- Kiến trúc: 3 khối Transformer + embedding + phép chiếu đầu ra
Hiệu suất và hạn chế thực tế
Việc triển khai chạy hoàn toàn trên CPU với training trong bộ nhớ, làm cho nó trở thành một bài tập học tập hơn là một công cụ thực tế. Các thành viên cộng đồng lưu ý rằng trong khi thời gian phản hồi tức thì là ấn tượng đối với một thiết lập đơn giản như vậy, khả năng của mô hình bị hạn chế nghiêm trọng bởi tập dữ liệu training nhỏ của nó gồm khoảng 50 câu thực tế được nhúng trực tiếp trong source code.
Kiểm tra cho thấy rằng mô hình nhanh chóng bị hỏng khi được nhắc với các chủ đề ngoài phạm vi training hẹp của nó, tạo ra đầu ra vô nghĩa thể hiện những hạn chế của các phương pháp training tối thiểu như vậy.
Dự án cuối cùng đại diện cho cả tiềm năng và cạm bẫy của việc phát triển có sự hỗ trợ của AI - có khả năng tạo ra code sạch, mang tính giáo dục trong khi đặt ra câu hỏi về tính xác thực và giá trị của việc hiểu các triển khai cơ bản.
Tham khảo: Rust LLM from Scratch