Một bài nghiên cứu đột phá được công bố tại ICLR 2023 đã làm sáng tỏ một trong những bí ẩn khó hiểu nhất của deep learning: tại sao các mạng nơ-ron lại huấn luyện thành công ngay cả khi chúng hoạt động trong các vùng bất ổn định về mặt toán học. Nghiên cứu này giới thiệu một khái niệm được gọi là central flows để giải thích cách gradient descent - thuật toán cơ bản đằng sau việc huấn luyện AI - thực sự hoạt động trong thực tế.
Thực Tế Đáng Ngạc Nhiên Của Việc Huấn Luyện Mạng Nơ-ron
Lý thuyết tối ưu hóa truyền thống cho rằng gradient descent nên sử dụng các bước nhỏ, cẩn thận để tránh bất ổn định. Tuy nhiên, nghiên cứu này tiết lộ rằng deep learning thành công lại cố ý hoạt động ở cái mà các nhà khoa học gọi là bờ của sự ổn định. Thay vì đi theo con đường mượt mà mà lý thuyết toán học dự đoán, các mạng nơ-ron dao động mạnh mẽ trong quá trình huấn luyện, thực hiện những bước nhảy có vẻ quá lớn và hỗn loạn để có thể hoạt động hiệu quả.
Cộng đồng đặc biệt hào hứng về phát hiện này vì nó thách thức những giả định lâu nay về tối ưu hóa. Như một nhà nghiên cứu đã lưu ý, lý thuyết tối ưu hóa cổ điển về việc duy trì trong các vùng ổn định về cơ bản là điều mà deep learning không làm - mô hình thực sự học bằng cách trở nên bất ổn định, dao động, và sau đó sử dụng năng lượng đó để tự điều chỉnh.
Những Phát Hiện Nghiên Cứu Chính:
- Học sâu hoạt động ở "ranh giới ổn định" thay vì trong các vùng ổn định
- Quá trình huấn luyện bao gồm hành vi dao động có vẻ hỗn loạn nhưng tuân theo "dòng chảy trung tâm" cơ bản
- Dòng chảy trung tâm kết hợp gradient descent với việc giảm độ nhọn
- Sự bất ổn rõ ràng thực chất là yếu tố thiết yếu cho việc học hiệu quả
- Lý thuyết tối ưu hóa truyền thống không giải thích đầy đủ thành công của học sâu
 |
|---|
| Hiểu về động lực học của gradient descent trong huấn luyện mạng nơ-ron |
Hiểu Về Central Flows
Các nhà nghiên cứu đã phát triển một khung toán học được gọi là central flows để giải thích hành vi có vẻ hỗn loạn này. Hãy nghĩ về nó như một dòng sông chảy qua một thung lũng dốc. Trong khi gradient descent có vẻ như nhảy một cách bất thường qua lại giữa các thành thung lũng, thực tế có một dòng chảy mượt mà chảy xuống giữa đại diện cho hướng học thực sự.
Dòng chảy trung tâm này không chỉ đơn giản đi theo con đường dốc xuống rõ ràng. Thay vào đó, nó di chuyển theo một hướng kết hợp gradient (độ dốc) với cái gọi là giảm độ nhọn - về cơ bản là tìm những con đường dẫn đến các giải pháp phẳng hơn, ổn định hơn. Biểu thức toán học cho thấy rằng thuật toán loại bỏ các thành phần có thể dẫn đến bất ổn định, tạo ra một quá trình học được kiểm soát hơn bên dưới sự hỗn loạn biểu hiện.
Lưu ý: Gradient đề cập đến hướng tăng mạnh nhất trong hàm loss. Sharpness đo lường mức độ thay đổi nhanh của loss theo các hướng khác nhau.
Biểu thức Toán học của Central Flow:
-1/η *dw/dt = ∇L - ∇S* ⟨∇L, ∇S⟩/‖∇S‖²
Trong đó:
- η = tốc độ học
- ∇L = gradient của hàm mất mát
- ∇S = gradient của thước đo độ nhọn
- S = tổng các giá trị riêng của Hessian lớn hơn 2/η
 |
|---|
| Minh họa dòng chảy trung tâm đại diện cho quá trình gradient descent trong tối ưu hóa |
Ý Nghĩa Thực Tiễn Cho Phát Triển AI
Nghiên cứu này đã khơi dậy các cuộc thảo luận về việc liệu những hiểu biết này có thể dẫn đến các phương pháp huấn luyện tốt hơn hay không. Trong khi các tác giả nhấn mạnh rằng central flows chủ yếu là một công cụ lý thuyết để hiểu hơn là một phương pháp tối ưu hóa thực tế, cộng đồng thấy các ứng dụng tiềm năng. Một số nhà nghiên cứu đang khám phá việc liệu lưu trữ trung bình của các lần lặp gần đây thay vì sử dụng momentum truyền thống có thể giảm độ trễ và cải thiện sự hội tụ.
Các phát hiện cũng giải thích tại sao một số optimizer như RMSProp hoạt động tốt trong thực tế, cung cấp nền tảng toán học cho các kỹ thuật trước đây chỉ được hiểu thông qua thử nghiệm và sai lầm. Điều này đại diện cho một bước tiến đáng kể so với những giải thích mơ hồ thường thống trị lĩnh vực này.
 |
|---|
| So sánh các hành vi gradient descent với central flows và gradient flows |
Tác Động Rộng Lớn Đến Lý Thuyết Machine Learning
Nghiên cứu này thay đổi cơ bản cách chúng ta nghĩ về việc huấn luyện mạng nơ-ron. Thay vì xem các dao động và bất ổn định biểu hiện như những vấn đề cần được giải quyết, giờ đây chúng ta hiểu chúng là những đặc điểm thiết yếu của cách deep learning thực sự hoạt động. Sự hỗn loạn không phải là lỗi - đó là một tính năng cho phép hệ thống khám phá không gian giải pháp hiệu quả hơn so với các phương pháp hoàn toàn ổn định.
Công trình này cũng rút ra những điểm tương đồng thú vị với các kỹ thuật tối ưu hóa khác như simulated annealing, nơi tính ngẫu nhiên có kiểm soát giúp thoát khỏi các cực tiểu địa phương. Điều này cho thấy rằng các nguyên lý được khám phá ở đây có thể áp dụng rộng rãi hơn trên các loại thuật toán machine learning và bài toán tối ưu hóa khác nhau.
Tham khảo: Part I. how does gradient descent work?