Nỗ lực đầy tham vọng của Amsterdam trong việc xây dựng hệ thống trí tuệ nhân tạo công bằng để phát hiện gian lận phúc lợi đã kết thúc trong thất bại, làm nổi bật những thách thức phức tạp trong việc loại bỏ thiên kiến trong các hệ thống AI. Thủ đô Hà Lan đã dành nhiều năm phát triển thứ mà họ hy vọng sẽ là một mô hình học máy không thiên kiến, chỉ để phát hiện ra rằng việc khắc phục phân biệt đối xử với một nhóm thường tạo ra những vấn đề mới cho các nhóm khác.
Cơ quan an sinh xã hội của thành phố, Dienst , đã thiết kế hệ thống để dự đoán những đơn xin phúc lợi nào xứng đáng được điều tra thêm. Không giống như nhiều hệ thống AI của chính phủ hoạt động trong bí mật, Amsterdam đã có nỗ lực thực sự để giải quyết các mối quan ngại về công bằng và thậm chí còn chia sẻ mã nguồn và phương pháp của họ với các nhà điều tra.
Vấn đề sự thật cơ bản khiến AI công bằng gần như không thể đạt được
Cuộc thảo luận cộng đồng tiết lộ một thách thức cơ bản khiến việc đạt được các hệ thống AI thực sự công bằng trở nên cực kỳ khó khăn. Vấn đề cốt lõi là thứ mà các chuyên gia gọi là vấn đề sự thật cơ bản - chúng ta đơn giản là không biết tỷ lệ gian lận thực tế giữa các nhóm nhân khẩu học khác nhau vì các cuộc điều tra do con người dẫn dắt trước đây bản thân cũng có thể bị thiên kiến.
Một phần lớn của khó khăn trong nỗ lực như vậy là chúng ta không biết sự thật cơ bản. Một mô hình được coi là công bằng hoặc không thiên kiến nếu hiệu suất của nó tốt như nhau đối với tất cả các nhóm.
Điều này tạo ra một vấn đề tuần hoàn. Để xây dựng một hệ thống không thiên kiến, bạn cần dữ liệu huấn luyện không thiên kiến. Nhưng nếu dữ liệu lịch sử của bạn đến từ các quyết định thiên kiến của con người, AI của bạn sẽ học và khuếch đại những thiên kiến tương tự. Amsterdam đã cố gắng giải quyết điều này bằng cách điều chỉnh trọng số của mô hình, nhưng cách tiếp cận này dẫn đến những hậu quả không mong muốn.
Các Tính Năng Mô Hình Được Sử Dụng Bởi Hệ Thống Của Amsterdam:
- Tỷ lệ phần trăm tham gia các hoạt động phúc lợi trong năm trước
- Tình trạng suy giảm tinh thần gần đây
- Cuộc hẹn phỏng vấn được lên lịch bởi cán bộ quản chế
- Tổng số tiền nợ quá hạn và tình trạng hỗ trợ nợ
- Thời gian nhận phúc lợi
- Lịch sử trợ cấp trước đây và tình trạng thanh toán thiếu
- Mức phạt trung bình cho việc vi phạm quy định phúc lợi
Tái cân bằng tạo ra vấn đề mới trong khi giải quyết vấn đề cũ
Giải pháp của Amsterdam bao gồm một kỹ thuật gọi là tái cân bằng để giảm thiên kiến đối với những người nộp đơn không phải người Hà Lan. Ban đầu, mô hình đánh dấu những người có xuất thân di cư với tỷ lệ cao hơn nhiều - 55,36% so với 34,53% đối với những người nộp đơn Hà Lan. Quá trình tái cân bằng đã thành công trong việc giảm sự chênh lệch này.
Tuy nhiên, khi được triển khai trong thế giới thực trong một thí điểm ba tháng, thiên kiến không biến mất - nó đảo ngược hướng. Mô hình đã điều chỉnh bắt đầu đánh dấu sai công dân Hà Lan và phụ nữ với tỷ lệ cao hơn so với các nhóm mà nó ban đầu được thiết kế để bảo vệ. Phụ nữ trở nên có khả năng bị đánh dấu sai cao hơn 12% so với nam giới.
Kết quả này minh họa một thực tế toán học mà nhiều người ủng hộ công bằng thường bỏ qua: cải thiện công bằng cho một nhóm thường đòi hỏi phải đánh đổi ảnh hưởng đến các nhóm khác. Bạn không thể tối ưu hóa cho tất cả các định nghĩa về công bằng cùng một lúc.
Chỉ số Thiên kiến Trước và Sau Tái cân bằng Trọng số:
- Mô hình gốc: Ứng viên không phải người Dutch bị gắn cờ ở mức 55.36% so với người Dutch ở mức 34.53%
- Sau tái cân bằng trọng số: Thiên kiến giảm đối với người không phải Dutch nhưng chuyển sang các nhóm khác
- Kết quả thí điểm: Phụ nữ có khả năng bị gắn cờ sai cao hơn 12% so với nam giới
- Hiệu suất: Khả năng phát hiện tổng thể giảm trong khi khối lượng điều tra tăng
Suy giảm hiệu suất giết chết dự án
Ngoài các vấn đề thiên kiến, hiệu suất tổng thể của mô hình đã suy giảm đáng kể trong quá trình thử nghiệm thực tế. Thay vì giảm các cuộc điều tra như dự định, hệ thống thực sự tăng khối lượng công việc trong khi hầu như không cải thiện việc phát hiện các trường hợp gian lận thực tế.
Thí điểm đã đánh dấu 3.510 người để điều tra trong ba tháng, nhưng chỉ tìm thấy bằng chứng về việc trả thiếu trong 526 trường hợp. Đáng lo ngại hơn, 626 cuộc điều tra phải được đóng mà không tìm thấy đủ bằng chứng, và 17 người nộp đơn xin phúc lợi đã kháng cáo thành công các cuộc điều tra của họ vì bị áp đặt một cách sai trái.
Các nhà quan sát cộng đồng lưu ý rằng bài viết tập trung nhiều vào các chỉ số công bằng nhưng cung cấp ít bằng chứng về hiệu quả của hệ thống trong việc thực sự bắt gian lận hoặc tiết kiệm tiền thuế. Điều này làm nổi bật một vấn đề phổ biến với các sáng kiến công bằng AI - chúng thường ưu tiên việc xuất hiện công bằng hơn là hữu ích.
Kết quả thí điểm (giai đoạn 3 tháng):
- Tổng số người được gắn cờ: 3.510 người
- Các trường hợp hợp lệ được phát hiện: 526 trường hợp thanh toán thiếu
- Đóng mà không có bằng chứng: 626 cuộc điều tra
- Các cuộc điều tra bị ngừng: 11 trường hợp
- Kháng cáo thành công: 17 trường hợp (điều tra sai)
Bài học cho phát triển AI trong tương lai
Kinh nghiệm của Amsterdam cung cấp những bài học có giá trị cho các chính phủ và tổ chức khác đang cố gắng xây dựng các hệ thống AI công bằng. Dự án chứng minh rằng ý định tốt và tính minh bạch không đủ để vượt qua những thách thức toán học và triết học cơ bản của công bằng thuật toán.
Thành phố cuối cùng đã đưa ra quyết định đúng đắn khi từ bỏ dự án thay vì triển khai một hệ thống hoạt động tệ hơn các nhà điều tra con người trong khi vẫn thể hiện thiên kiến. Sự thừa nhận thất bại một cách trung thực này, mặc dù đáng thất vọng, cho thấy tính chính trực hơn nhiều tổ chức triển khai các hệ thống thiên kiến mà không có đánh giá phù hợp.
Trường hợp này cũng tiết lộ tại sao việc định nghĩa công bằng lại gây tranh cãi như vậy. Các định nghĩa toán học khác nhau về công bằng có thể mâu thuẫn với nhau, buộc các nhà phát triển phải đưa ra những phán đoán giá trị về việc nhóm nào xứng đáng được bảo vệ và những sự đánh đổi nào có thể chấp nhận được. Những quyết định này vốn dĩ mang tính chính trị và không thể được giải quyết chỉ thông qua các phương tiện kỹ thuật.
Thí nghiệm thất bại của Amsterdam phục vụ như một câu chuyện cảnh báo về những giới hạn của công nghệ AI hiện tại trong các ứng dụng nhạy cảm. Cho đến khi chúng ta phát triển các phương pháp tốt hơn để xử lý thiên kiến và cải thiện dữ liệu sự thật cơ bản, các hệ thống AI thực sự công bằng có thể vẫn là một mục tiêu khó nắm bắt hơn là một thực tế có thể đạt được.
Tham khảo: Here we investigated Amsterdam's attempt to build a 'fair' fraud detection model