Vì sao AI trả lời sai mà vẫn tự tin?
Mô hình ngôn ngữ sinh ra câu nghe hợp lý, không phải câu đúng. Vì sao nó không tự biết mình sai, sai ở đâu nhiều nhất, và cách nào giảm được rủi ro này.
Vì mô hình ngôn ngữ được làm ra để sinh câu nghe hợp lý, không phải để sinh câu đúng. Hai việc đó thường trùng nhau, nhưng không phải luôn luôn.
Và vì mặc định nó không có cơ chế nào để nói “tôi không biết”. Khi không có thông tin, nó vẫn sinh ra một câu trả lời — với đúng văn phong tự tin như khi nó đúng.
Hiện tượng này trong ngành gọi là ảo giác (hallucination). Nó không phải lỗi của một sản phẩm cụ thể mà là đặc tính của cách các mô hình này hoạt động.
Cơ chế, nói gọn
Mô hình ngôn ngữ dự đoán chữ tiếp theo dựa trên các quy luật rút ra từ khối lượng văn bản rất lớn.
Khi anh chị hỏi một điều nó đã “gặp” nhiều lần, chữ tiếp theo có xác suất cao thường cũng là chữ đúng. Khi anh chị hỏi một điều cụ thể mà nó chưa gặp — số hiệu một văn bản, tên một cán bộ, số liệu một năm cụ thể — nó vẫn chọn chữ có xác suất cao nhất.
Kết quả là một câu trông đúng dạng: số hiệu văn bản đúng khuôn, tên đúng kiểu tên Việt, con số đúng độ lớn hợp lý. Chỉ có điều nó không tồn tại.
Đây là chỗ nguy hiểm nhất. Một câu trả lời sai lộ liễu thì dễ bỏ. Một câu trả lời sai nhưng đúng khuôn thì lọt qua.
Vì sao nó thuyết phục đến thế?
Ba lý do, cộng lại thành một câu trả lời khó nghi ngờ.
Văn phong trôi chảy. Không có dấu hiệu ngập ngừng nào. Con người khi không chắc thường nói vòng, hạ giọng, thêm “có lẽ”. Mô hình thì không.
Cấu trúc đúng. Đủ mở bài, đủ luận điểm, đủ kết luận. Hình thức của một câu trả lời đúng.
Trích dẫn trông thật. Nó có thể tạo ra số hiệu văn bản, tên điều khoản, thậm chí tên tác giả và năm — tất cả đúng khuôn và tất cả không tồn tại. Đây là dạng sai gây hậu quả nặng nhất trong môi trường hành chính và pháp lý.
Nó sai nhiều nhất ở đâu?
| Loại thông tin | Mức rủi ro | Vì sao |
|---|---|---|
| Số liệu cụ thể | Rất cao | Nó sinh ra con số hợp lý, không tra con số thật |
| Số hiệu, tên văn bản pháp luật | Rất cao | Đúng khuôn nên rất khó phát hiện |
| Tên riêng, chức danh | Cao | Ghép sai tên với chức vụ là lỗi thường gặp |
| Mốc thời gian | Cao | Đặc biệt với những gì mới xảy ra |
| Giải thích nguyên lý chung | Thấp hơn | Đây là chỗ nó mạnh nhất |
- Giải thích nguyên lý chungChỗ mô hình mạnh nhất
- Mốc thời gianĐặc biệt với những gì mới xảy ra
- Tên riêng, chức danhHay ghép sai tên với chức vụ
- Số hiệu, tên văn bản pháp luậtĐúng khuôn nên rất khó phát hiện
- Số liệu cụ thểSinh ra con số hợp lý, không tra con số thật
Quy luật đáng nhớ: càng cụ thể càng rủi ro. Hỏi “nguyên tắc chung khi xử lý loại hồ sơ này là gì” an toàn hơn nhiều so với hỏi “điều mấy của nghị định nào quy định việc này”.
Cách nào giảm được?
Buộc nó trả lời dựa trên tài liệu, có trích dẫn. Đây là cách hiệu quả nhất và là cách các hệ thống trợ lý nội bộ nghiêm túc đều dùng: hệ thống tìm đoạn tài liệu liên quan trước, rồi mới để mô hình viết câu trả lời dựa trên đoạn đó, kèm chỉ rõ lấy từ đâu. Người dùng mở ra đối chiếu được.
Cách này không loại bỏ hoàn toàn rủi ro — mô hình vẫn có thể diễn giải sai đoạn tài liệu — nhưng nó biến một câu trả lời không kiểm chứng được thành một câu trả lời kiểm chứng được. Khác biệt rất lớn.
Cho phép nó nói không biết. Hệ thống phải được cấu hình để từ chối khi không tìm được căn cứ, thay vì cố trả lời. Đây là yêu cầu nên ghi vào đặc tả kỹ thuật, vì mặc định nó không làm như vậy.
Thu hẹp phạm vi. Một trợ lý phục vụ một nhóm nghiệp vụ cụ thể, với kho tài liệu giới hạn, sai ít hơn nhiều so với một trợ lý trả lời mọi thứ.
Giữ tài liệu luôn đúng bản hiệu lực. Một hệ thống trả lời chính xác theo quy định đã hết hiệu lực vẫn là trả lời sai. Phần này được nói kỹ ở bài Dữ liệu: chỗ mọi dự án AI mắc lại.
Giữ người ở cuối quy trình. Đây là biện pháp cuối và không bỏ được. Bài AI làm được gì và không làm được gì nói kỹ hơn về ranh giới này.
Cách nào không giảm được?
Viết câu hỏi hay hơn. Có giúp, nhưng không giải quyết gốc. Một câu hỏi hoàn hảo về một thông tin không có trong dữ liệu vẫn nhận được câu trả lời bịa.
Dùng mô hình lớn hơn. Mô hình mạnh hơn sai ít hơn, nhưng vẫn sai, và vẫn sai theo cùng cách — tự tin. Đổi mô hình không phải là biện pháp kiểm soát.
Bảo nó “chỉ trả lời nếu chắc chắn”. Nó không có thang đo chắc chắn đáng tin để tự đối chiếu. Câu dặn đó có tác dụng hạn chế và không nên coi là biện pháp.
- Buộc trả lời dựa trên tài liệu, có trích dẫn
- Cho phép nói không biết
- Thu hẹp phạm vi
- Giữ tài liệu đúng bản hiệu lực
- Giữ người ở cuối quy trình
- Viết câu hỏi hay hơn
- Dùng mô hình lớn hơn
- Dặn "chỉ trả lời nếu chắc chắn"
Trong tổ chức thì làm thế nào?
Ba việc nên làm, không tốn tiền:
Quy định rõ loại thông tin nào không được lấy từ trợ lý. Số liệu và căn cứ pháp lý nên bắt buộc tra từ nguồn gốc. Đây là quy chế, không phải tính năng.
Đào tạo người dùng về chính hiện tượng này. Một cán bộ biết rằng hệ thống có thể bịa số hiệu văn bản sẽ kiểm. Một cán bộ không biết thì không kiểm. Đây là buổi đào tạo quan trọng hơn buổi hướng dẫn bấm nút.
Ghi nhận các lần sai. Không phải để quy trách nhiệm mà để biết hệ thống hay sai ở đâu, và bổ sung tài liệu đúng chỗ đó.
Ba câu nên hỏi nhà cung cấp — kể cả chúng tôi
Khi hệ thống không tìm được căn cứ, nó làm gì? Câu trả lời đúng là từ chối và nói rõ lý do. Nếu nó luôn trả lời được, đó là điểm trừ chứ không phải điểm cộng.
Mỗi câu trả lời có chỉ rõ lấy từ tài liệu nào, đoạn nào không? Không có trích dẫn thì không kiểm chứng được, và không kiểm chứng được thì không dùng được cho việc quan trọng.
Các anh đã gặp hệ thống bịa ra thông tin gì, và xử lý thế nào? Một nhà cung cấp trả lời “hệ thống của chúng tôi không bị hiện tượng đó” là nhà cung cấp chưa theo dõi đủ lâu.
Câu hỏi thường gặp
Hiện tượng này sẽ được khắc phục hoàn toàn chứ?
Chưa có cơ sở để khẳng định. Nó gắn với cách các mô hình này sinh ra văn bản, không phải một lỗi phần mềm chờ bản vá. Các biện pháp hiện nay là giảm và kiểm soát, không phải loại bỏ.
Nhận dạng hình ảnh có bị hiện tượng này không?
Không theo cách giống vậy, nhưng có vấn đề tương đương: nó báo sai mà không kèm tín hiệu nào cho biết đang sai. Cách đọc một con số độ chính xác được nói kỹ ở bài Độ chính xác của AI nghĩa là gì.
Vậy có nên dùng mô hình ngôn ngữ trong cơ quan nhà nước không?
Nên, cho những việc mà đầu ra được người có thẩm quyền đọc và kiểm trước khi có hiệu lực — soạn thảo, tóm tắt, tra cứu có trích dẫn. Không nên cho những việc mà đầu ra đi thẳng tới công dân hoặc thành quyết định mà không qua người.
Làm sao biết một câu trả lời có bịa hay không?
Cách duy nhất đáng tin là đối chiếu với nguồn gốc. Với số liệu và căn cứ pháp lý, nên coi mọi câu trả lời là chưa xác nhận cho tới khi mở văn bản gốc ra xem.
Nếu anh chị đang đánh giá một hệ thống trợ lý và muốn biết nên yêu cầu những gì để kiểm soát rủi ro này, gửi email cho tôi:
Tôi trả lời tất cả, và không gửi tài liệu quảng cáo.