Độ chính xác của AI nghĩa là gì?
Con số 95% chính xác gần như không nói lên điều gì nếu không biết đo cái gì, trên dữ liệu nào. Hai loại lỗi của AI và cách đọc một con số độ chính xác.
Một con số độ chính xác đứng một mình gần như không nói lên điều gì. Hai hệ thống cùng công bố “chính xác 95%” có thể khác nhau hoàn toàn về chất lượng thực tế.
Muốn hiểu con số đó, phải biết ba điều: đo cái gì, đo trên dữ liệu nào, và loại lỗi nào bị tính vào.
- 1Đo cái gì?Tỷ lệ phát hiện được, hay tỷ lệ báo đúng
- 2Đo trên dữ liệu nào?Dữ liệu mẫu của nhà cung cấp, hay hiện trường của mình
- 3Loại lỗi nào bị tính?Bỏ sót và báo nhầm là hai chuyện khác nhau
Đây là câu hỏi tôi nhận nhiều nhất khi trao đổi với khách hàng — và cũng là câu mà một con số đơn lẻ không trả lời được. Nếu anh chị mới bắt đầu tìm hiểu, nên đọc AI làm được gì và không làm được gì trước để có bối cảnh.
AI (Artificial Intelligence) sai theo hai cách khác nhau
Đây là điều quan trọng nhất và hay bị bỏ qua.
Hãy hình dung một hệ thống phát hiện người không đội mũ bảo hộ trong nhà máy. Trong một ngày có 100 trường hợp thật.
- Hệ thống phát hiện được 90 trường hợp, bỏ sót 10.
- Đồng thời nó báo thêm 30 lần mà thực tế người ta có đội mũ — 30 lần báo nhầm.
Hai con số này là hai loại lỗi khác nhau, và chúng đánh đổi với nhau. Muốn giảm bỏ sót, phải hạ ngưỡng phát hiện, thì báo nhầm tăng. Muốn giảm báo nhầm, phải nâng ngưỡng, thì bỏ sót tăng.
Không có cấu hình nào tốt cả hai cùng lúc. Đó là bản chất, không phải khuyết điểm của một sản phẩm cụ thể.
| Loại lỗi | Tên thường gặp | Hậu quả |
|---|---|---|
| Bỏ sót | Miss, false negative | Có việc xảy ra mà không ai biết |
| Báo nhầm | False alarm, false positive | Người trực mất thời gian kiểm tra vô ích |
Khi nhà cung cấp nói “chính xác 95%”, câu cần hỏi lại là: 95% đó là tỷ lệ phát hiện được, hay tỷ lệ báo đúng? Hai thứ hoàn toàn khác nhau.
Báo nhầm nhiều thì hệ thống bị bỏ
Bỏ sót nghe nghiêm trọng hơn, nên nhiều nơi mặc định chọn cấu hình nhạy — thà báo nhầm còn hơn bỏ sót.
Nhưng có một hệ quả cần biết trước: nếu báo nhầm quá nhiều, người trực sẽ ngừng tin vào cảnh báo. Sau vài tuần bị gọi kiểm tra hàng chục lần vô ích, họ bắt đầu bỏ qua. Và lúc đó hệ thống có tỷ lệ phát hiện 99% cũng vô nghĩa, vì không ai phản ứng nữa.
Nên câu hỏi đúng không phải “làm sao cho chính xác nhất” mà là: mỗi loại lỗi tốn của mình bao nhiêu, và mình chịu được bao nhiêu cảnh báo mỗi ngày.
Một hệ thống sinh 200 cảnh báo mỗi ngày trong khi đơn vị chỉ có một người trực là hệ thống sẽ không được dùng, bất kể con số trong tài liệu.
Con số trong tài liệu được đo ở đâu?
Đây là điểm mà rất nhiều dự án vỡ kỳ vọng.
Con số công bố thường được đo trên bộ dữ liệu kiểm thử của nhà cung cấp — ảnh sáng đẹp, góc chuẩn, đối tượng rõ. Hiện trường của anh chị thì khác.
Những thứ làm con số tụt xuống:
Ánh sáng. Ngược sáng, tối, đèn vàng, phản chiếu. Đây là nguyên nhân số một.
Góc và độ cao camera. Cùng một mô hình, đặt cao 3 mét chếch 30 độ cho kết quả khác hẳn đặt cao 6 mét chếch 60 độ.
Khoảng cách và độ phân giải. Mỗi bài toán có yêu cầu tối thiểu về số điểm ảnh trên đối tượng. Không đạt thì không có cách nào bù bằng phần mềm.
Che khuất. Người đi sau người, xe đỗ chắn, cây che.
- 1Ánh sángNgược sáng, tối, đèn vàng, phản chiếu
- 2Góc và độ cao cameraCùng mô hình, đặt khác là kết quả khác
- 3Khoảng cách, độ phân giảiThiếu điểm ảnh thì phần mềm không bù được
- 4Che khuấtNgười sau người, xe chắn, cây che
- 5Định nghĩa "đúng"Hiểu khác nhau thì đo ra hai con số
Định nghĩa “đúng”. Một người đội mũ nhưng không cài dây — tính là đội hay không đội? Nếu hai bên hiểu khác nhau thì hai bên sẽ đo ra hai con số khác nhau trên cùng một đoạn video.
Điều cuối cùng nghe nhỏ nhưng là nguyên nhân của phần lớn tranh chấp lúc nghiệm thu. Nên thống nhất định nghĩa bằng văn bản, trước khi triển khai — và đó cũng là điều kiện để gán nhãn dữ liệu nhất quán, việc được nói kỹ ở bài Dữ liệu: chỗ mọi dự án AI mắc lại.
Vậy bao nhiêu phần trăm là đủ?
Không có ngưỡng chung. Nó phụ thuộc vào cái gì xảy ra khi hệ thống sai.
| Tình huống | Ưu tiên |
|---|---|
| Bỏ sót gây hậu quả nặng (an toàn, an ninh) | Chấp nhận báo nhầm nhiều hơn, nhưng phải tính đủ người trực |
| Báo nhầm gây tốn kém (tự động chặn, tự động phạt) | Phải giảm báo nhầm tối đa, và luôn có người xác nhận trước khi hành động |
| Dùng để thống kê, không hành động ngay | Sai lẻ tẻ không sao, nhưng sai lệch có hệ thống thì hỏng toàn bộ số liệu |
Dòng thứ ba đáng lưu ý. Nếu hệ thống sai ngẫu nhiên, con số tổng vẫn dùng được. Nhưng nếu nó luôn đếm thiếu ở một khu vực vì camera ở đó ngược sáng, thì báo cáo dựa trên số liệu ấy sẽ dẫn tới kết luận sai — mà không ai phát hiện.
Độ chính xác thay đổi theo thời gian
Một điều ít được nói: con số đo lúc nghiệm thu không giữ nguyên mãi.
Camera bị bụi, bị lệch hướng sau khi bảo trì, đèn đường thay đổi, cây mọc cao lên, nhà máy đổi cách xếp hàng hoá. Mỗi thay đổi nhỏ đều kéo con số xuống một chút.
Nên đo một lần là không đủ. Nên có quy trình kiểm tra định kỳ — mỗi quý lấy một mẫu, đếm tay, so với hệ thống. Việc này không tốn mấy và là cách duy nhất để biết hệ thống còn hoạt động đúng hay không.
Ba câu nên hỏi nhà cung cấp — kể cả chúng tôi
Con số này là tỷ lệ phát hiện hay tỷ lệ báo đúng, và đo trên bộ dữ liệu nào? Nếu câu trả lời chỉ có một con số mà không kèm điều kiện đo, đó là con số tiếp thị.
Ở điều kiện hiện trường của chúng tôi thì dự kiến bao nhiêu, và làm sao kiểm chứng trước khi ký? Câu trả lời đúng là đề xuất một đợt kiểm chứng thực tế, không phải một cam kết.
Mỗi ngày hệ thống sinh khoảng bao nhiêu cảnh báo, và ai xử lý? Đây là câu quyết định hệ thống có được dùng thật hay không.
Câu hỏi thường gặp
Có hệ thống AI nào đạt 100% không?
Không. Với bất kỳ bài toán nào trong điều kiện thực tế, 100% là không tồn tại. Một nhà cung cấp cam kết 100% là đang cam kết điều không thực hiện được, và nên coi đó là dấu hiệu cảnh báo.
Mô hình tốt hơn thì có khắc phục được điều kiện hiện trường kém không?
Chỉ một phần. Nếu đối tượng quá nhỏ trên ảnh, quá tối, hoặc bị che, thì không mô hình nào bù được — thông tin cần thiết không có trong ảnh ngay từ đầu. Trong nhiều dự án, chỉnh lại vị trí camera cho kết quả tốt hơn là đổi mô hình.
Làm sao kiểm chứng trước khi quyết định mua?
Yêu cầu một đợt kiểm chứng trên chính hiện trường của mình, với tiêu chí thống nhất trước bằng văn bản: đo gì, đo bao lâu, mốc nào coi là đạt. Kiểm chứng trên video mẫu của nhà cung cấp không cho biết gì về hiện trường của anh chị.
Độ chính xác của mô hình ngôn ngữ (chatbot, trợ lý) đo thế nào?
Khó hơn nhiều và không có một con số duy nhất. Bài Vì sao AI trả lời sai mà vẫn tự tin nói riêng về chuyện này.
Nếu anh chị đang phải đánh giá một đề xuất có con số độ chính xác trong đó và chưa rõ nên hỏi lại điều gì, gửi email cho tôi:
Tôi trả lời tất cả, và không gửi tài liệu quảng cáo.