Dữ liệu: chỗ mọi dự án AI mắc lại
Phần lớn dự án AI không tắc ở mô hình mà tắc ở dữ liệu. Bốn thứ hay sai, chi phí gán nhãn mà dự toán thường thiếu, và cách kiểm tra trước khi cam kết.
Phần lớn dự án AI (Artificial Intelligence) không tắc ở mô hình. Chúng tắc ở dữ liệu.
Và đây là phần mà dự toán hay thiếu nhất: tiền mua phần mềm thì ai cũng tính, tiền và thời gian để dữ liệu dùng được thì thường không.
Nếu anh chị chỉ kiểm tra một điều trước khi phê duyệt một đề án AI, tôi đề nghị kiểm tra phần dữ liệu.
“Dữ liệu” ở đây là gì?
Tuỳ họ bài toán, và hai họ chính cần hai thứ khác nhau.
Với bài toán hình ảnh (đếm người, đọc biển số, phát hiện hành vi): cần ảnh hoặc video từ chính hiện trường sẽ triển khai, và cần có người đánh dấu trên đó đâu là cái cần nhận. Ảnh của nhà máy khác không dùng được, vì ánh sáng, góc camera và bối cảnh khác nhau.
Với bài toán văn bản (trợ lý tra cứu, soạn thảo): cần tài liệu ở dạng số, đọc được bằng máy, và biết rõ bản nào còn hiệu lực. Một tủ hồ sơ giấy, hay một thư mục PDF scan chưa nhận dạng chữ, chưa phải là dữ liệu dùng được.
Phân biệt hai họ này được nói kỹ hơn ở bài AI, máy học và mô hình ngôn ngữ lớn khác nhau thế nào.
Bốn thứ hay sai
1. Không có đủ.
Trường hợp rõ nhất là những việc ít xảy ra. Muốn hệ thống nhận ra một sự cố mà ba năm mới có vài lần, thì không có đủ ví dụ để học. Đây là giới hạn thật, không phải chuyện chọn nhà cung cấp nào.
2. Có nhưng không dùng được.
Video lưu ở độ phân giải thấp để tiết kiệm ổ cứng. PDF scan chưa nhận dạng chữ. Ảnh ngược sáng. File Excel mà mỗi người điền một kiểu.
Dữ liệu vẫn nằm đó, chỉ là không dùng được, và việc xử lý cho dùng được là một hạng mục công việc riêng — cần tính vào tiến độ và chi phí.
3. Có nhưng chưa ai gán nhãn.
Đây là chi phí bị đánh giá thấp nhất trong hầu hết dự án hình ảnh.
Máy không tự biết đâu là “người không đội mũ bảo hộ”. Phải có người xem qua từng ảnh và đánh dấu. Công việc này đơn giản nhưng khối lượng lớn, và phải do người hiểu nghiệp vụ làm — vì chính họ mới biết trường hợp nào tính, trường hợp nào không.
Một người đội mũ nhưng không cài dây thì tính là đội hay không đội? Nếu hai người gán nhãn trả lời khác nhau, dữ liệu sẽ dạy cho máy hai điều trái ngược, và kết quả sẽ không ổn định. Nên thống nhất định nghĩa bằng văn bản trước khi gán nhãn, không phải sau.
4. Có nhưng mỗi nơi gọi một tên.
Đây là vấn đề phổ biến nhất với tài liệu hành chính và ít ai nói tới.
Cùng một thủ tục, ba phòng ghi ba cách. Cùng một loại giấy tờ, biểu mẫu cũ và mới gọi khác nhau. Một đơn vị viết tắt, một đơn vị viết đầy đủ.
Con người đọc vẫn hiểu. Hệ thống thì coi đó là những thứ khác nhau, và khi người dùng hỏi bằng cách gọi thứ ba, nó không tìm ra gì.
Chuẩn hoá cách gọi tên thường là hạng mục tốn công nhất, và nó là việc nghiệp vụ, không phải việc kỹ thuật. Nhà cung cấp không làm thay được.
- 1Không có đủViệc ít xảy ra thì không đủ ví dụ để học
- 2Có nhưng không dùng đượcĐộ phân giải thấp, PDF scan, mỗi người điền một kiểu
- 3Có nhưng chưa gán nhãnPhải có người hiểu nghiệp vụ đánh dấu
- 4Mỗi nơi gọi một tênNgười đọc vẫn hiểu, máy thì không
Bao nhiêu dữ liệu là đủ?
Không có con số chung, và bất kỳ ai đưa ra một con số chung cho mọi bài toán là đang nói bừa.
Nó phụ thuộc vào bài toán dễ hay khó, hiện trường đa dạng thế nào, và yêu cầu độ chính xác cao đến đâu. Một bài toán đọc biển số ở một cổng cố định cần ít dữ liệu hơn nhiều so với bài toán nhận hành vi ở một khu vực đông người.
Điều nên làm thay vì hỏi con số: yêu cầu nhà cung cấp làm một đợt kiểm chứng trên dữ liệu thật của mình trước khi cam kết khối lượng. Kiểm chứng sẽ cho biết còn thiếu gì, và thiếu bao nhiêu.
Dữ liệu không “làm xong một lần”
Đây là phần mà dự toán gần như luôn thiếu.
Tài liệu thay đổi. Quy định mới, biểu mẫu mới, thủ tục được công bố lại. Mỗi lần như vậy kho tri thức phải cập nhật, nếu không hệ thống sẽ trả lời theo bản cũ — và trả lời rất tự tin. Bài Vì sao AI trả lời sai mà vẫn tự tin nói kỹ về hệ quả này.
Hiện trường thay đổi. Camera bị lệch sau bảo trì, đèn đường đổi, cây mọc cao, nhà máy đổi cách xếp hàng. Mô hình học trên dữ liệu cũ sẽ kém dần.
Cả hai đều là việc thường xuyên, cần có người được phân công và có kinh phí. Nếu một đề án không có dòng nào cho việc này, thì hệ thống đó có thời hạn sử dụng, chỉ là chưa ai nói ra.
Một câu hỏi pháp lý nên đặt sớm
Dữ liệu dùng để huấn luyện thuộc về ai, và nhà cung cấp được dùng nó cho việc gì khác không?
Nếu ảnh camera của đơn vị được dùng để cải thiện mô hình mà nhà cung cấp bán cho khách hàng khác, đó là điều cần biết và cần ghi vào hợp đồng — dù đồng ý hay không.
Với dữ liệu có thông tin cá nhân của công dân hoặc người lao động, câu hỏi này còn có ràng buộc pháp luật, và nên có ý kiến của bộ phận phụ trách trước khi ký.
- Xử lý dữ liệu cho dùng được
- Phần khối lượng của việc gán nhãn
- Kiểm chứng trên dữ liệu thật của đơn vị
- Định nghĩa các trường hợp ranh giới
- Chuẩn hoá cách gọi tên
- Phân công người cập nhật sau bàn giao
Ba câu nên hỏi nhà cung cấp — kể cả chúng tôi
Chúng tôi phải cung cấp dữ liệu gì, khối lượng bao nhiêu, và ai gán nhãn? Nếu câu trả lời là “chúng tôi lo hết”, nên hỏi lại ai định nghĩa các trường hợp ranh giới — vì đó phải là người hiểu nghiệp vụ của đơn vị.
Công việc chuẩn hoá dữ liệu chiếm bao nhiêu trong tiến độ, và nằm ở hạng mục nào trong dự toán? Một tiến độ dành một tuần cho phần này là tiến độ chưa thực tế.
Sau khi bàn giao, ai cập nhật dữ liệu, tần suất nào, chi phí bao nhiêu? Phải trả lời được trước khi ký.
Câu hỏi thường gặp
Đơn vị chưa có dữ liệu thì có làm được không?
Làm được, nhưng phải tính thời gian thu thập vào dự án, và nên làm theo hai giai đoạn: giai đoạn một thu thập và chuẩn hoá, giai đoạn hai mới triển khai. Gộp hai giai đoạn vào một hợp đồng với một mốc nghiệm thu là nguồn gốc của tranh chấp.
Có thể dùng dữ liệu công khai trên mạng thay thế không?
Với bài toán hình ảnh thì thường không, vì điều kiện hiện trường khác nhau quá nhiều. Với bài toán văn bản thì dữ liệu công khai giúp được phần nền, nhưng phần riêng của đơn vị — quy trình, biểu mẫu, cách gọi tên — vẫn phải tự chuẩn bị.
Gán nhãn có thuê ngoài được không?
Phần khối lượng thì được. Phần định nghĩa trường hợp ranh giới thì không, vì chỉ người làm nghiệp vụ biết. Cách thường dùng là người nghiệp vụ viết bộ quy tắc và gán mẫu, rồi giao phần còn lại cho đơn vị bên ngoài làm theo, và kiểm tra xác suất.
Dữ liệu ít thì độ chính xác thấp, có đúng không?
Nói chung là đúng, nhưng chất lượng quan trọng hơn khối lượng. Một nghìn ảnh gán nhãn nhất quán tốt hơn mười nghìn ảnh gán nhãn theo ba cách hiểu khác nhau. Cách đọc một con số độ chính xác được nói ở bài Độ chính xác của AI nghĩa là gì.
Nếu anh chị đang lập đề án và muốn kiểm lại phần dữ liệu trước khi trình, gửi email cho tôi:
Tôi trả lời tất cả, và không gửi tài liệu quảng cáo.