Cách đo hiệu quả khi đưa AI vào công việc

Đo hiệu quả của AI trong công việc là đo bốn thứ cùng lúc: thời gian tiết kiệm, chất lượng đầu ra, chi phí thật, và mức độ người thật sự dùng. Thiếu một trong bốn là báo cáo sẽ đẹp mà thực tế không đổi. Rất nhiều đội chỉ đo mỗi thời gian tiết kiệm rồi kết luận thành công, trong khi chất lượng tụt và chỉ ba người trong ba mươi người còn dùng sau hai tháng.

Vì sao cách đo thông thường đưa ra kết luận sai

Con số hay được nhắc nhất là tiết kiệm được bao nhiêu phần trăm thời gian. Vấn đề của con số này là nó được lấy từ chính người đang hào hứng với công cụ mới, đo trên tác vụ họ chọn, và không tính phần thời gian phát sinh ở khâu sau.

Một bản nháp viết trong năm phút thay vì bốn mươi phút nghe rất ấn tượng, cho tới khi người biên tập mất năm mươi phút sửa vì bản nháp đúng hình thức nhưng sai thông tin. Tổng thời gian không giảm, nó chỉ chuyển từ người này sang người khác. Đây là lý do phép đo phải bao trùm cả chuỗi công việc chứ không dừng ở một khâu.

Sai lầm thứ hai là đo ngay tuần đầu. Tuần đầu luôn có hiệu ứng mới mẻ. Con số đáng tin nằm ở mốc tuần thứ tám tới tuần thứ mười hai, khi sự hào hứng đã hết và chỉ còn lại thói quen thật.

Bốn nhóm chỉ số cần đo song song

Bốn nhóm này kiềm chế lẫn nhau. Thời gian giảm mà chất lượng tụt thì không phải thắng lợi. Chất lượng tăng mà chi phí gấp ba thì phải tính lại. Cả ba đều tốt mà chỉ hai người dùng thì đó là thành tích cá nhân, không phải năng lực tổ chức.

Lấy số nền trước khi triển khai

Đây là bước hay bị bỏ qua nhất và nó khiến mọi phép đo sau đó vô nghĩa. Không có số nền thì mọi so sánh đều là ước lượng theo trí nhớ, mà trí nhớ thì luôn thiên vị cho cái mới.

Số nền không cần cầu kỳ. Chọn ba tới năm đầu việc lặp lại nhiều nhất trong phòng ban. Với mỗi đầu việc, ghi lại ba con số trong hai tuần: thời gian trung bình để hoàn tất, tỷ lệ bị trả lại sửa, và số người đang làm việc đó. Hai tuần là đủ để có một mốc so sánh trung thực.

Kèm theo đó, hãy lưu lại mười bản đầu ra mẫu của giai đoạn trước khi dùng AI. Sau này khi tranh luận chất lượng tăng hay giảm, mười bản này là bằng chứng thay cho cảm tính.

Đo chất lượng bằng bảng tiêu chí, không bằng cảm nhận

Chất lượng là nhóm khó đo nhất nên hay bị bỏ. Cách làm gọn là dựng một bảng năm tiêu chí, mỗi tiêu chí chấm từ một tới năm, rồi mọi bản đầu ra được chấm bằng đúng bảng đó dù do người hay do AI làm.

• Độ chính xác thông tin. Có số liệu hay khẳng định nào sai hoặc không kiểm chứng được không.
• Độ đầy đủ. Có bỏ sót phần bắt buộc nào của yêu cầu không.
• Đúng giọng và đúng đối tượng. Có đọc ra là của tổ chức mình không.
• Mức phải sửa. Dùng được ngay, sửa nhẹ, hay phải viết lại.
• Tuân thủ. Có vi phạm quy định nội bộ, dữ liệu nhạy cảm hay bản quyền không.

Điểm mấu chốt là người chấm không được biết bản nào do AI tạo. Biết rồi là điểm lệch ngay, theo cả hai hướng. Bộ tiêu chí chi tiết hơn nằm trong bài tiêu chí đánh giá chất lượng đầu ra của AI.

Tính chi phí thật, không chỉ tiền thuê bao

Tiền thuê bao thường là khoản nhỏ nhất trong tổng chi phí. Bảng dưới đây liệt kê những khoản hay bị quên khi làm báo cáo hiệu quả.

Thiết kế một phép thử đủ tin cậy

Muốn kết luận chắc chắn, hãy chạy song song thay vì chạy tuần tự. Chia cùng một loại đầu việc cho hai nhóm trong cùng một khoảng thời gian: một nhóm làm theo cách cũ, một nhóm dùng AI. Cách này loại bỏ ảnh hưởng của mùa vụ và của khối lượng công việc thay đổi theo tháng.

Ba nguyên tắc để phép thử không bị nhiễu. Thứ nhất, hai nhóm phải có trình độ tương đương, không dồn hết người giỏi vào nhóm dùng AI. Thứ hai, cùng một bộ tiêu chí chấm và cùng một người chấm. Thứ ba, chạy tối thiểu bốn tuần, tốt nhất là tám tuần.

Nếu quy mô quá nhỏ để chia hai nhóm, giải pháp thay thế là so sánh cùng một người ở hai giai đoạn, nhưng phải chấp nhận rằng kết luận sẽ yếu hơn và nên đọc theo hướng tham khảo.

Đọc kết quả và quyết định bước tiếp theo

Sau tám tuần, bốn nhóm chỉ số sẽ rơi vào một trong bốn kịch bản, và mỗi kịch bản có một hành động tương ứng.

Trường hợp thứ ba xảy ra nhiều hơn người ta nghĩ và nguyên nhân thường không nằm ở công cụ. Bài vì sao nhân viên không chịu dùng AI đi sâu vào phần này.

Câu hỏi thường gặp

Nên bắt đầu đo từ khi nào?

Đo trước khi triển khai, ít nhất hai tuần. Nếu công cụ đã được dùng rồi mới nghĩ tới chuyện đo, bạn vẫn lấy được số nền bằng cách chọn một đầu việc tương đương chưa dùng AI làm mốc, hoặc yêu cầu một nhóm nhỏ làm theo cách cũ trong hai tuần để có điểm so sánh.

Bao lâu thì có kết quả đáng tin?

Tám tuần là mốc tối thiểu hợp lý. Bốn tuần đầu vẫn còn lẫn hiệu ứng mới mẻ và giai đoạn học việc. Từ tuần thứ năm trở đi, con số bắt đầu phản ánh thói quen thật. Với những việc có chu kỳ dài như lập kế hoạch quý, mốc đo phải kéo theo chu kỳ của chính công việc đó.

Đo hiệu quả AI có cần phần mềm chuyên dụng không?

Không cần trong giai đoạn đầu. Một bảng tính với bốn nhóm chỉ số, cập nhật hằng tuần, đã đủ cho vài chục người. Phần mềm chuyên dụng chỉ đáng đầu tư khi quy mô vượt vài trăm người hoặc khi cần ghi nhận tự động số lượt dùng theo từng đầu việc.

Làm sao biết con số tiết kiệm thời gian là thật?

Đo trọn chuỗi chứ đừng đo một khâu. Tính từ lúc đầu việc được giao tới lúc nó được duyệt xong, bao gồm cả thời gian người khác sửa. Nếu tổng thời gian của cả chuỗi không giảm thì phần tiết kiệm ở khâu đầu chỉ là chuyển gánh nặng chứ không phải hiệu quả.

Có nên công bố kết quả đo cho toàn công ty không?

Nên, nhưng công bố cả phần chưa tốt. Báo cáo chỉ toàn con số đẹp làm người đọc mất niềm tin vào lần đo sau và khiến người gặp khó khăn ngại nói ra. Một báo cáo nêu rõ đầu việc nào hợp, đầu việc nào không hợp sẽ hữu ích hơn nhiều cho các phòng ban đi sau.

Nếu số liệu cho thấy AI không hiệu quả thì sao?

Trước khi kết luận, hãy kiểm tra ba khả năng theo thứ tự: đầu việc được chọn có thật sự phù hợp không, prompt và quy trình đã chuẩn hóa chưa, người dùng đã được hướng dẫn đủ chưa. Phần lớn kết quả kém đến từ ba nguyên nhân này chứ không phải từ năng lực của mô hình.

Chỉ số nào quan trọng nhất trong bốn nhóm?

Mức độ người thật sự dùng, vì nếu chỉ số này thấp thì ba nhóm còn lại không có ý nghĩa thống kê. Một công cụ cho kết quả xuất sắc mà chỉ năm phần trăm nhân sự dùng thì tác động lên tổ chức gần như bằng không.

Có nên gắn kết quả đo vào đánh giá nhân sự không?

Không nên trong giai đoạn đầu. Khi con số gắn với đánh giá cá nhân, người ta sẽ tối ưu con số chứ không tối ưu công việc, và dữ liệu bạn thu về sẽ mất giá trị chẩn đoán. Giai đoạn đầu nên đo ở cấp đầu việc và cấp phòng ban, không đo ở cấp cá nhân.

Bài liên quan trong cùng chủ đề

• Lộ trình đưa AI vào doanh nghiệp theo bốn giai đoạn
• Vì sao nhân viên không chịu dùng AI
• Tiêu chí đánh giá chất lượng đầu ra của AI
• Token là gì và cách token quyết định chi phí dùng AI

Biến phép đo thành cơ sở để ra quyết định mở rộng

Con số chỉ có giá trị khi nó gắn với một lộ trình rõ ràng và một người chịu trách nhiệm. Nếu bạn đang phụ trách đưa AI vào đội ngũ, chương trình dưới đây đi thẳng vào phần quản trị và đo lường.

• Khóa học AI cho quản lý và lãnh đạo
• Khóa học AI Automation tự động hóa công việc
• Liên hệ tại trang thông tin liên hệ hoặc hotline 093.404.1114

Về người viết

Nguyễn Văn Tân (Tân AI, Tân MKT) là chuyên gia đào tạo ứng dụng AI và Marketing, Founder kiêm CEO Drabuff Academy & Agency, tác giả ba cuốn sách. Anh đi lên từ nền tảng kỹ sư công nghệ thông tin với các chứng chỉ CCNA, CCNP và CEH, từng làm tại FPT và Vietsovpetro, sau đó hơn 10 năm làm Marketing. Anh đã trực tiếp đứng lớp hơn 200 khóa đào tạo cho trên 100 doanh nghiệp, trong đó có Viettel, Honda, Mercedes-Benz, Novaland, Heineken, Toyota và EVN. Nguyên tắc của anh là thực chiến: quy trình nào không chạy được trong công việc hằng ngày thì không đưa vào bài giảng.