Công cụ phát hiện nội dung AI có đáng tin không

Các công cụ tuyên bố phát hiện nội dung do AI viết đều đưa ra một con số xác suất dựa trên đặc điểm thống kê của văn bản, và độ chính xác của chúng thấp hơn nhiều so với mức cần thiết để ra quyết định về một con người. Chúng đoán dựa trên việc câu văn có đều đặn và dễ dự đoán hay không, mà một người viết cẩn thận cũng viết đều đặn và dễ dự đoán. Vì vậy chúng vừa bỏ sót nội dung máy viết đã qua biên tập, vừa gán nhầm cho bài do người viết.

Các công cụ này đo cái gì

Hầu hết dựa trên hai chỉ số thống kê. Thứ nhất là mức độ bất ngờ của từng từ so với dự đoán của một mô hình ngôn ngữ: văn bản do máy sinh thường chọn những từ có xác suất cao nên chỉ số này thấp. Thứ hai là mức độ dao động về độ dài và cấu trúc câu: người viết có nhịp không đều, máy thì đều hơn.

Cả hai chỉ số đều nói về hình thức của văn bản chứ không nói gì về nguồn gốc của nó. Đây là khiếm khuyết gốc rễ, không phải vấn đề chưa tối ưu, và nó dẫn tới ba tình huống sai dưới đây.

Bốn tình huống công cụ cho kết quả sai

Hai hàng cuối cùng là lý do đạo đức quan trọng nhất để không dùng công cụ này làm căn cứ kỷ luật hay loại hồ sơ: nhóm bị gán nhầm nhiều nhất lại chính là nhóm yếu thế hơn.

Vì sao không thể có công cụ chính xác tuyệt đối

Ba lý do mang tính nguyên lý, không phải do công nghệ chưa đủ tốt.

Một, không có dấu vết nào được để lại. Văn bản do mô hình sinh ra là chữ thường, không mang siêu dữ liệu. Đường dẫn duy nhất là suy đoán từ đặc điểm thống kê.

Hai, hai phân bố chồng lên nhau. Văn người viết và văn máy viết có vùng giao nhau rộng. Mọi ngưỡng cắt đều tạo ra cả bỏ sót lẫn gán nhầm, và giảm loại sai này thì tăng loại sai kia.

Ba, biên tập xóa dấu vết. Chỉ cần đảo vài câu, thêm câu ngắn, chèn một ví dụ riêng là chỉ số thống kê đổi hẳn. Mà biên tập lại chính là việc mọi quy trình làm nội dung tử tế đều làm.

Thay vì hỏi ai viết, hãy hỏi bài này có đạt không

Với người quản lý nội dung, câu hỏi đúng không phải bài này do ai gõ ra mà là bài này có đủ tiêu chuẩn để phát hành không. Câu hỏi thứ hai đo được, trả lời được và bảo vệ được khi bị chất vấn.

• Độ chính xác. Mọi con số, tên riêng, trích dẫn có truy được nguồn không.
• Chiều sâu riêng. Có ví dụ, số liệu hoặc trải nghiệm mà chỉ tổ chức bạn có không.
• Quan điểm. Bài có nói rõ nên chọn gì và vì sao, hay chỉ liệt kê mọi phía.
• Trùng lặp. Có đoạn nào trùng nguyên văn nguồn bên ngoài không.
• Trách nhiệm. Người ký tên có bảo vệ được từng khẳng định khi bị hỏi lại không.

Bộ tiêu chí đầy đủ và cách chấm nằm ở bài tiêu chí đánh giá chất lượng đầu ra của AI. Tiêu chí thứ năm là tiêu chí thay thế tốt nhất cho mọi công cụ phát hiện: một người không viết được bài đó sẽ lộ ra ngay trong năm phút trao đổi.

Còn phía Google và tìm kiếm thì sao

Cách Google đánh giá không xoay quanh việc nội dung do ai tạo ra mà xoay quanh việc nội dung có hữu ích và đáng tin không. Nội dung sản xuất hàng loạt, không có giá trị riêng và chỉ nhằm chiếm chỗ trên kết quả tìm kiếm thì bị hạ, bất kể do người hay máy viết. Ngược lại, nội dung có kiểm chứng, có trải nghiệm thật và có người chịu trách nhiệm thì vẫn được đánh giá tốt.

Kết luận thực dụng cho người làm nội dung: đừng tốn công che giấu việc có dùng AI, hãy tốn công vào phần kiểm chứng và phần chiều sâu riêng. Cách làm cụ thể nằm ở bài biên tập nội dung AI để giữ giọng thương hiệu.

Khi nào công cụ phát hiện vẫn có ích

Không phải là vô dụng hoàn toàn. Nó dùng được ở ba chỗ, với điều kiện không coi kết quả là phán quyết.

Chỗ thứ nhất là sàng lọc khối lượng lớn để chọn mẫu kiểm tra kỹ hơn bằng người, chẳng hạn hàng nghìn bài gửi về mỗi tháng. Chỗ thứ hai là làm tín hiệu nội bộ cho chính người viết, để tự rà xem bài của mình có đang quá đều và thiếu bản sắc hay không. Chỗ thứ ba là theo dõi xu hướng theo thời gian trên một tập lớn, chứ không kết luận trên từng bài.

Trong cả ba trường hợp, điểm chung là kết quả được dùng để hướng sự chú ý, không dùng để kết tội.

Câu hỏi thường gặp

Độ chính xác của các công cụ này khoảng bao nhiêu?

Con số nhà cung cấp công bố thường được đo trên tập thử nghiệm thuận lợi gồm văn bản máy sinh nguyên bản và văn bản người viết nguyên bản. Trên nội dung thực tế đã qua biên tập, độ chính xác giảm rất mạnh. Điều đáng chú ý hơn con số là tỷ lệ gán nhầm cho bài do người viết, vì đó mới là loại sai gây hậu quả cho con người.

Trường học và doanh nghiệp có nên dùng công cụ này không?

Không nên dùng làm căn cứ duy nhất cho bất kỳ quyết định nào ảnh hưởng tới một cá nhân. Cách thay thế hiệu quả hơn là thiết kế lại yêu cầu đầu ra: yêu cầu nêu quá trình làm, yêu cầu bảo vệ bài trước một vài câu hỏi, yêu cầu gắn với dữ liệu hoặc trải nghiệm cụ thể của chính người nộp. Những yêu cầu này vừa công bằng hơn vừa khó qua mặt hơn.

Viết lại bằng công cụ diễn đạt lại có qua mặt được không?

Thường là có, và đó chính là bằng chứng rõ nhất cho thấy các công cụ này đo hình thức chứ không đo nguồn gốc. Một hệ thống mà chỉ cần một bước xử lý đơn giản là vô hiệu hóa thì không đủ tin cậy để làm cơ sở cho quyết định quan trọng.

Có nên ghi chú rằng bài viết có dùng AI không?

Điều quan trọng hơn là ai chịu trách nhiệm về nội dung. Nếu bài đã qua kiểm chứng và biên tập thì nó là sản phẩm của người ký tên. Riêng các lĩnh vực có quy định riêng như y tế, tài chính, pháp lý, hoặc khi khách hàng có yêu cầu hợp đồng về việc này, thì phải tuân theo yêu cầu đó.

Làm sao chứng minh bài của tôi do tôi viết khi bị gán nhầm?

Giữ dấu vết quá trình là cách hiệu quả nhất: lịch sử chỉnh sửa trong công cụ soạn thảo, các bản nháp theo thời gian, ghi chú và tài liệu tham khảo bạn đã dùng. Ngoài ra, khả năng trao đổi sâu về nội dung bài trong vài phút là bằng chứng thuyết phục hơn mọi báo cáo từ công cụ.

Watermark cho văn bản có khả thi không?

Về mặt kỹ thuật có những hướng nghiên cứu nhúng tín hiệu thống kê vào văn bản khi sinh ra. Nhưng chúng chỉ hoạt động khi nhà cung cấp tự nguyện áp dụng, và tín hiệu dễ mất khi văn bản được sửa hoặc dịch. Vì vậy trong tương lai gần, đây không phải giải pháp cho phía người dùng.

Nếu đội ngũ của tôi dùng AI, tôi nên kiểm soát thế nào?

Kiểm soát ở đầu ra và ở quy trình, không kiểm soát bằng công cụ dò. Cụ thể: một bảng tiêu chí chấm chung cho mọi bài, một khâu kiểm chứng sự thật bắt buộc, và quy định rõ ai chịu trách nhiệm cho từng nội dung phát hành. Ba thứ này giải quyết được vấn đề thật là chất lượng, thay vì vấn đề hình thức là ai gõ.

Vì sao người viết không phải bản ngữ hay bị gán nhầm?

Vì họ có xu hướng dùng cấu trúc câu đơn giản, từ vựng phổ biến và nhịp câu đều, đúng những đặc điểm mà công cụ coi là dấu hiệu của máy. Đây là lỗi hệ thống chứ không phải trường hợp cá biệt, và nó là lý do chính khiến nhiều tổ chức giáo dục lớn đã ngừng dùng các công cụ này làm căn cứ xử lý.

Bài liên quan trong cùng chủ đề

• Tiêu chí đánh giá chất lượng đầu ra của AI
• Biên tập nội dung AI để giữ giọng thương hiệu
• Bản quyền nội dung do AI tạo ra
• Deepfake và cách nhận biết nội dung giả

Kiểm soát chất lượng thay vì đi dò ai đã gõ

Thước đo bền vững là bài có kiểm chứng được, có chiều sâu riêng và có người chịu trách nhiệm. Chương trình dưới đây xây đúng quy trình đó cho đội ngũ làm nội dung.

• Khóa học AI Content và Personal Branding
• Khóa học AI cho quản lý và lãnh đạo
• Liên hệ tại trang thông tin liên hệ hoặc hotline 093.404.1114

Về người viết

Nguyễn Văn Tân (Tân AI, Tân MKT) là chuyên gia đào tạo ứng dụng AI và Marketing, Founder kiêm CEO Drabuff Academy & Agency, tác giả ba cuốn sách. Anh đi lên từ nền tảng kỹ sư công nghệ thông tin với các chứng chỉ CCNA, CCNP và CEH, từng làm tại FPT và Vietsovpetro, sau đó hơn 10 năm làm Marketing. Anh đã trực tiếp đứng lớp hơn 200 khóa đào tạo cho trên 100 doanh nghiệp, trong đó có Viettel, Honda, Mercedes-Benz, Novaland, Heineken, Toyota và EVN. Nguyên tắc của anh là thực chiến: quy trình nào không chạy được trong công việc hằng ngày thì không đưa vào bài giảng.