Cùng một prompt, mỗi công cụ AI trả lời một khác

Cùng một câu lệnh đưa vào ChatGPT, Gemini, Claude hay một công cụ nội bộ sẽ cho ra bốn kết quả khác nhau, vì bốn hệ thống đó khác nhau ở dữ liệu huấn luyện, ở lớp hướng dẫn ẩn phía trên, ở cấu hình mặc định và ở các công cụ chúng được phép gọi. Đây là khác biệt mang tính hệ thống và có thể dự đoán được, khác hẳn với chuyện một mô hình trả lời mỗi lần một khác do tính ngẫu nhiên. Hiểu đúng nguồn gốc của khác biệt giúp bạn chọn công cụ theo việc thay vì đi tìm công cụ tốt nhất nói chung.

Phân biệt hai loại khác biệt

Có hai hiện tượng hay bị gộp làm một. Loại thứ nhất là cùng một công cụ, hỏi lại cùng câu hỏi thì ra kết quả hơi khác. Nguyên nhân nằm ở cách mô hình chọn từ tiếp theo và được giải thích trong bài vì sao AI trả lời mỗi lần một khác.

Loại thứ hai, là chủ đề của bài này, là cùng một câu lệnh nhưng đưa vào hai công cụ khác nhau thì ra hai kết quả khác hẳn về độ dài, cấu trúc, mức độ thận trọng và cả nội dung. Khác biệt này không ngẫu nhiên. Nó lặp lại ổn định và bạn có thể dựa vào nó để phân công việc.

Năm nguồn tạo ra khác biệt giữa các công cụ

Hai hàng cuối cùng giải thích phần lớn những khác biệt gây bực bội nhất. Một công cụ có tra cứu web sẽ đưa ra số liệu mới, công cụ không có thì trả lời theo trí nhớ huấn luyện. Một tài khoản đã bật ghi nhớ sẽ trả lời theo thói quen của bạn, tài khoản mới thì không.

Lớp hướng dẫn ẩn, thứ ít người để ý nhất

Trước khi câu hỏi của bạn tới mô hình, nhà cung cấp đã chèn một đoạn hướng dẫn phía trên nó. Đoạn này quy định giọng điệu, độ dài mặc định, cách từ chối các yêu cầu nhạy cảm, có được đoán hay phải hỏi lại, và nhiều thứ khác. Bạn không nhìn thấy nó nhưng nó ảnh hưởng tới mọi câu trả lời.

Đây là lý do một công cụ luôn trả lời dài dòng có cấu trúc gạch đầu dòng, trong khi công cụ khác trả lời ngắn gọn thành đoạn văn, dù bạn hỏi y hệt. Và đây cũng là lý do khi bạn nêu rõ yêu cầu về độ dài và định dạng trong prompt, khác biệt giữa các công cụ thu hẹp lại đáng kể.

Bài học thực dụng: phần lớn khác biệt về hình thức biến mất nếu prompt của bạn nói rõ định dạng mong muốn. Khác biệt còn lại sau đó mới là khác biệt thật về năng lực.

Cách so sánh công cụ cho đúng

Hầu hết so sánh trên mạng không dùng được cho bạn vì chúng đo trên bài toán của người khác. Cách so sánh đúng là dựng một bộ thử nghiệm từ chính công việc của mình.

• Chọn năm tới mười đầu việc thật mà bạn làm hằng tuần, kèm đáp án bạn coi là đạt.
• Viết một prompt duy nhất đầy đủ sáu phần và dùng chung cho mọi công cụ, không tinh chỉnh riêng cho công cụ mình thích.
• Bật tắt tính năng giống nhau. Nếu công cụ này được tra cứu web thì công cụ kia cũng phải được, nếu không thì đó là so sánh khập khiễng.
• Dùng cuộc trò chuyện mới hoàn toàn để loại bỏ ảnh hưởng của bối cảnh đã tích lũy.
• Chạy mỗi việc ba lần để thấy mức dao động nội tại, rồi mới so sánh giữa các công cụ.
• Chấm bằng một bảng tiêu chí cố định theo cách nêu ở bài tiêu chí đánh giá chất lượng đầu ra của AI.

Điểm quan trọng nhất là bước chạy ba lần. Nếu ba lần của cùng một công cụ đã lệch nhau nhiều hơn khoảng cách giữa hai công cụ, thì kết luận công cụ nào hơn là vô nghĩa.

Phân công việc theo thế mạnh thay vì tìm công cụ tốt nhất

Thực tế vận hành cho thấy hiếm có công cụ nào thắng ở mọi đầu việc. Cách làm hiệu quả là phân công theo nhóm việc và ghi lại lựa chọn đó trong thư viện prompt để cả đội theo.

Cột cuối cùng của hàng phân tích tài liệu dài là một phép thử rất hữu ích. Nhiều công cụ nhận tài liệu dài nhưng chất lượng đọc phần giữa kém hơn hẳn phần đầu và phần cuối, hiện tượng này liên quan tới cách cửa sổ ngữ cảnh hoạt động.

Khi kết quả khác nhau mà bạn cần sự nhất quán

Có những quy trình bắt buộc phải cho ra đầu ra giống nhau bất kể ai chạy và chạy khi nào, ví dụ phân loại yêu cầu khách hàng hay trích xuất dữ liệu từ chứng từ. Với các quy trình này, có bốn việc cần làm.

Thứ nhất, cố định một công cụ và một phiên bản mô hình, ghi rõ trong tài liệu quy trình. Thứ hai, hạ mức sáng tạo xuống thấp nhất nếu công cụ cho phép chỉnh. Thứ ba, yêu cầu đầu ra theo một cấu trúc cố định thay vì văn xuôi tự do. Thứ tư, luôn bắt đầu bằng cuộc trò chuyện mới để không bị ảnh hưởng bởi phần hội thoại trước.

Bốn việc này không loại bỏ hoàn toàn dao động nhưng thu hẹp nó xuống mức chấp nhận được cho vận hành.

Câu hỏi thường gặp

Công cụ nào tốt nhất cho tiếng Việt?

Không có câu trả lời cố định vì các nhà cung cấp cập nhật liên tục và thứ hạng đổi sau mỗi vài tháng. Điều bền hơn là cách kiểm tra: lấy năm đầu việc tiếng Việt thật của bạn, chạy trên các công cụ đang cân nhắc bằng cùng một prompt, chấm bằng bảng tiêu chí. Kết quả từ chính công việc của bạn đáng tin hơn mọi bảng xếp hạng chung.

Vì sao bạn tôi hỏi câu giống hệt mà nhận được câu trả lời khác?

Thường do bốn khác biệt vô hình: tài khoản của mỗi người có lịch sử và bộ nhớ riêng, gói dịch vụ khác nhau dẫn tới mô hình nền khác nhau, tính năng tra cứu web bật hay tắt, và phiên bản ứng dụng đang dùng. Muốn so sánh công bằng, cả hai cùng mở một cuộc trò chuyện mới và tắt hết tính năng bổ sung.

Dùng nhiều công cụ cùng lúc có hợp lý không?

Hợp lý ở quy mô cá nhân và nhóm nhỏ, vì chi phí thấp và bạn tận dụng được thế mạnh riêng. Ở quy mô tổ chức thì cần cân nhắc, vì mỗi công cụ thêm vào kéo theo chi phí quản trị tài khoản, rủi ro dữ liệu và công đào tạo. Cách dung hòa thường thấy là một công cụ chính cho toàn công ty, cộng một công cụ phụ cho nhóm có nhu cầu đặc thù.

Có nên viết prompt riêng cho từng công cụ không?

Trong giai đoạn so sánh thì không, vì như vậy bạn đang so sánh kỹ năng viết prompt của mình chứ không so sánh công cụ. Sau khi đã chọn xong công cụ chính, việc tinh chỉnh prompt cho đúng thói quen của nó là hoàn toàn nên làm và thường cải thiện kết quả rõ rệt.

Trả phí có luôn cho kết quả tốt hơn bản miễn phí không?

Thường là có, nhưng khác biệt nằm ở nhiều thứ hơn là trí thông minh: bản trả phí thường dùng mô hình mạnh hơn, cửa sổ ngữ cảnh lớn hơn, giới hạn sử dụng cao hơn và có thêm tính năng như tra cứu, đọc tệp, chạy mã. Với những việc đơn giản và ngắn, khác biệt giữa hai bản có thể không đáng kể.

Vì sao hôm nay công cụ trả lời tốt mà tuần sau lại kém đi?

Nhà cung cấp cập nhật mô hình và lớp hướng dẫn ẩn mà không phải lúc nào cũng thông báo, nên hành vi có thể đổi giữa hai phiên bản. Đây là lý do thư viện prompt cần được chạy lại định kỳ trên ví dụ mẫu. Nếu quy trình của bạn nhạy với thay đổi này, hãy chọn nhà cung cấp cho phép cố định phiên bản mô hình.

Có cách nào biết công cụ đang dùng tra cứu web hay trả lời theo trí nhớ không?

Cách đơn giản nhất là yêu cầu nó dẫn nguồn kèm đường dẫn cho mọi số liệu. Nếu nó trả về nguồn cụ thể và mở ra đúng nội dung thì nó đã tra cứu. Nếu nó mô tả chung chung hoặc đưa đường dẫn không mở được thì gần như chắc chắn nó đang trả lời theo trí nhớ huấn luyện, và số liệu đó cần được kiểm chứng.

Nếu hai công cụ cho hai câu trả lời trái ngược thì tin cái nào?

Không tin cái nào cho tới khi kiểm chứng ở nguồn gốc. Sự trái ngược là tín hiệu tốt vì nó buộc bạn phải kiểm tra, điều mà một câu trả lời duy nhất và tự tin sẽ không làm bạn nghĩ tới. Dùng hai công cụ song song cho những khẳng định quan trọng là một cách kiểm tra chéo rẻ và hiệu quả.

Bài liên quan trong cùng chủ đề

• Vì sao AI trả lời mỗi lần một khác
• Context window là gì và vì sao AI quên giữa chừng
• Tiêu chí đánh giá chất lượng đầu ra của AI
• ChatGPT và Google có gì khác nhau

Chọn công cụ theo đầu việc thay vì theo lời đồn

Bộ thử nghiệm dựng từ chính công việc của bạn đáng tin hơn mọi bảng xếp hạng. Nếu muốn có sẵn khung so sánh và khung phân công việc cho cả đội, hai chương trình dưới đây đi vào đúng phần này.

• Khóa học AI cho quản lý và lãnh đạo
• Khóa học AI Automation tự động hóa công việc
• Liên hệ tại trang thông tin liên hệ hoặc hotline 093.404.1114

Về người viết

Nguyễn Văn Tân (Tân AI, Tân MKT) là chuyên gia đào tạo ứng dụng AI và Marketing, Founder kiêm CEO Drabuff Academy & Agency, tác giả ba cuốn sách. Anh đi lên từ nền tảng kỹ sư công nghệ thông tin với các chứng chỉ CCNA, CCNP và CEH, từng làm tại FPT và Vietsovpetro, sau đó hơn 10 năm làm Marketing. Anh đã trực tiếp đứng lớp hơn 200 khóa đào tạo cho trên 100 doanh nghiệp, trong đó có Viettel, Honda, Mercedes-Benz, Novaland, Heineken, Toyota và EVN. Nguyên tắc của anh là thực chiến: quy trình nào không chạy được trong công việc hằng ngày thì không đưa vào bài giảng.