Fine-tune hay viết prompt tốt, chọn cách nào

Viết prompt tốt là dạy mô hình cách làm việc ngay trong lúc hỏi, còn fine-tune là huấn luyện lại mô hình để nó mang sẵn cách làm việc đó trong người. Hai việc này không thay thế nhau và cũng không cùng giải một bài toán. Phần lớn doanh nghiệp đang cân nhắc fine-tune thật ra đang thiếu một prompt được viết tử tế và một kho tài liệu được sắp xếp gọn gàng, chứ không thiếu một mô hình riêng.

Hiểu đúng hai khái niệm trước khi so sánh

Viết prompt tốt nghĩa là gì

Prompt là toàn bộ phần bạn đưa vào mô hình trước khi nó trả lời: vai trò bạn giao cho nó, bối cảnh công việc, dữ liệu đầu vào, định dạng đầu ra bạn muốn, và các ràng buộc không được phép vi phạm. Viết prompt tốt không phải là tìm một câu thần chú. Đó là việc mô tả công việc đủ rõ tới mức một nhân sự mới vào làm cũng làm đúng nếu đọc bản mô tả ấy.

Điểm quan trọng mà nhiều người bỏ qua: prompt là thứ duy nhất bạn kiểm soát hoàn toàn và thay đổi được trong vài phút. Sửa một câu trong prompt rồi chạy lại là chuyện của ba mươi giây. Sửa một mô hình đã fine-tune là chuyện của vài ngày và một khoản tiền.

Fine-tune nghĩa là gì

Fine-tune là lấy một mô hình đã được huấn luyện sẵn rồi huấn luyện thêm trên tập dữ liệu riêng của bạn, thường là vài trăm tới vài chục nghìn cặp đầu vào và đầu ra mẫu. Sau khi fine-tune, mô hình có xu hướng trả lời theo đúng văn phong, cấu trúc và thói quen có trong tập dữ liệu đó mà không cần bạn nhắc lại trong từng câu hỏi.

Cần phân biệt rất rõ một điều: fine-tune dạy mô hình cách nói và cách định dạng, chứ không đáng tin cậy để nhồi thêm kiến thức mới. Muốn mô hình biết bảng giá tháng này, quy trình nội bộ hay hồ sơ khách hàng thì cách đúng là cho nó tra cứu tài liệu lúc trả lời, không phải nhét kiến thức vào trọng số.

Bảng so sánh fine-tune và viết prompt tốt

Nhìn bảng này sẽ thấy vấn đề không phải cái nào hay hơn, mà là cái nào phù hợp với thứ bạn đang thiếu. Nếu đầu ra sai nội dung thì fine-tune không cứu được. Nếu đầu ra đúng nội dung nhưng sai giọng và sai cấu trúc ở quy mô hàng nghìn lần mỗi ngày thì fine-tune bắt đầu có lý.

Bốn nấc thang nên đi theo đúng thứ tự

Thứ tự dưới đây tiết kiệm tiền và thời gian cho gần như mọi đội. Chỉ leo lên nấc sau khi nấc trước đã hết dư địa.

Nấc một, viết lại prompt cho đàng hoàng

Một prompt đạt chuẩn có sáu phần: vai trò, bối cảnh, dữ liệu đầu vào, nhiệm vụ cụ thể, định dạng đầu ra, và danh sách điều cấm. Chỉ riêng việc viết đủ sáu phần này đã xử lý được phần lớn lỗi mà người dùng hay quy cho mô hình yếu. Nếu chưa quen, bạn có thể xem hướng dẫn viết prompt như một chuyên gia để có khung sẵn.

Nấc hai, đưa ví dụ mẫu vào prompt

Kèm hai tới năm cặp đầu vào và đầu ra mẫu ngay trong prompt. Cách này gọi là few-shot và nó giải quyết được hầu hết nhu cầu về văn phong mà người ta tưởng phải fine-tune mới làm được. Chi phí duy nhất là prompt dài thêm.

Nấc ba, cho mô hình tra cứu tài liệu

Khi lỗi nằm ở chỗ mô hình không biết thông tin nội bộ, thứ bạn cần là cơ chế tra cứu chứ không phải huấn luyện lại. Đây chính là RAG, tức cho mô hình đọc tài liệu trước khi trả lời. Ưu điểm lớn nhất là cập nhật tài liệu xong là mô hình biết ngay, không phải huấn luyện lại.

Nấc bốn, fine-tune

Chỉ leo tới đây khi ba nấc trên đã làm hết mức mà vẫn còn một khoảng cách đo được, và khối lượng công việc đủ lớn để khoản đầu tư có nghĩa.

Khi nào fine-tune thực sự đáng tiền

Có bốn tình huống mà fine-tune là lựa chọn đúng, và cả bốn đều có điểm chung là khối lượng lớn cộng yêu cầu lặp lại giống hệt nhau.

• Định dạng đầu ra cực kỳ nghiêm ngặt. Mô hình phải trả về đúng một cấu trúc dữ liệu cố định hàng chục nghìn lần, sai một dấu là hệ thống phía sau gãy.
• Văn phong riêng khó mô tả bằng lời. Có những giọng viết mà đưa mười ví dụ vẫn chưa đủ, nhưng đưa ba nghìn ví dụ thì mô hình bắt được.
• Cần rút ngắn prompt để giảm chi phí. Khi prompt hệ thống dài và bị gọi hàng triệu lượt, chuyển phần cố định đó vào mô hình có thể rẻ hơn về lâu dài.
• Nhiệm vụ hẹp và lặp lại. Phân loại, trích xuất, chuẩn hóa dữ liệu. Những việc này fine-tune một mô hình nhỏ thường vừa nhanh vừa rẻ hơn gọi mô hình lớn.

Ngược lại, nếu công việc của bạn là viết nội dung, trả lời khách hàng theo tình huống, phân tích tài liệu hay hỗ trợ ra quyết định thì gần như chắc chắn bạn không cần fine-tune.

Bốn sai lầm hay gặp khi quyết định

Sai lầm thứ nhất, fine-tune để dạy kiến thức. Đây là lỗi phổ biến nhất. Nhồi tài liệu nội bộ vào tập huấn luyện không làm mô hình nhớ chính xác, nó chỉ làm mô hình tự tin hơn khi bịa. Kiến thức thuộc về cơ chế tra cứu.

Sai lầm thứ hai, không có thước đo trước khi làm. Nếu chưa có bộ ba mươi tới một trăm ví dụ kiểm thử kèm đáp án đúng, bạn sẽ không biết fine-tune có cải thiện gì hay không. Không đo được thì không nên chi tiền.

Sai lầm thứ ba, dữ liệu huấn luyện bẩn. Mô hình học cả lỗi trong dữ liệu. Ba trăm ví dụ đã được người có chuyên môn rà lại tốt hơn ba nghìn ví dụ gom vội.

Sai lầm thứ tư, quên chi phí bảo trì. Mô hình nền được nhà cung cấp nâng cấp liên tục. Bản fine-tune của bạn thì đứng yên. Sáu tháng sau, mô hình mới chưa fine-tune có thể đã tốt hơn bản riêng của bạn.

Quy trình quyết định trong một buổi họp

Đặt bốn câu hỏi theo đúng thứ tự này, dừng lại ngay ở câu đầu tiên trả lời có.

Câu hỏi thường gặp

Fine-tune có làm mô hình thông minh hơn không?

Không. Fine-tune làm mô hình cư xử giống tập dữ liệu bạn đưa vào, chứ không nâng năng lực suy luận nền. Một mô hình nhỏ được fine-tune vẫn suy luận kém hơn một mô hình lớn chưa fine-tune trong các bài toán cần lập luận nhiều bước. Nếu bạn muốn kết quả sâu hơn, hãy đổi sang mô hình mạnh hơn hoặc chia nhỏ bài toán trong prompt.

Viết prompt tốt có thay thế hoàn toàn fine-tune được không?

Trong đại đa số tình huống công việc văn phòng thì có. Prompt có cấu trúc rõ cộng vài ví dụ mẫu xử lý được gần hết nhu cầu về giọng văn và định dạng. Fine-tune chỉ thắng rõ rệt khi bạn chạy cùng một nhiệm vụ hẹp ở khối lượng rất lớn, hoặc khi yêu cầu định dạng nghiêm ngặt tới mức không chấp nhận sai số.

Cần bao nhiêu dữ liệu để fine-tune có kết quả?

Với nhiệm vụ hẹp như phân loại hay trích xuất, vài trăm cặp ví dụ chất lượng cao đã cho khác biệt đo được. Với việc học văn phong, con số thường rơi vào khoảng một nghìn tới vài nghìn cặp. Quan trọng hơn số lượng là tính nhất quán: nếu trong dữ liệu có hai cách trả lời mâu thuẫn cho cùng một kiểu câu hỏi, mô hình sẽ học sự mâu thuẫn đó.

Fine-tune có giúp mô hình ngừng bịa thông tin không?

Không, và đôi khi còn làm tệ hơn. Khi bạn huấn luyện mô hình luôn trả lời dứt khoát, nó sẽ trả lời dứt khoát cả khi không biết. Cách giảm bịa hiệu quả là cho mô hình nguồn tài liệu để bám vào và yêu cầu nó trích dẫn. Bạn có thể đọc thêm về ảo giác AI và cách kiểm chứng thông tin.

Dữ liệu dùng để fine-tune có bị lộ ra ngoài không?

Điều này phụ thuộc hoàn toàn vào điều khoản của nhà cung cấp bạn chọn, và bạn phải đọc kỹ trước khi đưa dữ liệu lên. Nguyên tắc an toàn là loại bỏ thông tin định danh cá nhân khỏi tập huấn luyện, vì một khi dữ liệu đã đi vào trọng số thì không có cách nào gỡ ra từng phần. Tham khảo thêm phần bảo mật dữ liệu khi dùng AI trong công việc.

Chi phí fine-tune gồm những khoản nào?

Có bốn khoản và khoản lớn nhất thường bị quên. Thứ nhất là tiền huấn luyện, tính theo lượng dữ liệu. Thứ hai là tiền lưu trữ và suy luận trên mô hình riêng, thường cao hơn mô hình dùng chung. Thứ ba là công sức chuẩn bị và làm sạch dữ liệu, đây mới là khoản tốn nhất và nó tính bằng ngày công của người hiểu nghiệp vụ. Thứ tư là chi phí huấn luyện lại mỗi khi yêu cầu thay đổi.

Nếu đã fine-tune rồi thì còn cần viết prompt tốt nữa không?

Vẫn cần, chỉ là prompt ngắn lại. Mô hình đã fine-tune vẫn cần biết bối cảnh cụ thể của từng lần gọi: dữ liệu đầu vào là gì, ràng buộc lần này ra sao. Cái mất đi là phần mô tả văn phong và định dạng, vì mô hình đã mang sẵn trong người.

Doanh nghiệp nhỏ có nên nghĩ tới fine-tune không?

Nên biết để không bị thuyết phục mua thứ mình chưa cần. Với quy mô dưới vài trăm lượt gọi mỗi ngày, khoản tiền và thời gian bỏ vào fine-tune gần như luôn sinh lợi thấp hơn nếu đem đầu tư vào ba việc khác: chuẩn hóa quy trình, xây thư viện prompt dùng chung, và đào tạo người dùng.

Bài liên quan trong cùng chủ đề

• RAG là gì và khi nào doanh nghiệp cần dùng
• Token là gì và cách token quyết định chi phí dùng AI
• Hướng dẫn viết prompt ChatGPT như một chuyên gia
• Prompt engineering là gì

Đi đúng thứ tự thay vì đốt tiền vào mô hình riêng

Phần lớn đội ngũ chỉ cần chuẩn hóa prompt và sắp xếp lại tài liệu là đã giải quyết được vấn đề. Nếu bạn muốn có khung làm việc sẵn cho cả phòng ban thay vì thử sai từng người, hai chương trình dưới đây đi đúng vào phần đó.

• Khóa học AI cho quản lý và lãnh đạo
• Khóa học xây dựng AI Agent cá nhân
• Liên hệ tại trang thông tin liên hệ hoặc hotline 093.404.1114

Về người viết

Nguyễn Văn Tân (Tân AI, Tân MKT) là chuyên gia đào tạo ứng dụng AI và Marketing, Founder kiêm CEO Drabuff Academy & Agency, tác giả ba cuốn sách. Anh đi lên từ nền tảng kỹ sư công nghệ thông tin với các chứng chỉ CCNA, CCNP và CEH, từng làm tại FPT và Vietsovpetro, sau đó hơn 10 năm làm Marketing. Anh đã trực tiếp đứng lớp hơn 200 khóa đào tạo cho trên 100 doanh nghiệp, trong đó có Viettel, Honda, Mercedes-Benz, Novaland, Heineken, Toyota và EVN. Nguyên tắc của anh là thực chiến: quy trình nào không chạy được trong công việc hằng ngày thì không đưa vào bài giảng.