Context window là gì và vì sao AI quên giữa chừng

Context window là lượng chữ tối đa mà một mô hình AI có thể đọc và ghi nhớ trong cùng một lượt làm việc, tính cả câu hỏi của bạn, tài liệu bạn dán vào, lịch sử trò chuyện phía trên và cả câu trả lời nó sắp viết ra. Vượt quá giới hạn đó, phần cũ nhất bị đẩy ra ngoài và mô hình thực sự không còn nhìn thấy nó nữa.

Đây là lời giải cho hiện tượng quen thuộc: trò chuyện được một lúc thì AI bắt đầu quên yêu cầu ban đầu, hoặc tóm tắt một tài liệu dài thì nó bỏ sót hẳn phần giữa.

Hình dung đúng về context window

Đừng hình dung nó như bộ nhớ của con người, càng dùng càng nhớ thêm. Hãy hình dung nó như một mặt bàn có diện tích cố định. Mỗi lần bạn đặt thêm giấy tờ lên, bàn đầy dần. Khi hết chỗ, tờ ở dưới cùng bị đẩy rơi xuống đất, và mô hình không cúi xuống nhặt lại được.

Ba điều rút ra từ hình dung này:

• Mọi thứ đều chiếm chỗ. Câu hỏi, tài liệu, các lượt trao đổi trước, và cả phần trả lời đang được viết ra đều nằm trên cùng một mặt bàn.
• Quên là quên thật, không phải lười. Khi thông tin bị đẩy ra ngoài, hỏi lại kiểu nhắc nhở cũng vô ích, phải dán lại nội dung đó.
• Phần giữa dễ bị bỏ sót nhất. Ngay cả khi chưa tràn, các mô hình có xu hướng chú ý phần đầu và phần cuối nhiều hơn phần giữa của một tài liệu dài.

Dấu hiệu bạn đang chạm trần ngữ cảnh

Năm cách làm việc với tài liệu dài

• Chia theo cấu trúc tự nhiên. Cắt theo chương, theo mục, theo phòng ban, đừng cắt máy móc theo số trang. Mỗi phần phải đủ nghĩa khi đứng một mình.
• Tóm tắt từng phần rồi gộp bản tóm tắt. Đây là cách xử lý tài liệu vài trăm trang mà vẫn giữ được mạch, thay vì ép tất cả vào một lượt.
• Giữ một bản tóm tắt chạy. Với cuộc trao đổi dài, cứ sau mỗi vài lượt lại yêu cầu tóm tắt những gì đã chốt, rồi dùng bản tóm tắt đó mở cuộc mới.
• Đặt yêu cầu quan trọng ở cuối câu hỏi. Phần cuối thường được chú ý mạnh hơn, nên yêu cầu định dạng và ràng buộc nên nằm ở đó.
• Bỏ bớt những gì không cần. Dán cả một hợp đồng vào chỉ để hỏi về điều khoản thanh toán là lãng phí chỗ. Cắt lấy phần liên quan.

Câu hỏi thường gặp

Context window lớn hơn thì có luôn tốt hơn không?

Không hẳn. Cửa sổ lớn cho phép nạp nhiều hơn, nhưng chất lượng chú ý không tăng tương ứng, và chi phí thì tăng theo lượng chữ. Nhồi một tài liệu năm trăm trang vào rồi hỏi một câu thường cho kết quả kém hơn là cắt đúng ba trang liên quan.

Làm sao biết mình đã vượt giới hạn?

Nhiều giao diện sẽ báo lỗi hoặc tự cắt bớt. Nhưng dấu hiệu thực tế dễ nhận hơn là AI bắt đầu quên yêu cầu ban đầu hoặc trả lời chung chung. Khi thấy vậy, mở cuộc mới kèm bản tóm tắt là cách nhanh nhất.

Mở cuộc trò chuyện mới có mất hết thông tin không?

Có, trừ khi công cụ bạn dùng có tính năng ghi nhớ riêng qua các phiên. Vì vậy thói quen tốt là trước khi mở cuộc mới, hãy yêu cầu tóm tắt lại các quyết định đã chốt rồi mang bản tóm tắt đó sang.

Vì sao AI đọc tốt phần đầu và phần cuối mà bỏ phần giữa?

Đây là hiện tượng được quan sát rộng rãi ở các mô hình ngôn ngữ, liên quan tới cách cơ chế chú ý phân bổ trọng số. Cách xử lý thực tế là đặt thông tin quan trọng nhất ở đầu hoặc cuối, và kiểm tra lại phần giữa bằng một câu hỏi riêng.

Context window có liên quan gì tới chi phí?

Liên quan trực tiếp. Lượng chữ trong ngữ cảnh được tính thành token, và bạn trả tiền theo token ở cả đầu vào lẫn đầu ra. Một cuộc trò chuyện dài sẽ gửi lại toàn bộ lịch sử ở mỗi lượt, nên càng về sau mỗi câu hỏi càng đắt.

Có cách nào cho AI nhớ lâu dài không?

Có, nhưng không phải bằng cách mở rộng ngữ cảnh. Cách thực tế là lưu thông tin ra bên ngoài rồi nạp lại đúng phần cần thiết khi hỏi, đó chính là nguyên lý của RAG. Một số công cụ cũng có tính năng ghi nhớ riêng, nhưng bản chất vẫn là lưu ngoài rồi nạp lại.

Dán tài liệu vào hay tải tệp lên thì tốt hơn?

Tải tệp thường tốt hơn với tài liệu dài, vì công cụ sẽ tự cắt và chỉ nạp phần liên quan thay vì đẩy tất cả vào ngữ cảnh. Nhưng nó cũng có nghĩa là mô hình không nhìn thấy toàn bộ, nên với tài liệu ngắn mà cần đọc kỹ từng câu thì dán trực tiếp lại chính xác hơn.

Bài liên quan trong cùng chủ đề

• Vì sao AI trả lời mỗi lần một khác
• Token là gì và cách nó quyết định chi phí dùng AI
• RAG là gì và khi nào doanh nghiệp cần

Chuẩn hóa cách làm việc dài với AI

Phần lớn thất vọng với AI đến từ việc giao một tài liệu quá dài rồi trách nó quên. Em nhận đào tạo cách chia việc và quản lý ngữ cảnh cho từng phòng ban.

• chương trình đào tạo AI thực chiến cùng Tân AI
• khóa AI Automation tự động hóa công việc
• Liên hệ tại trang thông tin liên hệ hoặc hotline 093.404.1114

Về người viết

Nguyễn Văn Tân (Tân AI, Tân MKT) là chuyên gia đào tạo ứng dụng AI và Marketing, Founder kiêm CEO Drabuff Academy & Agency, tác giả ba cuốn sách. Anh đi lên từ nền tảng kỹ sư công nghệ thông tin với các chứng chỉ CCNA, CCNP và CEH, từng làm tại FPT và Vietsovpetro, sau đó hơn 10 năm làm Marketing. Anh đã trực tiếp đứng lớp hơn 200 khóa đào tạo cho trên 100 doanh nghiệp, trong đó có Viettel, Honda, Mercedes-Benz, Novaland, Heineken, Toyota và EVN. Nguyên tắc của anh là thực chiến: quy trình nào không chạy được trong công việc hằng ngày thì không đưa vào bài giảng.