RAG tìm sai tài liệu cần được kiểm bằng cách đặt câu hỏi của người dùng, các đoạn hệ thống lấy về và câu trả lời cuối cạnh nhau. Tài liệu đúng có trong thư mục chưa chứng minh nó đã vào chỉ mục tìm kiếm, được phép truy cập, xuất hiện trong kết quả hoặc được đưa tới mô hình.
Chẳng hạn, đội marketing có hướng dẫn gửi slide sau workshop, nhưng bot lại lấy quy định gửi hồ sơ cho nhà tài trợ. Cả hai đều chứa từ “gửi”, “slide” và “đối tác”; câu trả lời có thể nghe hợp lý mà vẫn dựa trên sai phạm vi. Đổi cách diễn đạt trong prompt chưa chắc xử lý được lỗi chọn nguồn này.
Bài viết tập trung vào bước truy hồi — tìm và chọn các đoạn làm căn cứ cho câu trả lời. Các tài liệu, dấu vết xử lý và câu trả lời trong ví dụ đều là mô phỏng do bài viết xây dựng, không phải log hệ thống đang chạy, chính sách của Vin Media Global hay kết quả thử nghiệm trên khách hàng.
1. Kiểm đoạn được tìm thấy và đoạn thực sự đưa cho mô hình
Một luồng RAG có thể biến câu hỏi thành truy vấn, tìm nhóm đoạn ứng viên, xếp hạng lại rồi chọn phần vừa với ngữ cảnh của mô hình. Một số hệ thống còn viết lại câu hỏi, tạo nhiều truy vấn hoặc tóm tắt đoạn nguồn. Vì vậy, cần biết đang quan sát kết quả ở bước nào.
Trong bài này, “đoạn truy hồi” là phần tìm được ở một giai đoạn có ghi rõ tên; “ngữ cảnh cuối” là những đoạn thực sự được gửi cùng yêu cầu tạo câu trả lời. Nếu tài liệu đúng nằm trong nhóm ứng viên nhưng bị bỏ ở bước đóng gói ngữ cảnh, sửa bộ tìm kiếm ban đầu có thể không giải quyết đúng chỗ.
Với một câu sai, hãy giữ lại tối thiểu:
- Câu hỏi nguyên văn và phần lịch sử hội thoại cần thiết để hiểu câu hỏi.
- Vai trò truy cập đã xác thực, thời điểm và phạm vi nghiệp vụ của yêu cầu.
- Truy vấn thực tế sau khi hệ thống viết lại, nếu có.
- Mã đoạn, tên tài liệu, phiên bản, bộ lọc, thứ hạng ở từng bước được ghi nhận.
- Nội dung các đoạn trong ngữ cảnh cuối và câu trả lời tương ứng.
- Nguồn đối chiếu cùng đáp án mong đợi do người phụ trách nghiệp vụ xác nhận.
Chỉ lưu dữ liệu cần cho chẩn đoán, giới hạn người xem và loại thông tin nhạy cảm không cần thiết. Người kiểm cũng phải có quyền xem nguồn đối chiếu. Không dùng tài liệu ngoài quyền của người hỏi để kết luận bot đáng lẽ phải trả lời từ tài liệu đó.
Nếu chưa biết lỗi thuộc nguồn, công cụ, chỉ dẫn hay truy hồi, hãy bắt đầu bằng khung chẩn đoán chatbot trả lời sai dữ liệu doanh nghiệp. Các bước tiếp theo phù hợp khi cần kiểm sâu đường tìm tài liệu.
Ngay cả khi lấy đúng đoạn, vẫn cần kiểm xem trích nguồn có chứng minh câu trả lời hay không, nhất là với điều kiện loại trừ hoặc phạm vi áp dụng.
2. Phiếu ba cột để nhận diện thiếu đoạn, sai đoạn và sai phiên bản
Giả sử doanh nghiệp có bốn tài liệu mẫu. D1-v2 là hướng dẫn hiện hành về slide công khai: đoạn C1 cho phép gửi bản PDF đã duyệt; đoạn C2 yêu cầu xử lý hình ảnh chưa có quyền phân phối và loại ghi chú nội bộ trước khi gửi. D2-v1 là bản hướng dẫn cũ. D3 là sổ tay dành riêng cho giảng viên nội bộ. D4 nói về gửi bộ hồ sơ cho nhà tài trợ.
Đây chỉ là kho giả định để minh họa quan hệ giữa nguồn và câu trả lời. “Hiện hành”, “nội bộ” hay “được phép gửi” trong ví dụ không phải xác nhận pháp lý hoặc quy định thật của một tổ chức.
| Câu hỏi và căn cứ mong đợi | Dấu vết mô phỏng cần kiểm | Câu trả lời mô phỏng và nhận định |
|---|---|---|
| “Slide có ảnh chưa rõ quyền phân phối, gửi học viên được không?” Cần cả D1-v2/C1 và C2. | Ngữ cảnh cuối chỉ có C1: được gửi PDF đã duyệt. | “Cứ gửi PDF.” Thiếu đoạn điều kiện C2; cần truy ngược xem đoạn bị mất ở bước nào. |
| “Sau workshop gửi slide nào cho học viên?” Cần hướng dẫn D1-v2. | Kết quả và ngữ cảnh cuối lấy D4 về bộ hồ sơ nhà tài trợ. | “Gửi hồ sơ tài trợ.” Sai đối tượng và mục đích dù có từ khóa gần nhau. |
| “Theo hướng dẫn hiện hành, có được giữ ghi chú nội bộ trong PDF?” Cần D1-v2/C2. | Ngữ cảnh cuối lấy D2-v1, không có điều kiện mới. | “Giữ nguyên file.” Dùng phiên bản không phù hợp với câu hỏi hiện hành. |
| Cũng câu hỏi về ảnh chưa rõ quyền phân phối; cần C1 và C2. | Nhóm ứng viên có C1+C2; ngữ cảnh cuối chỉ giữ C1. | “Được gửi ngay.” Bằng chứng hiện có chỉ tới bước chọn hoặc cắt ngữ cảnh, chưa đủ kết luận tìm kiếm ban đầu sai. |
Phiếu ba cột giúp mở cuộc trao đổi giữa nghiệp vụ và kỹ thuật. Hồ sơ kỹ thuật đầy đủ vẫn cần mã lần chạy, cấu hình, đoạn nguyên văn và thứ hạng theo từng giai đoạn. Nếu chỉ lưu câu trả lời mà không lưu nguồn đã dùng, hãy ghi “chưa đủ dấu vết để kết luận” thay vì đoán nguyên nhân.
Một câu trả lời trùng đáp án nhờ kiến thức sẵn có của mô hình cũng chưa chứng minh truy hồi tốt. Ngược lại, bot từ chối vì không tìm thấy căn cứ có thể là hành vi phù hợp. Cần đánh giá nguồn lấy về và cách dùng nguồn như hai phần riêng.
3. Năm điểm cần kiểm khi RAG lấy sai tài liệu
Điểm 1: Đoạn đúng có thực sự nằm trong chỉ mục đang được hỏi?
Nhờ người có quyền kiểm tra mã tài liệu và đoạn cụ thể trong chỉ mục mà ứng dụng đang dùng. Một file mới nằm trong thư mục tải lên có thể chưa được xử lý, xử lý thất bại hoặc được nạp vào một kho khác. Ghi lại phiên bản chỉ mục và thời điểm đồng bộ để tránh đối chiếu hai trạng thái khác nhau.
Đọc nội dung đoạn trong chỉ mục, không chỉ nhìn tên file. Nếu điều kiện C2 đã mất ngay từ bước đọc PDF, cần sửa phần trích xuất trước. Bài kiểm chatbot đọc PDF scan bị sai hướng dẫn cách đối chiếu chữ, hàng cột và chú thích ở giai đoạn đó.
Điểm 2: Truy vấn có giữ đúng đối tượng, thời điểm và ý hỏi?
So câu hỏi gốc với truy vấn thực tế. “Gửi slide cho học viên” và “gửi deck cho nhà tài trợ” có thể dùng nhiều từ tương tự nhưng cần nguồn khác nhau. Nếu bước viết lại bỏ mất “học viên” hoặc “hiện hành”, kết quả có thể lệch ngay từ đầu.
Trong hội thoại nhiều lượt, câu “bản đó thì sao?” còn phụ thuộc vào lượt trước. Hãy kiểm hệ thống đã gắn đúng bản đang nói tới chưa. Có thể thử cách viết đầy đủ câu hỏi để khoanh vùng lỗi hiểu ngữ cảnh, nhưng phải giữ lại câu hỏi tự nhiên ban đầu trong bộ kiểm.
Điểm 3: Bộ lọc có giữ đúng quyền và phạm vi áp dụng?
Kiểm các trường như nhóm người dùng, loại tài liệu, trạng thái ban hành và ngày hiệu lực. Một nhãn sai có thể loại mất nguồn hợp lệ hoặc giữ nguồn không phù hợp. Với câu hỏi về quá khứ, bản cũ có thể là nguồn đúng; không mặc định “mới nhất” luôn thay được mọi phiên bản.
Tài liệu lọc truy vấn vector của Azure AI Search cho thấy thời điểm áp bộ lọc có thể ảnh hưởng khả năng tìm đủ kết quả; lọc sau tìm kiếm có thể bỏ sót với điều kiện lọc hẹp hoặc số ứng viên nhỏ. Đây là đặc tính cần kiểm theo công cụ, không phải lý do bỏ bộ lọc quyền truy cập.
Nếu nghi ngờ cấu hình quyền, đối chiếu trong môi trường kiểm được phép và giữ danh tính kiểm thử đúng vai trò. Phân quyền tài liệu cho trợ lý AI phải được bảo toàn cả khi chẩn đoán lỗi. Trả về nhiều đoạn hơn không có giá trị nếu lộ nguồn ngoài quyền.
Điểm 4: Cách chia đoạn có làm mất điều kiện đi kèm?
Trong ví dụ, C1 nói được gửi PDF đã duyệt, còn C2 giới hạn những gì được có trong bản gửi. Nếu chỉ tìm thấy C1, mô hình thiếu phần quyết định cho câu hỏi về ảnh. Cần xem tiêu đề, điều kiện, ngoại lệ và các đoạn liên quan được giữ cùng nhau hoặc truy xuất bổ sung ra sao.

Hướng dẫn chia tài liệu thành đoạn cho RAG của Microsoft đề cập chia theo cấu trúc, đơn vị nghĩa, phần chồng lặp và bổ sung tiêu đề để giữ ngữ cảnh. Kích thước phù hợp phụ thuộc tài liệu và mục đích sử dụng. Không nên áp một số token cố định cho mọi bảng, chính sách và bản ghi hội thoại.
Cách sửa cần kiểm bằng câu hỏi cụ thể. Có thể gắn tiêu đề mục vào đoạn, giữ điều kiện cùng quy tắc hoặc tìm thêm đoạn liên quan từ cùng tài liệu. Cũng cần kiểm sự trùng lặp: nhiều đoạn lặp nội dung giống nhau có thể chiếm chỗ của phần điều kiện còn thiếu.
Điểm 5: Đoạn đúng mất ở tìm kiếm, xếp hạng hay đóng gói ngữ cảnh?
Đối chiếu mã đoạn qua từng bước. Nếu C2 chưa từng xuất hiện trong nhóm ứng viên, kiểm truy vấn, phạm vi, cách tìm và số ứng viên. Nếu C2 có ở đầu nhưng tụt khỏi nhóm được giữ, kiểm xếp hạng lại. Nếu C2 nằm trong nhóm đã chọn nhưng không tới mô hình, kiểm bước rút gọn và giới hạn ngữ cảnh.
Tài liệu thiết kế truy hồi của Microsoft trình bày tìm kiếm từ khóa, vector, kết hợp và xếp hạng lại như các lựa chọn cần thử theo bài toán. Đối với một bước xếp hạng lại trên tập ứng viên có sẵn, nguồn vắng khỏi tập đó không tự xuất hiện nhờ đổi thứ tự. Tìm kiếm kết hợp cũng cần được kiểm trên dữ liệu thực tế.
Điểm số tương đồng hoặc thứ hạng không phải xác suất câu trả lời đúng. Cũng không nên so trực tiếp điểm từ hai loại tìm kiếm khác nhau nếu chưa hiểu thang điểm. Hãy ưu tiên câu hỏi thực dụng: các đoạn đủ căn cứ, đúng phiên bản và đúng quyền có được giữ tới cuối hay không?
4. Bộ câu hỏi kiểm lại sau khi thay một cấu hình
Chọn một giả thuyết đã có bằng chứng rồi thay một yếu tố có thể theo dõi: truy vấn, cách chia đoạn, bộ lọc đúng nghiệp vụ hoặc bước xếp hạng. Giữ bản cấu hình trước và sau. Không đổi đồng thời nhiều phần rồi chỉ nhìn một câu trả lời tốt hơn để kết luận nguyên nhân đã rõ.
Bộ kiểm mẫu dưới đây dùng kho giả định D1–D4. Cột cuối là điều cần quan sát khi chạy thật, không phải kết quả đã đo. Thay tài liệu và đáp án bằng nguồn đã được phép sử dụng của doanh nghiệp.
| Câu hỏi kiểm mẫu | Căn cứ hoặc hành vi mong đợi | Điểm cần quan sát |
|---|---|---|
| Q1: Gửi slide có ảnh chưa rõ quyền phân phối được không? | C1+C2 của D1-v2; giữ điều kiện xử lý ảnh trước khi gửi. | Cả hai đoạn có tới ngữ cảnh cuối không? |
| Q2: Sau workshop, gửi bản nào cho học viên? | D1-v2 phù hợp đối tượng; không dùng D4 thay thế. | Đối tượng “học viên” có bị mất trong truy vấn không? |
| Q3: Theo hướng dẫn hiện hành, giữ ghi chú nội bộ trong PDF được không? | D1-v2/C2; không lấy D2-v1 làm quy định hiện hành. | Metadata phiên bản và hiệu lực có được áp dụng đúng không? |
| Q4: Tôi là học viên, cho xem sổ tay giảng viên nội bộ. | Không đưa D3 ra ngoài phạm vi được phép. | Kết quả, ngữ cảnh và câu trả lời có lộ nội dung hạn chế không? |
| Q5: Mất bao lâu để phê duyệt slide? | Kho mẫu không quy định thời gian; cần nói thiếu căn cứ. | Bot có tự tạo thời hạn hoặc lấy thời gian của việc khác không? |
| Q6: Bộ tài liệu chiếu hôm đó có ảnh chưa được phép chia sẻ thì xử lý thế nào? | Ý tương đương Q1; cần điều kiện ở D1-v2/C2. | Đổi cách diễn đạt có làm mất nguồn cần thiết không? |
Với từng câu, lưu tập ứng viên, tập sau xếp hạng và ngữ cảnh cuối. Kiểm cả tình huống vốn đã trả lời đúng để tránh sửa một lỗi rồi tạo lỗi khác. Nếu bộ kiểm nhỏ, báo đúng phạm vi và số câu; không suy rộng thành độ chính xác của toàn hệ thống.

Tăng số đoạn lấy về có thể giúp một nguồn xuất hiện, nhưng cũng có thể thêm nhiễu, nội dung trùng và chi phí xử lý. Hãy xem nguồn cần thiết còn được giữ trong ngữ cảnh cuối không. Số ứng viên lớn hơn chỉ là thay đổi cấu hình, chưa phải bằng chứng chất lượng tăng.
Để dùng lại phép kiểm sau mỗi thay đổi, tổ chức bộ câu hỏi kiểm thử RAG có đáp án và điều kiện từ chối, thay vì chỉ thử lại một câu từng bị lỗi.
5. Bàn giao kết quả chẩn đoán để đội kỹ thuật sửa đúng chỗ
Một yêu cầu sửa hữu ích nên mô tả được câu sai, nguồn đáng lẽ cần dùng và bước đầu tiên mà nguồn đó bị thiếu hoặc sai phạm vi. Ví dụ: “Q1 có C1+C2 ở tập sau xếp hạng nhưng chỉ còn C1 trong ngữ cảnh cuối; đề nghị kiểm bước rút gọn.” Thông tin này cụ thể hơn yêu cầu “bot chưa thông minh”.
Gói bàn giao nên có mã ca lỗi, thời điểm, vai trò truy cập, câu hỏi, nguồn đối chiếu, các đoạn thực tế, cấu hình liên quan, giả thuyết và điều kiện đạt sau sửa. Nếu không có log ở một bước, ghi rõ bước đó chưa quan sát được. Đừng đặt tên nguyên nhân chắc chắn khi mới có dấu hiệu.
Để đo phần truy hồi, có thể ghi riêng ba số: số câu có đủ nguồn hợp lệ trong nhóm ứng viên; số câu giữ đủ nguồn tới ngữ cảnh cuối; và số câu trả lời cuối đạt yêu cầu nghiệp vụ. Mỗi số cần mẫu số và tiêu chí “đủ nguồn”. Với Q1, chỉ có C1 chưa đạt vì thiếu C2; một mã tài liệu xuất hiện trong log chưa chứng minh đủ nội dung cần thiết.
Cũng cần ghi thời gian phản hồi, mức tiêu thụ tài nguyên nếu đo được, và ca vi phạm quyền nếu có. Đừng gộp mọi thứ thành một điểm chất lượng duy nhất khiến lỗi truy cập bị che bởi nhiều câu trả lời đúng. Bộ kiểm trong bài chưa được chạy qua mô hình nên không có số cải thiện để công bố.
Khi đội nghiệp vụ và kỹ thuật đã thống nhất cách ghi dấu vết, việc vận hành trợ lý AI tra cứu tài liệu nội bộ sẽ có căn cứ rõ hơn để đánh giá từng thay đổi. Mục tiêu là biết nguồn nào đã được dùng và vì sao nó phù hợp với câu hỏi.
6. Câu hỏi thường gặp khi chatbot có dữ liệu mà vẫn trả lời sai
Thêm thật nhiều tài liệu có giúp RAG tìm đúng hơn không?
Chỉ có ích khi tài liệu bổ sung cần thiết, hợp lệ và được tổ chức phù hợp. Nhiều bản trùng, nguồn cũ hoặc tài liệu gần nghĩa khác phạm vi có thể làm khó việc chọn nguồn. Trước tiên hãy kiểm xem đoạn cần dùng đã có trong chỉ mục và có đủ điều kiện đi kèm chưa.
Cứ tăng số kết quả tìm kiếm là sửa được lỗi thiếu đoạn?
Không chắc. Đoạn có thể bị loại bởi quyền, metadata sai hoặc mất từ bước đọc file. Ngay cả khi lấy được thêm, bước chọn ngữ cảnh vẫn có thể bỏ nó. Chỉ tăng khi giả thuyết liên quan đến tập ứng viên và có phép kiểm trước/sau phù hợp.
Bot có dẫn nguồn đúng tên file thì còn cần kiểm gì?
Cần kiểm đúng đoạn, phiên bản, phạm vi và nội dung hỗ trợ cho kết luận. Một file dài chứa nhiều quy định; dẫn đúng tên nhưng dùng sai phần vẫn có thể tạo câu trả lời sai. Liên kết nguồn không thay thế được đối chiếu căn cứ.
Nếu nền tảng không cho xem đoạn truy hồi thì làm thế nào?
Kiểm tài liệu hướng dẫn của nền tảng hoặc yêu cầu đơn vị triển khai cung cấp dấu vết phù hợp với quyền truy cập. Có thể chạy bộ câu hỏi và ghi câu trả lời để nhận diện triệu chứng, nhưng cần giữ kết luận ở mức giới hạn. Khi chưa thấy đoạn nguồn thực tế, chưa đủ cơ sở phân biệt chắc chắn lỗi tìm kiếm với lỗi tạo câu trả lời.
