Khách báo đã gửi yêu cầu, chatbot nói đã chuyển cho tư vấn, nhưng đội sales không thấy việc mới. Người vận hành mở lịch sử chat, đọc lại câu trả lời rồi vẫn không biết lỗi nằm ở đâu. Hội thoại cho thấy AI đã nói gì; để biết hệ thống đã làm gì, doanh nghiệp cần log AI agent nối được yêu cầu ban đầu với từng bước xử lý và kết quả bên ngoài.
Một nhật ký hữu ích phải giúp trả lời: việc nào bị ảnh hưởng, chạy bằng cấu hình nào, dừng ở bước nào, điều gì đã được xác nhận và ai đang tiếp nhận. Bài này đưa ra khung ghi nhận để đội marketing trao đổi với người phụ trách tích hợp. Mẫu dữ liệu và tình huống bên dưới đều là giả định, chưa phải cấu hình lưu trữ đã triển khai hay chính sách của Vin Media Global.
1. Log AI Agent cần trả lời những câu hỏi nào?
Trước khi chọn nơi lưu, hãy chọn một sự cố doanh nghiệp thực sự cần điều tra. Ví dụ: bản ghi chưa đến CRM, câu trả lời dùng sai tài liệu, tác vụ gửi hai lần hoặc khách chờ mà không thấy phản hồi. Mỗi loại cần dấu vết khác nhau, nhưng đều cần một đường nối từ đầu đến cuối. Nếu chỉ ghi một dòng “có lỗi”, người nhận vẫn phải hỏi lại toàn bộ bối cảnh.
Đội vận hành nên dùng sáu câu hỏi để đánh giá nhật ký: yêu cầu nào; thuộc luồng và môi trường nào; dùng phiên bản nào; đã gọi công cụ hoặc đọc nguồn nào; kết quả nào có bằng chứng; ai xử lý tiếp. Câu trả lời cần dựa trên sự kiện được ghi nhận, không dựa vào lời giải thích AI tạo sau khi sự cố đã xảy ra.
Cần phân biệt ba lớp thông tin. Hội thoại chứa yêu cầu và câu trả lời nhìn thấy. Nhật ký sự kiện ghi những lần nhận việc, kiểm tra, gọi công cụ, chờ và chuyển người. Trace nối các bước của một lượt xử lý để nhìn quan hệ giữa chúng. Một biểu đồ tổng số lỗi giúp biết hệ thống có vấn đề, nhưng thường chưa đủ để tìm một yêu cầu cụ thể.
Tài liệu Logs của OpenTelemetry mô tả các trường như thời điểm xảy ra, thời điểm được quan sát, mức độ và mã trace/span để liên kết bản ghi. Với SME, ý nghĩa thực tế là phải giữ được mối liên hệ giữa các sự kiện, dù đội kỹ thuật dùng công cụ nào. Tên trường trong mẫu dưới đây là đề xuất cho trao đổi nghiệp vụ, không phải tuyên bố đã tuân theo toàn bộ chuẩn OpenTelemetry.
Nếu mục tiêu là xác định chatbot sai ở nguồn hay chỉ dẫn, hãy đi tiếp theo bài chẩn đoán chatbot trả lời sai dữ liệu doanh nghiệp. Bài hiện tại tập trung vào dấu vết cần có trước khi điều tra, không thay thế cách sửa từng loại lỗi.
2. Tám nhóm thông tin nên có trong mẫu nhật ký
Không nhất thiết lưu tất cả trường ở mọi sự kiện. Một sự kiện nhận việc cần thông tin khác một sự kiện đọc lại kết quả. Tuy nhiên, đội triển khai nên thống nhất tên trường, kiểu dữ liệu, trường bắt buộc và cách biểu diễn “chưa biết”. Bỏ trống kết quả mà không có trạng thái sẽ khiến người đọc khó phân biệt chưa chạy, thất bại hay mất dấu vết.
| Nhóm thông tin | Trường đề xuất | Câu hỏi cần trả lời |
|---|---|---|
| Định danh và phạm vi | Mã việc, mã lượt chạy, mã sự kiện, môi trường, mã không gian dữ liệu | Có đang nhìn đúng việc, đúng doanh nghiệp và đúng bản vận hành không? |
| Quan hệ giữa các bước | Mã bước, bước cha, mã thao tác, lần thử | Sự kiện thuộc nhánh nào; đây là thử lại hay một yêu cầu mới? |
| Thời điểm và nơi phát sinh | Thời gian sự kiện, múi giờ, thời gian thu nhận, tên dịch vụ | Việc xảy ra khi nào và nhật ký có đến muộn không? |
| Cấu hình đã chạy | Phiên bản workflow, chỉ dẫn, cấu hình mô hình, công cụ | Sự cố xảy ra trước hay sau lần thay đổi nào? |
| Nguồn và đầu vào cần đối chiếu | Mã tài liệu, phiên bản, tham chiếu đầu vào đã kiểm soát | Agent đã dùng nguồn nào và dữ liệu nào đủ để kiểm tra? |
| Thao tác và quyền thực hiện | Tên hành động, mã quyết định cho phép, tham chiếu phê duyệt nếu có | Bước đó được phép làm gì và có cần người xác nhận không? |
| Kết quả và bằng chứng | Trạng thái, mã lý do, mã việc ngoài hệ thống, mã bản ghi, kết quả đọc lại | Đã gửi, được nhận hay đã xác minh thay đổi ở đích? |
| Trách nhiệm xử lý tiếp | Mã sự cố, người hoặc vai trò nhận, trạng thái tiếp nhận, liên kết xử lý | Ai đang chịu trách nhiệm và đã nhận việc chưa? |
Mã việc cần ổn định theo mục đích nghiệp vụ. Ví dụ yêu cầu tạo một cơ hội tư vấn giữ cùng mã qua các lần thử. Mỗi lần chạy hoặc thử gọi lại vẫn có mã riêng. Nếu mỗi bước tự tạo một mã không liên hệ với bước trước, người vận hành có thể tìm thấy từng mảnh nhưng không ghép được đường đi.
Với phiên bản, đừng chỉ ghi “prompt mới nhất”. Sau một lần cập nhật, cụm đó mất ý nghĩa. Mã phiên bản cần trỏ đến cấu hình đã dùng tại thời điểm chạy. Tương tự, tên tài liệu có thể giữ nguyên trong khi nội dung thay đổi; mã nguồn đi kèm phiên bản giúp tránh dùng bản hôm nay để giải thích câu trả lời hôm trước.
Với kết quả, “đã gọi công cụ” và “đã tạo bản ghi” là hai sự kiện khác nhau. Mẫu nhật ký nên cho phép trạng thái chưa xác định khi kết nối bị ngắt sau lúc gửi. Không có phản hồi không chứng minh hệ thống đích chưa làm gì. Phần này cần khớp với quy tắc nguồn dữ liệu và quyền ghi khi tích hợp CRM, thay vì để mỗi công cụ tự hiểu một kiểu.

3. Ví dụ: lần theo một yêu cầu chưa thấy trong CRM
Giả sử đội marketing dùng agent để nhận nhu cầu tư vấn và chuyển thành việc cho sales. Khách thấy thông báo đang chuyển yêu cầu, nhưng sales chưa tìm thấy bản ghi. Dưới đây là chuỗi sự kiện giả định R72, phục vụ cách đọc log; không lấy từ hệ thống khách hàng hay một lần thử nghiệm tích hợp.
Cùng việc nghiệp vụ K72 đi qua một lượt chạy R72. Workflow là W4, chỉ dẫn P9, nguồn tài liệu D8 phiên bản 3. Các mã chỉ có ý nghĩa minh họa. Ví dụ không chứa tên khách, số điện thoại, nội dung hội thoại hoặc khóa truy cập.
| Sự kiện | Dấu vết giả định | Điều đã biết | Bước cần làm tiếp |
|---|---|---|---|
| E1 · nhận yêu cầu | K72 / R72; W4 / P9; môi trường vận hành | Hệ thống đã nhận việc | Tìm các bước có cùng mã việc |
| E2 · chuẩn bị nội dung | Nguồn D8 phiên bản 3; đầu vào tham chiếu F72 | Biết nguồn được dùng | Đối chiếu phiên bản khi cần kiểm tra nội dung |
| E3 · gửi tạo việc | Thao tác O72; lần thử 1; công cụ tạo cơ hội | Yêu cầu đã được gửi | Chờ hoặc tra kết quả ở hệ thống đích |
| E4 · hết thời gian chờ | O72; trạng thái chưa xác định; chưa có mã bản ghi | Chưa nhận được xác nhận | Đối chiếu trước khi gửi lại lệnh tạo |
| E5 · kiểm tra ở đích | O72 khớp bản ghi L72; kết quả đọc lại đúng trường cần kiểm tra | Việc tạo bản ghi được xác minh ở thời điểm kiểm tra | Kiểm tra bước giao sales riêng biệt |
| E6 · giao người xử lý | Phiếu I72 đã giao nhóm sales; chưa có sự kiện nhận | Bản ghi tồn tại, người nhận chưa xác nhận tiếp nhận | Đầu mối vận hành theo dõi việc nhận và phản hồi khách |
Đọc đến E4, kết luận đúng là thiếu xác nhận. Đọc thêm E5, đã có căn cứ nói bản ghi tồn tại và đúng những trường được kiểm tra. Đọc đến E6, vẫn chưa đủ để nói sales đã xử lý khách. Nhật ký giúp tách ba vấn đề: ghi dữ liệu, giao việc và con người tiếp nhận. Không nên gom cả ba thành một nhãn “thành công”.
Việc E5 tìm thấy L72 trong ví dụ cần có cách đối chiếu thao tác O72 đáng tin cậy. Nếu hệ thống đích không hỗ trợ tra theo mã thao tác hoặc dữ liệu khớp còn mơ hồ, người vận hành phải ghi “chưa xác định”, giữ người phụ trách và kiểm tra thêm. Không tìm thấy ngay cũng chưa phải bằng chứng chắc chắn rằng yêu cầu chưa được xử lý.
Nếu lỗi thực tế liên quan quyền truy cập, kết nối hoặc phản hồi API, hãy chuyển từ log sang quy trình xử lý AI Agent lỗi API. Nhật ký cung cấp dữ kiện cho quyết định; bản thân việc lưu thêm dữ liệu không sửa được quyền hoặc hoàn thành tác vụ đang treo.
4. Lưu đủ để điều tra, hạn chế dữ liệu nhạy cảm
Hướng dẫn logging của OWASP khuyến nghị hạn chế ghi trực tiếp khóa truy cập, mật khẩu và dữ liệu nhạy cảm; đồng thời kiểm soát quyền đọc, bảo vệ bản ghi và xác định thời hạn lưu. Đây là nguyên tắc tham khảo, không phải xác nhận hệ thống của doanh nghiệp đã đáp ứng yêu cầu bảo mật hay pháp lý.
Trong mẫu R72, bảng vận hành chỉ cần biết tham chiếu F72, nguồn D8 và kết quả O72. Nội dung gốc, nếu thật sự cần để điều tra, nên có nơi lưu và quyền xem riêng theo thiết kế đã thống nhất. Mã tham chiếu vẫn có thể liên kết tới một người hoặc hồ sơ; thay tên bằng mã không tự biến dữ liệu thành vô danh.
Một yêu cầu brief cụ thể cho bên triển khai là: “Người trực vận hành nhìn được bước lỗi, phiên bản, trạng thái và đầu mối; người điều tra được cấp quyền mới mở phần dữ liệu cần đối chiếu”. Anh chị cần chỉ rõ ai thuộc từng nhóm, ai phê duyệt và cách thu hồi quyền khi chuyển vai trò. Không nên dùng một tài khoản xem mọi thứ làm giải pháp mặc định.
Thời gian lưu cũng cần gắn với cách doanh nghiệp xử lý việc. Một yêu cầu mới có thể được phản ánh sau khi đội sales đã theo dõi nhiều vòng. Hãy ghi thành văn bản: nhóm log nào dùng cho mục đích gì, mốc bắt đầu tính thời hạn, ai chịu trách nhiệm và cách xử lý bản sao khi hết thời hạn. Không có một con số ngày mặc định phù hợp cho mọi doanh nghiệp; cần đối chiếu các nghĩa vụ áp dụng trước khi chốt.
Đừng yêu cầu agent xuất toàn bộ suy luận nội bộ để thay cho dấu vết. Thứ người vận hành cần là nguồn đã dùng, hành động được đề xuất, quyết định cho phép, kết quả công cụ và dữ kiện xác minh. Phần giải thích được tạo lại sau sự cố có thể hỗ trợ đọc, nhưng phải phân biệt với sự kiện ghi nhận tại thời điểm chạy.

5. Kiểm tra nhật ký bằng một sự cố trước khi bàn giao
Thay vì hỏi “đã bật log chưa”, hãy chọn một tình huống có đầu vào và kết quả mong đợi rõ. Có thể bắt đầu bằng dữ liệu giả định trong môi trường thử, sau đó mới đánh giá trường hợp thật được phép sử dụng. Việc đọc lại một dòng log thành công chưa chứng minh toàn bộ chuỗi đã được ghi đầy đủ.
- Tìm việc từ phản ánh ban đầu. Người hỗ trợ có tra được từ mã tham chiếu và khoảng thời gian không? Nếu khách chỉ có ảnh màn hình, quy trình tiếp nhận cần bổ sung điều gì mà không yêu cầu gửi dữ liệu nhạy cảm qua kênh không phù hợp?
- Ghép được đường đi. Kiểm tra nhánh con, tác vụ chạy nền và lần thử lại. Mỗi khoảng thiếu cần được ghi rõ; không suy diễn rằng “không có log” nghĩa là “không có hành động”.
- Đọc đúng phiên bản. Từ bản ghi, người điều tra phải xác định cấu hình và nguồn đã chạy. Lưu một nhãn phiên bản nhưng không còn cách đối chiếu bản tương ứng sẽ làm giảm giá trị của dấu vết.
- Phân biệt trạng thái cuối. Thử tình huống thành công, bị từ chối, hết thời gian chờ và đang đợi người. Người đọc phải biết điều gì đã xác nhận, điều gì chưa biết và ai cần tiếp tục.
- Kiểm tra cả đường thu thập. Mô phỏng gián đoạn nơi nhận log, bản ghi đến muộn hoặc thiếu trường. Theo dõi tình trạng thu nhận để tránh hiểu một màn hình trống là hệ thống không có lỗi.
- Thử quyền và vòng đời dữ liệu. Dùng các vai trò đã thống nhất để xem đúng phần được phép; kiểm tra việc hết hạn theo thiết kế, gồm cả bản xuất và bản sao liên quan.
Với tác vụ ghi dữ liệu, tái hiện lỗi bằng cách chạy lại có thể tạo thay đổi mới. Đọc và phân tích dấu vết cần tách khỏi thao tác gửi lại yêu cầu. Nếu cần tái hiện, dùng môi trường phù hợp, dữ liệu thử và quyền đã xác định; đừng coi nút “replay” như một thao tác chỉ đọc.
Khi khối lượng tăng, đội kỹ thuật có thể đề xuất giảm chi tiết hoặc lấy mẫu. Cần kiểm tra phương án đó còn giữ được dấu vết nào cho việc quan trọng, việc lỗi và trường hợp cần đối chiếu. Hãy ghi rõ khoảng thiếu và phạm vi dữ liệu còn quan sát được, thay vì kết luận mọi việc đều bình thường từ phần mẫu còn lại.
Một biên bản bàn giao ngắn nên ghi: tình huống đã chạy; dữ kiện tìm được; dữ kiện thiếu; người có quyền xem; thời hạn lưu đã thống nhất; người sửa phần thiếu và thời điểm kiểm tra lại. Nếu chưa chạy, ghi “chưa kiểm tra”. Không đánh dấu đạt chỉ vì công cụ có tính năng tương ứng trên trang giới thiệu.
Sau khi thử truy lỗi, thống nhất quy trình bảo trì và xử lý sự cố AI Agent để nhật ký có người sử dụng, có cách tiếp nhận và có điều kiện đóng việc.
6. Câu hỏi thường gặp về log AI Agent
Có cần lưu toàn bộ prompt và câu trả lời không?
Không mặc định. Bắt đầu từ câu hỏi điều tra và các trường có thể trả lời nó. Chỉ bổ sung nội dung cần thiết theo mục đích, quyền xem và thiết kế lưu trữ đã thống nhất. Những phần không có trong nhật ký phải được ghi nhận là giới hạn khi kết luận nguyên nhân.
Một dòng “success” có chứng minh việc đã hoàn thành không?
Phải biết nhãn đó thuộc bước nào. Gửi yêu cầu thành công, hệ thống đích nhận yêu cầu và kết quả đã được đọc lại là những mốc khác nhau. Với việc giao người, còn cần phân biệt đã giao và đã được người nhận tiếp nhận.
Có log đầy đủ thì chạy lại sẽ ra đúng kết quả cũ không?
Không thể mặc định như vậy. Dữ liệu ngoài hệ thống, cấu hình, nguồn và kết quả mô hình có thể thay đổi. Nhật ký hỗ trợ dựng lại diễn biến và xác định điều kiện kiểm tra; không tự bảo đảm tái tạo chính xác mọi đầu ra hay hành động.
Doanh nghiệp nên bắt đầu từ mẫu nào?
Chọn một luồng đang gây khó cho người vận hành, thống nhất tám nhóm thông tin ở trên rồi thử lần theo một sự cố có kiểm soát. Đánh giá khả năng tìm đúng việc và xác nhận kết quả trước khi mở rộng sang toàn bộ workflow.
