Q: What is a trace? – Hamel’s Blog - Hamel Husain

Трейс (trace) — это полная запись всех действий, сообщений, вызовов инструментов и извлечений данных, начиная с одного исходного запроса пользователя и заканчивая финальным ответом. Он охватывает каждый шаг во всех агентах, инструментах и компонентах системы в рамках сессии: множественные сообщения пользователя, ответы ассистента, извлечённые документы и промежуточные взаимодействия с инструментами. Автор отмечает, что разные вендоры систем наблюдаемости (observability) по-разному определяют понятия трейсов и спанов (spans), и ссылается на анализ Alex Strick van Linschoten, иллюстрирующий эти различия. Материал является частью FAQ по оценке (evals) ИИ-систем.