Q: What is a trace? – Hamel’s Blog - Hamel Husain
Трейс (trace) — это полная запись всех действий, сообщений, вызовов инструментов и извлечений данных, начиная с одного исходного запроса пользователя и заканчивая финальным ответом. Он охватывает каждый шаг во всех агентах, инструментах и компонентах системы в рамках сессии: множественные сообщения пользователя, ответы ассистента, извлечённые документы и промежуточные взаимодействия с инструментами. Автор отмечает, что разные вендоры систем наблюдаемости (observability) по-разному определяют понятия трейсов и спанов (spans), и ссылается на анализ Alex Strick van Linschoten, иллюстрирующий эти различия. Материал является частью FAQ по оценке (evals) ИИ-систем.
A trace is the complete record of all actions, messages, tool calls, and data retrievals from a single initial user query through to the final response. It includes every step across all agents, tools, and system components in a session: multiple user messages, assistant responses, retrieved documents, and intermediate tool interactions.
Трейс — это полная запись всех действий, сообщений, вызовов инструментов и извлечений данных, начиная с одного исходного запроса пользователя и заканчивая финальным ответом. Он включает каждый шаг во всех агентах, инструментах и компонентах системы в рамках сессии: множественные сообщения пользователя, ответы ассистента, извлечённые документы и промежуточные взаимодействия с инструментами.
Note on terminology: Different observability vendors use varying definitions of traces and spans. Alex Strick van Linschoten’s analysis highlights these differences (screenshot below):
Замечание о терминологии: Разные вендоры систем наблюдаемости используют различные определения трейсов и спанов. Анализ Alex Strick van Linschoten подчёркивает эти различия (скриншот ниже):
This article is part of our AI Evals FAQ, a collection of common questions (and answers) about LLM evaluation. View all FAQs or return to the homepage.
Эта статья является частью нашего AI Evals FAQ — сборника частых вопросов (и ответов) об оценке LLM. Посмотреть все FAQ или вернуться на главную страницу.