Q: How much of my development budget should I allocate to evals? – Hamel’s Blog - Hamel Husain
Хамель Хусейн объясняет, что оценка (evals) — это не отдельная статья бюджета, а часть процесса разработки, подобно отладке в программировании. По его опыту, на error analysis и оценку уходит 60–80% времени разработки, причём большая часть усилий направлена на понимание сбоев (изучение данных), а не на построение автоматических проверок. Решение о создании автоматических оценщиков сводится к анализу затрат и выгод: простые проверки через assertion или regex почти всегда оправданы, а вот настройка LLM-as-judge требует взвешивания. Автор предостерегает от погони за высоким процентом прохождения evals: 100% означает, что система недостаточно нагружена, тогда как 70% может указывать на более содержательную оценку, реально проверяющую приложение на прочность.
Важно понимать, что оценка — это часть процесса разработки, а не отдельная статья расходов, подобно тому как отладка является частью разработки ПО.
Вы всегда должны проводить error analysis. Когда вы обнаруживаете проблемы в ходе error analysis, многие из них окажутся обычными багами, которые вы сразу же исправите. Эти исправления не требуют отдельной инфраструктуры оценки, поскольку они — просто часть разработки.
Решение о создании автоматических оценщиков сводится к анализу затрат и выгод. Если ошибку можно поймать простым assertion или regex-проверкой, затраты минимальны и это, вероятно, того стоит. Но если вам нужно настроить оценщик типа LLM-as-judge, подумайте, оправдывает ли этот режим сбоя такие вложения.
В проектах, над которыми мы работали, мы тратили 60–80% времени разработки на error analysis и оценку. Ожидайте, что большая часть усилий уйдёт на понимание сбоев (то есть на изучение данных), а не на построение автоматических проверок.
С осторожностью относитесь к оптимизации под высокий процент прохождения evals. Если вы проходите 100% своих evals, скорее всего, вы недостаточно нагружаете свою систему. Процент прохождения в 70% может указывать на более содержательную оценку, которая действительно проверяет ваше приложение на прочность. Сосредоточьтесь на evals, которые помогают ловить реальные проблемы, а не на тех, что делают ваши метрики красивыми.
Эта статья — часть нашего AI Evals FAQ, сборника частых вопросов (и ответов) об оценке LLM. Посмотреть все FAQ или вернуться на главную.