Q: Can I use the same model for both the main task and evaluation? – Hamel’s Blog - Hamel Husain
Для выбора модели LLM-as-Judge обычно нормально использовать ту же модель, что и в основном пайплайне, поскольку судья выполняет другую задачу. Исследования показывают, что модели могут проявлять предвзятость при оценке собственных выводов, но главное — насколько хорошо судья согласуется с человеческими оценками на ограниченной задаче бинарной классификации. Автор советует фокусироваться на достижении высоких показателей True Positive Rate (TPR) и True Negative Rate (TNR) на отложенном размеченном тестовом наборе, а смену модели рассматривать только при проблемах с согласованностью. При выборе модели-судьи рекомендуется начинать с самых мощных доступных моделей, чтобы установить надёжное соответствие человеческим суждениям, а оптимизировать стоимость уже потом.
For LLM-as-Judge selection, using the same model is usually fine because the judge is doing a different task than your main LLM pipeline. While research has shown that models can exhibit bias when evaluating their own outputs, what ultimately matters is how well your judge aligns with human judgments. The judges we recommend building do scoped binary classification tasks. We’ve found that iterative alignment with human labels is usually achievable on this constrained task.
Для выбора LLM-as-Judge использование той же модели обычно вполне допустимо, потому что судья выполняет иную задачу, чем ваш основной LLM-пайплайн. Хотя исследования показали, что модели могут проявлять предвзятость при оценке собственных выводов, в конечном счёте важно то, насколько хорошо ваш судья согласуется с человеческими суждениями. Судьи, построение которых мы рекомендуем, выполняют узко ограниченные задачи бинарной классификации. Мы обнаружили, что итеративного согласования с человеческими метками на такой ограниченной задаче обычно вполне можно достичь.
Focus on achieving high True Positive Rate (TPR) and True Negative Rate (TNR) with your judge on a held out labeled test set. If you struggle to achieve good alignment with human scores, then consider trying a different model. However onboarding new model providers may involve non-trivial effort in some organizations, which is why we don’t advocate for using different models by default unless there’s a specific alignment issue.
Сосредоточьтесь на достижении высоких True Positive Rate (TPR) и True Negative Rate (TNR) для вашего судьи на отложенном размеченном тестовом наборе. Если вам не удаётся добиться хорошего согласования с человеческими оценками, тогда подумайте о том, чтобы попробовать другую модель. Однако подключение новых поставщиков моделей в некоторых организациях может потребовать немалых усилий, поэтому мы не выступаем за использование разных моделей по умолчанию, если только нет конкретной проблемы с согласованностью.
When selecting judge models, start with the most capable models available to establish strong alignment with human judgments. You can optimize for cost later once you’ve established reliable evaluation criteria.
При выборе моделей-судей начинайте с самых мощных доступных моделей, чтобы установить прочное согласование с человеческими суждениями. Оптимизировать стоимость можно позже, когда вы уже выработали надёжные критерии оценки.
This article is part of our AI Evals FAQ, a collection of common questions (and answers) about LLM evaluation. View all FAQs or return to the homepage.
Эта статья является частью нашего AI Evals FAQ — сборника распространённых вопросов (и ответов) об оценке LLM. Посмотреть все FAQ или вернуться на главную страницу.