Q: Can I use the same model for both the main task and evaluation? – Hamel’s Blog - Hamel Husain
Для выбора модели LLM-as-Judge обычно нормально использовать ту же модель, что и в основном пайплайне, поскольку судья выполняет другую задачу. Исследования показывают, что модели могут проявлять предвзятость при оценке собственных выводов, но главное — насколько хорошо судья согласуется с человеческими оценками на ограниченной задаче бинарной классификации. Автор советует фокусироваться на достижении высоких показателей True Positive Rate (TPR) и True Negative Rate (TNR) на отложенном размеченном тестовом наборе, а смену модели рассматривать только при проблемах с согласованностью. При выборе модели-судьи рекомендуется начинать с самых мощных доступных моделей, чтобы установить надёжное соответствие человеческим суждениям, а оптимизировать стоимость уже потом.
For LLM-as-Judge selection, using the same model is usually fine because the judge is doing a different task than your main LLM pipeline. While research has shown that models can exhibit bias when evaluating their own outputs, what ultimately matters is how well your judge aligns with human judgments. The judges we recommend building do scoped binary classification tasks. We’ve found that iterative alignment with human labels is usually achievable on this constrained task.
Focus on achieving high True Positive Rate (TPR) and True Negative Rate (TNR) with your judge on a held out labeled test set. If you struggle to achieve good alignment with human scores, then consider trying a different model. However onboarding new model providers may involve non-trivial effort in some organizations, which is why we don’t advocate for using different models by default unless there’s a specific alignment issue.
When selecting judge models, start with the most capable models available to establish strong alignment with human judgments. You can optimize for cost later once you’ve established reliable evaluation criteria.
This article is part of our AI Evals FAQ, a collection of common questions (and answers) about LLM evaluation. View all FAQs or return to the homepage.