Q: Can I use the same model for both the main task and evaluation? – Hamel’s Blog - Hamel Husain
Для выбора модели LLM-as-Judge обычно нормально использовать ту же модель, что и в основном пайплайне, поскольку судья выполняет другую задачу. Исследования показывают, что модели могут проявлять предвзятость при оценке собственных выводов, но главное — насколько хорошо судья согласуется с человеческими оценками на ограниченной задаче бинарной классификации. Автор советует фокусироваться на достижении высоких показателей True Positive Rate (TPR) и True Negative Rate (TNR) на отложенном размеченном тестовом наборе, а смену модели рассматривать только при проблемах с согласованностью. При выборе модели-судьи рекомендуется начинать с самых мощных доступных моделей, чтобы установить надёжное соответствие человеческим суждениям, а оптимизировать стоимость уже потом.
Для выбора LLM-as-Judge использование той же модели обычно вполне допустимо, потому что судья выполняет иную задачу, чем ваш основной LLM-пайплайн. Хотя исследования показали, что модели могут проявлять предвзятость при оценке собственных выводов, в конечном счёте важно то, насколько хорошо ваш судья согласуется с человеческими суждениями. Судьи, построение которых мы рекомендуем, выполняют узко ограниченные задачи бинарной классификации. Мы обнаружили, что итеративного согласования с человеческими метками на такой ограниченной задаче обычно вполне можно достичь.
Сосредоточьтесь на достижении высоких True Positive Rate (TPR) и True Negative Rate (TNR) для вашего судьи на отложенном размеченном тестовом наборе. Если вам не удаётся добиться хорошего согласования с человеческими оценками, тогда подумайте о том, чтобы попробовать другую модель. Однако подключение новых поставщиков моделей в некоторых организациях может потребовать немалых усилий, поэтому мы не выступаем за использование разных моделей по умолчанию, если только нет конкретной проблемы с согласованностью.
При выборе моделей-судей начинайте с самых мощных доступных моделей, чтобы установить прочное согласование с человеческими суждениями. Оптимизировать стоимость можно позже, когда вы уже выработали надёжные критерии оценки.
Эта статья является частью нашего AI Evals FAQ — сборника распространённых вопросов (и ответов) об оценке LLM. Посмотреть все FAQ или вернуться на главную страницу.