Q: How much time should I spend on model selection? – Hamel’s Blog - Hamel Husain
Хамель Хусейн отвечает на частый вопрос разработчиков LLM-приложений: сколько времени тратить на выбор модели. Его позиция — большинство фиксируется на смене модели как на главном способе улучшения системы, хотя это редко корень проблемы. Прежде чем переключаться между моделями, нужно провести error analysis и понять реальные режимы отказа. Только если анализ ошибок указывает именно на модель как на источник проблемы, имеет смысл рассматривать её замену. Заметка входит в FAQ по оценке LLM-систем.
Многие разработчики зацикливаются на выборе модели как на основном способе улучшить свои LLM-приложения. Начните с error analysis, чтобы понять режимы отказа, прежде чем думать о смене модели. Как отметил Hamel на office hours: «Я советую не рассматривать смену модели как главную ось улучшения вашей системы с самого начала, без доказательств. Указывает ли error analysis на то, что проблема именно в модели?»
Эта статья — часть нашего AI Evals FAQ, сборника типичных вопросов (и ответов) об оценке LLM. Смотреть все FAQ или вернуться на главную.