Q: Should I stop writing prompts manually in favor of automated tools? – Hamel’s Blog - Hamel Husain
Hamel Husain рассуждает о том, стоит ли отказываться от ручного написания промптов в пользу автоматизированных инструментов. Он предостерегает от преждевременной автоматизации: написание промптов вручную помогает прояснить собственные требования и понять режимы отказа модели. Автоматическая оптимизация промптов лишь улучшает метрику на известных ошибках, но не способна обнаружить новые — для этого нужен анализ ошибок человеком. Кроме того, критерии оценки склонны меняться по мере изучения выходных данных модели (феномен «дрейфа критериев»). Прагматичный подход — использовать LLM для улучшения промптов на основе открытого кодирования заметок, сохраняя человека в контуре. Автоматическую оптимизацию стоит подключать лишь на финальном этапе, когда уже есть качественный набор оценок.
Автоматизация промпт-инжиниринга может быть заманчивой, но стоит скептически относиться к инструментам, обещающим оптимизировать промпты за вас, — особенно на ранних этапах разработки. Когда вы пишете промпт самостоятельно, вы вынуждены прояснять свои допущения и формулировать требования явно. Хорошее письмо — это хорошее мышление 1. Если вы делегируете эту задачу автоматическому инструменту слишком рано, вы рискуете так и не разобраться до конца в собственных требованиях и режимах отказа модели.
Дело в том, что автоматическая оптимизация промптов обычно поднимается по градиенту заранее определённой метрики оценки. Она способна улучшить промпт на известных ошибках, но не может обнаружить новые. Для обнаружения новых ошибок необходим анализ ошибок. Более того, исследования показывают, что критерии оценки имеют тенденцию смещаться после просмотра выходных данных модели — это явление известно как «дрейф критериев» 2. Это означает, что оценка — это итеративный, управляемый человеком процесс осмысления, а не статическая цель, которую можно задать один раз и передать оптимизатору.
Прагматичный подход — использовать LLM для улучшения промпта на основе открытого кодирования (свободных заметок о трассировках). Таким образом вы сохраняете человека в контуре, который изучает данные и формулирует свои требования. Когда у вас уже есть качественный набор оценок, автоматическая оптимизация промптов может быть эффективна для финальной доводки производительности.
Эта статья — часть нашего FAQ по AI-оценкам, сборника распространённых вопросов (и ответов) об оценке LLM. Смотреть все FAQ или вернуться на главную.
Сноски
Paul Graham, «Writes and Write-Nots»↩︎ Shreya Shankar и др., «Who Validates the Validators? Aligning LLM-Assisted Evaluation of LLM Outputs with Human Preferences»↩︎