Q: Should I stop writing prompts manually in favor of automated tools? – Hamel’s Blog - Hamel Husain
Hamel Husain рассуждает о том, стоит ли отказываться от ручного написания промптов в пользу автоматизированных инструментов. Он предостерегает от преждевременной автоматизации: написание промптов вручную помогает прояснить собственные требования и понять режимы отказа модели. Автоматическая оптимизация промптов лишь улучшает метрику на известных ошибках, но не способна обнаружить новые — для этого нужен анализ ошибок человеком. Кроме того, критерии оценки склонны меняться по мере изучения выходных данных модели (феномен «дрейфа критериев»). Прагматичный подход — использовать LLM для улучшения промптов на основе открытого кодирования заметок, сохраняя человека в контуре. Автоматическую оптимизацию стоит подключать лишь на финальном этапе, когда уже есть качественный набор оценок.
Automating prompt engineering can be tempting, but you should be skeptical of tools that promise to optimize prompts for you, especially in early stages of development. When you write a prompt, you are forced to clarify your assumptions and externalize your requirements. Good writing is good thinking 1. If you delegate this task to an automated tool too early, you risk never fully understanding your own requirements or the model’s failure modes.
Автоматизация промпт-инжиниринга может быть заманчивой, но стоит скептически относиться к инструментам, обещающим оптимизировать промпты за вас, — особенно на ранних этапах разработки. Когда вы пишете промпт самостоятельно, вы вынуждены прояснять свои допущения и формулировать требования явно. Хорошее письмо — это хорошее мышление 1. Если вы делегируете эту задачу автоматическому инструменту слишком рано, вы рискуете так и не разобраться до конца в собственных требованиях и режимах отказа модели.
This is because automated prompt optimization typically hill-climb a predefined evaluation metric. It can refine a prompt to perform better on known failures, but it cannot discover new ones. Discovering new errors requires error analysis. Furthermore, research shows that evaluation criteria tends to shift after reviewing a model’s outputs, a phenomenon known as “criteria drift” 2. This means that evaluation is an iterative, human-driven sensemaking process, not a static target that can be set once and handed off to an optimizer.
Дело в том, что автоматическая оптимизация промптов обычно поднимается по градиенту заранее определённой метрики оценки. Она способна улучшить промпт на известных ошибках, но не может обнаружить новые. Для обнаружения новых ошибок необходим анализ ошибок. Более того, исследования показывают, что критерии оценки имеют тенденцию смещаться после просмотра выходных данных модели — это явление известно как «дрейф критериев» 2. Это означает, что оценка — это итеративный, управляемый человеком процесс осмысления, а не статическая цель, которую можно задать один раз и передать оптимизатору.
A pragmatic approach is to use LLMs to improve your prompt based on open coding (open-ended notes about traces). This way, you maintain a human in the loop who is looking at the data and externalizing their requirements. Once you have a high-quality set of evals, prompt optimization can be effective for that last mile of performance.
Прагматичный подход — использовать LLM для улучшения промпта на основе открытого кодирования (свободных заметок о трассировках). Таким образом вы сохраняете человека в контуре, который изучает данные и формулирует свои требования. Когда у вас уже есть качественный набор оценок, автоматическая оптимизация промптов может быть эффективна для финальной доводки производительности.
This article is part of our AI Evals FAQ, a collection of common questions (and answers) about LLM evaluation. View all FAQs or return to the homepage.
Эта статья — часть нашего FAQ по AI-оценкам, сборника распространённых вопросов (и ответов) об оценке LLM. Смотреть все FAQ или вернуться на главную.
Footnotes
Сноски
Paul Graham, “Writes and Write-Nots”↩︎
Shreya Shankar, et al., “Who Validates the Validators? Aligning LLM-Assisted Evaluation of LLM Outputs with Human Preferences”↩︎
Paul Graham, «Writes and Write-Nots»↩︎ Shreya Shankar и др., «Who Validates the Validators? Aligning LLM-Assisted Evaluation of LLM Outputs with Human Preferences»↩︎