Q: Should I stop writing prompts manually in favor of automated tools? – Hamel’s Blog - Hamel Husain
Hamel Husain рассуждает о том, стоит ли отказываться от ручного написания промптов в пользу автоматизированных инструментов. Он предостерегает от преждевременной автоматизации: написание промптов вручную помогает прояснить собственные требования и понять режимы отказа модели. Автоматическая оптимизация промптов лишь улучшает метрику на известных ошибках, но не способна обнаружить новые — для этого нужен анализ ошибок человеком. Кроме того, критерии оценки склонны меняться по мере изучения выходных данных модели (феномен «дрейфа критериев»). Прагматичный подход — использовать LLM для улучшения промптов на основе открытого кодирования заметок, сохраняя человека в контуре. Автоматическую оптимизацию стоит подключать лишь на финальном этапе, когда уже есть качественный набор оценок.
Automating prompt engineering can be tempting, but you should be skeptical of tools that promise to optimize prompts for you, especially in early stages of development. When you write a prompt, you are forced to clarify your assumptions and externalize your requirements. Good writing is good thinking 1. If you delegate this task to an automated tool too early, you risk never fully understanding your own requirements or the model’s failure modes.
This is because automated prompt optimization typically hill-climb a predefined evaluation metric. It can refine a prompt to perform better on known failures, but it cannot discover new ones. Discovering new errors requires error analysis. Furthermore, research shows that evaluation criteria tends to shift after reviewing a model’s outputs, a phenomenon known as “criteria drift” 2. This means that evaluation is an iterative, human-driven sensemaking process, not a static target that can be set once and handed off to an optimizer.
A pragmatic approach is to use LLMs to improve your prompt based on open coding (open-ended notes about traces). This way, you maintain a human in the loop who is looking at the data and externalizing their requirements. Once you have a high-quality set of evals, prompt optimization can be effective for that last mile of performance.
This article is part of our AI Evals FAQ, a collection of common questions (and answers) about LLM evaluation. View all FAQs or return to the homepage.
Footnotes
Paul Graham, “Writes and Write-Nots”↩︎
Shreya Shankar, et al., “Who Validates the Validators? Aligning LLM-Assisted Evaluation of LLM Outputs with Human Preferences”↩︎