Q: How should I version and manage prompts? – Hamel’s Blog - Hamel Husain
Статья обсуждает подходы к версионированию и управлению промптами в LLM-приложениях. Автор рекомендует хранить промпты в Git, рассматривая их как программные артефакты, которые версионируются и деплоятся вместе с кодом. Вендорские инструменты управления промптами (Arize, Braintrust, LangSmith) удобны для быстрой итерации, но ограничены тем, что не могут полноценно выполнять код приложения. Для экспериментов с промптами рекомендуются Jupyter-ноутбуки, позволяющие работать с реальными агентами, инструментами и RAG. Если ноутбуки неприменимы, альтернативой служит интегрированная среда для промптов.
There is an unavoidable tension between keeping prompts close to the code vs. an environment that non-technical stakeholders can access.
Существует неизбежное противоречие между хранением промптов рядом с кодом и средой, к которой имеют доступ нетехнические участники команды.
My preferred approach is storing prompts in Git. This treats them as software artifacts that are versioned, reviewed, and deployed atomically with the application code. While the Git command line is unfriendly for non-technical folks, the GitHub web interface and the GitHub Desktop app make it very approachable. When I was working at GitHub, I worked with many non-technical professionals, including lawyers and accountants, who used these tools effectively. Here is a blog post aimed at non-technical folks to get started.
Мой предпочтительный подход — хранить промпты в Git. Это позволяет рассматривать их как программные артефакты, которые версионируются, проходят ревью и деплоятся атомарно вместе с кодом приложения. Хотя командная строка Git неудобна для нетехнических специалистов, веб-интерфейс GitHub и приложение GitHub Desktop делают работу вполне доступной. Когда я работал в GitHub, я сотрудничал со многими нетехническими профессионалами, включая юристов и бухгалтеров, которые эффективно использовали эти инструменты. Вот статья в блоге, адресованная нетехническим специалистам для начала работы.
Alternatively, most vendors in the LLM tooling space, such as observability platforms like Arize, Braintrust, and LangSmith, offer dedicated prompt management tools. These are accessible for rapid iteration but risk creating additional layers of indirection.
Как альтернатива, большинство вендоров в сфере инструментов для LLM — платформы наблюдаемости вроде Arize, Braintrust и LangSmith — предлагают специализированные инструменты управления промптами. Они удобны для быстрой итерации, но создают риск дополнительных уровней косвенности.
Why prompt management tools often fall short: AI products typically involve many moving parts: tools, RAG, agents, etc. Prompt management tools are inherently limiting because they can’t easily execute your application’s code. Even when they can, there’s often significant indirection involved, making it difficult to test prompts with your system’s capabilities.
Почему инструменты управления промптами часто не оправдывают ожиданий: AI-продукты обычно включают множество подвижных частей: инструменты, RAG, агенты и т. д. Инструменты управления промптами по своей природе ограничены, поскольку не могут легко выполнять код вашего приложения. Даже когда могут, часто возникает значительная косвенность, затрудняющая тестирование промптов с реальными возможностями вашей системы.
When possible, a notebook provides a great solution for prompt experimentation If you have Python entry points into your codebase or your codebase is written in Python, Jupyter notebooks are particularly powerful for this purpose. You can experiment with prompts and iterate on your actual AI agents with their full tool and RAG capabilities. This makes it much easier to understand how your system works in practice. Additionally, you can create widgets and small user interfaces within notebooks, giving you the best of both worlds for experimentation and iteration. To see what this looks like in practice, Teresa Torres gives a fantastic, hands-on walkthrough of how she, as a PM, used notebooks for the entire eval and experimentation lifecycle:
Когда это возможно, ноутбуки — отличное решение для экспериментов с промптами. Если у вас есть точки входа на Python или ваша кодовая база написана на Python, Jupyter-ноутбуки особенно эффективны для этой цели. Вы можете экспериментировать с промптами и итерировать на реальных AI-агентах с полным набором инструментов и возможностями RAG. Это значительно упрощает понимание того, как ваша система работает на практике. Кроме того, вы можете создавать виджеты и небольшие пользовательские интерфейсы внутри ноутбуков, получая лучшее из обоих миров для экспериментов и итераций. Чтобы увидеть, как это выглядит на практике, Teresa Torres даёт отличный практический разбор того, как она в роли PM использовала ноутбуки для полного цикла оценки и экспериментов:
If notebooks are not feasible for your code base, an integrated prompt environment can be effective for experimentation. Either way, I prefer to version and manage prompts in Git.
Если ноутбуки неприменимы для вашей кодовой базы, интегрированная среда для промптов может быть эффективной для экспериментов. В любом случае я предпочитаю версионировать и управлять промптами в Git.
This article is part of our AI Evals FAQ, a collection of common questions (and answers) about LLM evaluation. View all FAQs or return to the homepage.
Эта статья является частью нашего AI Evals FAQ — коллекции распространённых вопросов (и ответов) об оценке LLM. Смотреть все FAQ или вернуться на главную.