9 Observations from Building with AI Agents
Автор делится девятью наблюдениями после года разработки систем AI-агентов. Для непредсказуемых входных данных стоит прототипировать на самых сильных моделях, а узкие задачи специализировать через файнтюнинг — например, дообученный Qwen 3 8B обходит GPT 5.2 в zero-shot и работает локально. Статическая типизация (Rust вместо Ruby) повышает долю успешных one-shot решений, а команда из Claude, Gemini и Codex даёт качественную взаимную критику планов и реализации. Открытые модели вроде Qwen 3, GLM, DeepSeek V3 и Kimi K2.5 достигли порога качества по бенчмарку Tau2, и теперь конкуренция идёт по цене. Ночная оптимизация промптов через LLM-as-judge на основе последних 100 диалогов и горячая перезагрузка промпт-файлов (в духе DSPy) позволяют системе улучшаться без ручного вмешательства. Финальный вывод: skills — для интерактивных диалогов, код — для агентов, потому что skills проще отлаживать.
Последний год я строил системы AI-агентов. Вот девять наблюдений.
1. Прототипируйте на лучших моделях
Когда вход непредсказуем — парсинг почты, транскрипция голоса, извлечение данных из мусора — берите state of the art. Сначала разберитесь, что работает на лучших моделях, а потом специализируйте их со временем.
2. Шлифуйте маленькие самоцветы
Я дообучил Qwen 3 для классификации задач с помощью rLLM1. Модель на 8B параметров обходит GPT 5.2 в zero-shot-промптинге и работает локально на моём ноутбуке. Файнтюнинг хорош, когда задача чётко определена, а распределение входов стабильно.
3. Используйте встроенный спелл-чек
Статическая типизация заставляет AI столкнуться со спелл-чеком/компилятором. Ruby позволял агентам галлюцинировать корректно выглядящий код, который падал в рантайме. Rust проверяет «грамматику» кода. Для задач средней сложности доля успехов с первой попытки заметно растёт.
4. Уговаривайте свою команду агентов-соперников
Соберите свой агентский braintrust. Попросите Claude составить план. Затем подзадорьте Gemini и Codex покритиковать его; Claude отвечает на критику и пишет код. Когда реализация готова, попросите Gemini и Codex покритиковать её относительно плана, а Claude — внести правки. Агенты — отличные микроменеджеры.
5. Сложите всю глину в один горшок
Построение агента похоже на лепку из Play-Doh. Немного жёлтой, немного красной, немного зелёной глины. Каждая — из своего горшка. Я хочу, чтобы все инструменты были в одном месте: управление памятью, управление промптами, сбор логов — ведь всё это единый замкнутый контур улучшения вместе с моделью. Промпт → Вывод → Оценка → Оптимизация → Промпт.
6. Признайте, что мы в эпохе iPhone 15 для AI
Qwen 3, GLM, DeepSeek V3 и Kimi K2.5 дают сильную производительность за долю стоимости. Модели уже достаточно сильны для вызова инструментов в рабочих процессах, и дополнительный интеллект может не давать ощутимой выгоды. Tau22 показывает, что многие модели достигли этого порога, и теперь мы сравниваем их по стоимости, а не по точности.
7. Документация — наше всё
Как сказал Harrison Chase: «в обычном софте приложение документирует код, в AI — трейсы». Наша система каждую ночь запускает оптимизацию промптов. Она собирает последние 100 разговоров агентов, выделяет неудачи (таймауты задач, неверные выводы, правки пользователя) и генерирует улучшенные промпты, используя LLM-as-judge3. Это замкнутое улучшение каждую неделю поэтапно поднимает долю успешных задач без ручного вмешательства.
8. Музыкальные стулья промптов
Мы не можем останавливать систему ради новых промптов. Агенты следят за файлом промпта и автоматически перезагружают его при изменении. Это отделяет деплой от экспериментов и позволяет автоматически запускать оптимизацию в стиле DSPy4. Сочетайте с версионированием файлов промптов — и получите полный откат.
9. На кого вы работаете?
Skills — для интерактивных диалогов. Код — для агентов. Skills легче отлаживать. Когда падает skill, вы точно знаете, куда смотреть. Когда агент сцепил десять вызовов функций, а вывод неверный, вы роетесь в логах.
Чему научились вы?
rLLM — это библиотека Hugging Face для обучения с подкреплением от обратной связи человека для языковых моделей. ↩︎ Tau2 — агентский бенчмарк, измеряющий точность вызова инструментов у моделей. ↩︎ LLM-as-judge использует одну языковую модель для оценки выходов другой. ↩︎ DSPy — фреймворк от Stanford для программной оптимизации промптов и few-shot-примеров. ↩︎