AI Managing AI
Статья описывает формирующуюся архитектуру, в которой ИИ-модели управляют другими ИИ-моделями — подобно тому, как талантливых сотрудников повышают до руководящих позиций. Ключевым фактором стало преодоление порога точности вызова инструментов: два года назад GPT-4 справлялся менее чем с 50% задач на function calling, тогда как современные SOTA-модели превышают 90%. Для оркестрации нужны крупные модели, обладающие знанием о мире, — маленькие «action-модели» проваливаются в продакшене из-за отсутствия контекста. При этом дистилляция и дообучение позволяют создавать специализированных агентов на 40% компактнее и на 60% быстрее с сохранением 97% качества. Автор прогнозирует, что лаборатории, работающие над фронтирными моделями, займут слой оркестрации, а стартапы смогут занять ниши лучших специалистов — в браузерной автоматизации, поиске, BI и других областях.
Талантливых людей повышают до руководителей. То же происходит и с талантливыми моделями. Claude управляет выполнением кода. Gemini маршрутизирует запросы между CRM и чатом. GPT-5 может координировать публичные исследования фондового рынка.
Почему именно сейчас? Точность вызова инструментов преодолела критический порог. Два года назад GPT-4 справлялся менее чем с 50% задач на function calling. Модели галлюцинировали параметры, вызывали не те эндпоинты, теряли контекст на середине разговора. Сегодня SOTA-модели превышают 90% точности на бенчмарках function calling1. Производительность новейших моделей, таких как Gemini 3, на практике существенно выше, чем показывают бенчмарки.
Неужели для простого вызова функций действительно нужны модели с триллионами параметров? Удивительно, но да.
Эксперименты с маленькими action-моделями — лёгкими сетями, обученными исключительно для выбора инструментов, — проваливаются в продакшене2. Им не хватает знаний о мире. Оказывается, для управления нужен контекст.
Сегодня оркестратор часто порождает самого себя в качестве субагента (Claude Code запускает ещё один Claude Code). Эта симметрия долго не продержится.
«Горький урок»3 настаивает, что всё более крупные модели должны справляться со всем. Но экономика возражает: дистилляция и дообучение с подкреплением позволяют создавать модели на 40% компактнее и на 60% быстрее при сохранении 97% качества4.
Появляются специализированные агенты от разных вендоров. Фронтирная модель становится руководителем, распределяя запросы между специалистами. Эти специалисты могут быть сторонними поставщиками, каждый из которых борется за звание лучшего в своей области.
Созвездия специалистов требуют надёжного вызова инструментов. Когда tool calling работает в 50% случаев, команды строят монолиты, удерживая всё внутри одной модели, чтобы минимизировать точки отказа. Когда он работает в 90% случаев, команды маршрутизируют запросы к специалистам и наращивают их возможности.
Лаборатории, создающие фронтирные модели, займут слой оркестрации. Но владеть каждым специалистом они не смогут. Стартапы, которые создадут лучшего агента для работы с браузером, лучшую систему поиска, лучшего BI-агента, смогут подключиться к этим созвездиям и занять свою нишу.
Новые возможности для стартапов возникают не из обучения самых больших моделей, а из обучения тех специалистов, к которым руководители обращаются в первую очередь.
Berkeley Function Calling Leaderboard (BFCL) тестирует точность вызова API. TAU-bench измеряет рассуждения с использованием инструментов в реальных сценариях (статья). ↩︎ xLAM от Salesforce — большая action-модель, специально разработанная для выбора инструментов. Хотя маленькие action-модели быстры и точны для простых вызовов, они испытывают трудности со сложным рассуждением о том, когда использовать инструменты. ↩︎ Влиятельное эссе Рича Саттона, утверждающее, что общие методы, использующие вычисления, побеждают вручную созданные доменные знания. The Bitter Lesson. ↩︎ См. DistilBERT, которая на 40% компактнее и на 60% быстрее при сохранении 97% качества BERT. Дистилляция моделей от OpenAI обеспечивает аналогичный прирост эффективности. ↩︎