AI Managing AI
Статья описывает формирующуюся архитектуру, в которой ИИ-модели управляют другими ИИ-моделями — подобно тому, как талантливых сотрудников повышают до руководящих позиций. Ключевым фактором стало преодоление порога точности вызова инструментов: два года назад GPT-4 справлялся менее чем с 50% задач на function calling, тогда как современные SOTA-модели превышают 90%. Для оркестрации нужны крупные модели, обладающие знанием о мире, — маленькие «action-модели» проваливаются в продакшене из-за отсутствия контекста. При этом дистилляция и дообучение позволяют создавать специализированных агентов на 40% компактнее и на 60% быстрее с сохранением 97% качества. Автор прогнозирует, что лаборатории, работающие над фронтирными моделями, займут слой оркестрации, а стартапы смогут занять ниши лучших специалистов — в браузерной автоматизации, поиске, BI и других областях.
Talented people get promoted to management. So do talented models. Claude manages code execution. Gemini routes requests across CRM & chat. GPT-5 can coordinate public stock research.
Талантливых людей повышают до руководителей. То же происходит и с талантливыми моделями. Claude управляет выполнением кода. Gemini маршрутизирует запросы между CRM и чатом. GPT-5 может координировать публичные исследования фондового рынка.
Why now? Tool calling accuracy crossed a threshold. Two years ago, GPT-4 succeeded on fewer than 50% of function-calling tasks. Models hallucinated parameters, called wrong endpoints, forgot context mid-conversation. Today, SOTA models exceed 90% accuracy on function-calling benchmarks1. Performance of the most recent models, like Gemini 3, is materially better in practice than the benchmarks suggest.
Почему именно сейчас? Точность вызова инструментов преодолела критический порог. Два года назад GPT-4 справлялся менее чем с 50% задач на function calling. Модели галлюцинировали параметры, вызывали не те эндпоинты, теряли контекст на середине разговора. Сегодня SOTA-модели превышают 90% точности на бенчмарках function calling1. Производительность новейших моделей, таких как Gemini 3, на практике существенно выше, чем показывают бенчмарки.
Did we need trillion-parameter models just to make function calls? Surprisingly, yes.
Неужели для простого вызова функций действительно нужны модели с триллионами параметров? Удивительно, но да.
Experiments with small action models, lightweight networks trained only for tool selection, fail in production2. They lack world knowledge. Management, it turns out, requires context.
Эксперименты с маленькими action-моделями — лёгкими сетями, обученными исключительно для выбора инструментов, — проваливаются в продакшене2. Им не хватает знаний о мире. Оказывается, для управления нужен контекст.
Today, the orchestrator often spawns itself as a subagent (Claude Code spins up another Claude Code). This symmetry won’t last.
Сегодня оркестратор часто порождает самого себя в качестве субагента (Claude Code запускает ещё один Claude Code). Эта симметрия долго не продержится.
The bitter lesson3 insists ever-larger models should handle everything. But economics push back : distillation & reinforcement fine-tuning produce models 40% smaller & 60% faster while retaining 97% of performance4.
«Горький урок»3 настаивает, что всё более крупные модели должны справляться со всем. Но экономика возражает: дистилляция и дообучение с подкреплением позволяют создавать модели на 40% компактнее и на 60% быстрее при сохранении 97% качества4.
Specialized agents from different vendors are emerging. The frontier model becomes the executive, routing requests across specialists. These specialists can be third-party vendors, all vying to be best in their domain.
Появляются специализированные агенты от разных вендоров. Фронтирная модель становится руководителем, распределяя запросы между специалистами. Эти специалисты могут быть сторонними поставщиками, каждый из которых борется за звание лучшего в своей области.
Constellations of specialists require reliable tool calling. When tool calling works 50% of the time, teams build monoliths, keeping everything inside one model to minimize failure points. When it works 90% of the time, teams route to specialists & compound their capabilities.
Созвездия специалистов требуют надёжного вызова инструментов. Когда tool calling работает в 50% случаев, команды строят монолиты, удерживая всё внутри одной модели, чтобы минимизировать точки отказа. Когда он работает в 90% случаев, команды маршрутизируют запросы к специалистам и наращивают их возможности.
The frontier labs will own the orchestration layer. But they can’t own every specialist. Startups that build the best browser-use agent, the best retrieval system, the best BI agent can plug into these constellations & own their niche.
Лаборатории, создающие фронтирные модели, займут слой оркестрации. Но владеть каждым специалистом они не смогут. Стартапы, которые создадут лучшего агента для работы с браузером, лучшую систему поиска, лучшего BI-агента, смогут подключиться к этим созвездиям и занять свою нишу.
New startup opportunities emerge not from training the largest models, but from training the specialists the executives call first.
Новые возможности для стартапов возникают не из обучения самых больших моделей, а из обучения тех специалистов, к которым руководители обращаются в первую очередь.
Berkeley Function Calling Leaderboard (BFCL) tests API invocation accuracy. TAU-bench measures tool-augmented reasoning in real-world scenarios (paper). ↩︎
Salesforce’s xLAM is a large action model designed specifically for tool selection. While fast & accurate for simple tool calls, small action models struggle with complex reasoning about when to use tools. ↩︎
Rich Sutton’s influential essay arguing that general methods leveraging computation beat hand-engineered domain knowledge. The Bitter Lesson. ↩︎
See DistilBERT, which is 40% smaller & 60% faster while retaining 97% of BERT’s performance. OpenAI’s model distillation enables similar efficiency gains. ↩︎
Berkeley Function Calling Leaderboard (BFCL) тестирует точность вызова API. TAU-bench измеряет рассуждения с использованием инструментов в реальных сценариях (статья). ↩︎ xLAM от Salesforce — большая action-модель, специально разработанная для выбора инструментов. Хотя маленькие action-модели быстры и точны для простых вызовов, они испытывают трудности со сложным рассуждением о том, когда использовать инструменты. ↩︎ Влиятельное эссе Рича Саттона, утверждающее, что общие методы, использующие вычисления, побеждают вручную созданные доменные знания. The Bitter Lesson. ↩︎ См. DistilBERT, которая на 40% компактнее и на 60% быстрее при сохранении 97% качества BERT. Дистилляция моделей от OpenAI обеспечивает аналогичный прирост эффективности. ↩︎