Localmaxxing
Том Тунгуз провёл пять недель, используя локальные модели для повседневной работы, и обнаружил, что около половины из 1,4 тысячи задач можно выполнить на локальной 35B-модели — особенно email, планирование, суммаризация и админ-задачи (41,8%). В прямом сравнении Qwen 3.6 35B-A3B-4bit на MacBook Pro M5 против Claude Opus 4.5 через API локальная модель уступает примерно 20% в бенчмарках рассуждений и отстаёт от frontier на 3-4 месяца, но для рутинных агентных задач этого хватает. Opus выигрывает по структуре и оформлению, Qwen — по краткости, часто вдвое меньше токенов. Главное преимущество локальных моделей — латентность, а не приватность, стоимость или амортизация. Localmaxxing — перенос инференса на локальное железо — автор называет неизбежным ответом на tokenmaxxing по мере сокращения разрыва с frontier-моделями.
As demand for AI inference explodes, I’ll be asking a lot more of my little computer.
По мере того как спрос на AI-инференс взрывается, я буду требовать от своего маленького компьютера гораздо большего.
How much more?
Насколько большего?
Over the past five weeks, I’ve been using local models to see how much of my daily work I can accomplish without the trillion parameter models in the cloud. The answer is half.
Последние пять недель я использовал локальные модели, чтобы понять, какую часть повседневной работы могу выполнить без триллион-параметрических моделей в облаке. Ответ — половину.
If you classify these 1.4k tasks by category, half can succeed on a local 35B model. Email & Inbound, Scheduling, Summarization, & Admin total 618 tasks (41.8%). Market Research & Engineering split roughly 50/50 between simple tasks (data lookups, script fixes) and complex ones (multi-source synthesis, architectural decisions). That gets us to 50%.
Если классифицировать эти 1,4 тысячи задач по категориям, половина успешно выполняется на локальной 35B-модели. Email и входящие, планирование, суммаризация и админ-задачи в сумме дают 618 задач (41,8%). Market Research и инженерные задачи примерно поровну делятся между простыми (поиск данных, починка скриптов) и сложными (синтез из множества источников, архитектурные решения). Так мы и приходим к 50%.
There are many reasons to use local models : privacy, cost, asset depreciation.1
Есть много причин использовать локальные модели: приватность, стоимость, амортизация актива.1
But in reality, the only one that really matters is latency.
Но в реальности по-настоящему важна только одна — латентность.
I ran a head-to-head benchmark this morning. Eight agentic tasks, same prompts, both models warmed. Qwen 3.6 35B-A3B-4bit on my MacBook Pro M5 vs Claude Opus 4.5 via API.
Сегодня утром я провёл прямое сравнение. Восемь агентных задач, одинаковые промпты, обе модели прогреты. Qwen 3.6 35B-A3B-4bit на моём MacBook Pro M5 против Claude Opus 4.5 через API.
The local model isn’t smarter. Opus 4.5 scores ~20% higher on reasoning benchmarks. Local models lag frontier by 3-4 months, and for large-scale complex tasks, that gap matters. But for routine agent tasks, it rarely does.
Локальная модель не умнее. Opus 4.5 показывает примерно на 20% выше результаты на бенчмарках рассуждений. Локальные модели отстают от frontier на 3-4 месяца, и для масштабных сложных задач этот разрыв имеет значение. Но для рутинных агентных задач — редко.
Opus wins on structure & polish : bullet points, headers, cleaner code. Qwen wins on brevity, often half the tokens. I read every output side by side, and both completed the tasks correctly. For agent tasks where output feeds into another system, terseness is a feature.
Opus выигрывает по структуре и оформлению: маркированные списки, заголовки, более чистый код. Qwen выигрывает по краткости, часто вдвое меньше токенов. Я прочитал каждый вывод бок о бок, и обе модели выполнили задачи корректно. Для агентных задач, где вывод поступает в другую систему, лаконичность — это плюс.
Localmaxxing, pushing more inference to local models, is an inevitable response to tokenmaxxing. As local models improve & close the gap with frontier, more users will shift workloads to their own hardware.
Localmaxxing — перенос большего объёма инференса на локальные модели — это неизбежный ответ на tokenmaxxing. По мере того как локальные модели улучшаются и сокращают разрыв с frontier, всё больше пользователей будут переносить нагрузки на собственное железо.
If half the work runs 2x faster on my laptop, I’ll take that trade every time. My little computer is about to earn its keep.
Если половина работы выполняется в 2 раза быстрее на моём ноутбуке — я готов на эту сделку в любой момент. Мой маленький компьютер вот-вот начнёт отрабатывать своё содержание.
A MacBook Pro depreciates whether you use it or not. Running local inference extracts compute value from a sinking asset before resale. ↩︎
MacBook Pro амортизируется независимо от того, используете вы его или нет. Запуск локального инференса извлекает вычислительную ценность из дешевеющего актива до его перепродажи. ↩︎