Localmaxxing
Том Тунгуз провёл пять недель, используя локальные модели для повседневной работы, и обнаружил, что около половины из 1,4 тысячи задач можно выполнить на локальной 35B-модели — особенно email, планирование, суммаризация и админ-задачи (41,8%). В прямом сравнении Qwen 3.6 35B-A3B-4bit на MacBook Pro M5 против Claude Opus 4.5 через API локальная модель уступает примерно 20% в бенчмарках рассуждений и отстаёт от frontier на 3-4 месяца, но для рутинных агентных задач этого хватает. Opus выигрывает по структуре и оформлению, Qwen — по краткости, часто вдвое меньше токенов. Главное преимущество локальных моделей — латентность, а не приватность, стоимость или амортизация. Localmaxxing — перенос инференса на локальное железо — автор называет неизбежным ответом на tokenmaxxing по мере сокращения разрыва с frontier-моделями.
По мере того как спрос на AI-инференс взрывается, я буду требовать от своего маленького компьютера гораздо большего.
Насколько большего?
Последние пять недель я использовал локальные модели, чтобы понять, какую часть повседневной работы могу выполнить без триллион-параметрических моделей в облаке. Ответ — половину.
Если классифицировать эти 1,4 тысячи задач по категориям, половина успешно выполняется на локальной 35B-модели. Email и входящие, планирование, суммаризация и админ-задачи в сумме дают 618 задач (41,8%). Market Research и инженерные задачи примерно поровну делятся между простыми (поиск данных, починка скриптов) и сложными (синтез из множества источников, архитектурные решения). Так мы и приходим к 50%.
Есть много причин использовать локальные модели: приватность, стоимость, амортизация актива.1
Но в реальности по-настоящему важна только одна — латентность.
Сегодня утром я провёл прямое сравнение. Восемь агентных задач, одинаковые промпты, обе модели прогреты. Qwen 3.6 35B-A3B-4bit на моём MacBook Pro M5 против Claude Opus 4.5 через API.
Локальная модель не умнее. Opus 4.5 показывает примерно на 20% выше результаты на бенчмарках рассуждений. Локальные модели отстают от frontier на 3-4 месяца, и для масштабных сложных задач этот разрыв имеет значение. Но для рутинных агентных задач — редко.
Opus выигрывает по структуре и оформлению: маркированные списки, заголовки, более чистый код. Qwen выигрывает по краткости, часто вдвое меньше токенов. Я прочитал каждый вывод бок о бок, и обе модели выполнили задачи корректно. Для агентных задач, где вывод поступает в другую систему, лаконичность — это плюс.
Localmaxxing — перенос большего объёма инференса на локальные модели — это неизбежный ответ на tokenmaxxing. По мере того как локальные модели улучшаются и сокращают разрыв с frontier, всё больше пользователей будут переносить нагрузки на собственное железо.
Если половина работы выполняется в 2 раза быстрее на моём ноутбуке — я готов на эту сделку в любой момент. Мой маленький компьютер вот-вот начнёт отрабатывать своё содержание.
MacBook Pro амортизируется независимо от того, используете вы его или нет. Запуск локального инференса извлекает вычислительную ценность из дешевеющего актива до его перепродажи. ↩︎