The Robotic Tortoise & the Robotic Hare
Автор устроил гонку между двумя роботами: локальная модель на его Mac против Claude Code, обе должны были построить платёжное приложение на новом блокчейне Tempo от Stripe при одинаковых промптах. Opus 4.5 примерно на 20% умнее Qwen 35B по бенчмаркам и, вероятно, в 50 раз больше — но «заяц» проиграл. Локальная модель закончила за 2 минуты, Claude — более чем за 6; по оценке самого Claude локальный результат получил 6,5, а Claude — 4,5. Благодаря втрое более быстрым ответам автор смог добавить лишний цикл «раскритикуй план и устрани замечания» — пока заяц думал, черепаха успевала ещё круг. Для повседневных задач быстрые модели обеспечивают более плотные циклы обратной связи, которые дают лучшие результаты, хотя для агентного кодинга и сложных кодовых баз более медленная работа может быть выгоднее. Вывод: не всегда нужен самый умный ИИ, чтобы выполнить работу.
I set up a race today between two robots.
Сегодня я устроил гонку между двумя роботами.
My Mac on the left vs Claude Code on the right. Both tasked with building a payment app on Stripe’s new Tempo blockchain. Same prompts, same task, side by side.
Мой Mac слева против Claude Code справа. Обоим поставлена задача построить платёжное приложение на новом блокчейне Tempo от Stripe. Одинаковые промпты, одинаковая задача, бок о бок.
Opus 4.5 is about 20% smarter than Qwen 35B on benchmarks. And it’s likely 50x larger. The hare should have won. It didn’t.
Opus 4.5 примерно на 20% умнее Qwen 35B по бенчмаркам. И он, вероятно, в 50 раз больше. Заяц должен был победить. Но не победил.
The local model finished in 2 minutes. Claude took over 6. I asked Claude to score both outputs : local model 6.5, Claude 4.5.1
Локальная модель закончила за 2 минуты. Claude потратил более 6. Я попросил Claude оценить оба результата: локальная модель — 6,5, Claude — 4,5.1
Video plays at 2x speed.
Видео воспроизводится на удвоенной скорости.
With 3x faster responses, I could add an extra cycle : “critique the plan and address the critiques.” In the time the hare was still thinking, the tortoise ran another lap.
При втрое более быстрых ответах я смог добавить дополнительный цикл: «раскритикуй план и устрани замечания». Пока заяц всё ещё думал, черепаха пробежала ещё один круг.
Faster responses mean more rounds of revision before a meeting ends or attention drifts. It’s different for agentic coding workflows & complex codebases, where slower work may lead to better outcomes. But for everyday tasks, faster models can enable tighter feedback loops. Tighter loops can produce better outcomes.
Более быстрые ответы означают больше раундов правок до того, как закончится встреча или рассеется внимание. Для агентных воркфлоу кодинга и сложных кодовых баз всё иначе — там более медленная работа может приводить к лучшим результатам. Но для повседневных задач быстрые модели позволяют выстраивать более плотные циклы обратной связи. Более плотные циклы могут давать лучшие результаты.
We don’t always need the smartest AI to get the job done.
Нам не всегда нужен самый умный ИИ, чтобы выполнить работу.