The Robotic Tortoise & the Robotic Hare
Автор устроил гонку между двумя роботами: локальная модель на его Mac против Claude Code, обе должны были построить платёжное приложение на новом блокчейне Tempo от Stripe при одинаковых промптах. Opus 4.5 примерно на 20% умнее Qwen 35B по бенчмаркам и, вероятно, в 50 раз больше — но «заяц» проиграл. Локальная модель закончила за 2 минуты, Claude — более чем за 6; по оценке самого Claude локальный результат получил 6,5, а Claude — 4,5. Благодаря втрое более быстрым ответам автор смог добавить лишний цикл «раскритикуй план и устрани замечания» — пока заяц думал, черепаха успевала ещё круг. Для повседневных задач быстрые модели обеспечивают более плотные циклы обратной связи, которые дают лучшие результаты, хотя для агентного кодинга и сложных кодовых баз более медленная работа может быть выгоднее. Вывод: не всегда нужен самый умный ИИ, чтобы выполнить работу.
I set up a race today between two robots.
My Mac on the left vs Claude Code on the right. Both tasked with building a payment app on Stripe’s new Tempo blockchain. Same prompts, same task, side by side.
Opus 4.5 is about 20% smarter than Qwen 35B on benchmarks. And it’s likely 50x larger. The hare should have won. It didn’t.
The local model finished in 2 minutes. Claude took over 6. I asked Claude to score both outputs : local model 6.5, Claude 4.5.1
Video plays at 2x speed.
With 3x faster responses, I could add an extra cycle : “critique the plan and address the critiques.” In the time the hare was still thinking, the tortoise ran another lap.
Faster responses mean more rounds of revision before a meeting ends or attention drifts. It’s different for agentic coding workflows & complex codebases, where slower work may lead to better outcomes. But for everyday tasks, faster models can enable tighter feedback loops. Tighter loops can produce better outcomes.
We don’t always need the smartest AI to get the job done.