The Robotic Tortoise & the Robotic Hare
Автор устроил гонку между двумя роботами: локальная модель на его Mac против Claude Code, обе должны были построить платёжное приложение на новом блокчейне Tempo от Stripe при одинаковых промптах. Opus 4.5 примерно на 20% умнее Qwen 35B по бенчмаркам и, вероятно, в 50 раз больше — но «заяц» проиграл. Локальная модель закончила за 2 минуты, Claude — более чем за 6; по оценке самого Claude локальный результат получил 6,5, а Claude — 4,5. Благодаря втрое более быстрым ответам автор смог добавить лишний цикл «раскритикуй план и устрани замечания» — пока заяц думал, черепаха успевала ещё круг. Для повседневных задач быстрые модели обеспечивают более плотные циклы обратной связи, которые дают лучшие результаты, хотя для агентного кодинга и сложных кодовых баз более медленная работа может быть выгоднее. Вывод: не всегда нужен самый умный ИИ, чтобы выполнить работу.
Сегодня я устроил гонку между двумя роботами.
Мой Mac слева против Claude Code справа. Обоим поставлена задача построить платёжное приложение на новом блокчейне Tempo от Stripe. Одинаковые промпты, одинаковая задача, бок о бок.
Opus 4.5 примерно на 20% умнее Qwen 35B по бенчмаркам. И он, вероятно, в 50 раз больше. Заяц должен был победить. Но не победил.
Локальная модель закончила за 2 минуты. Claude потратил более 6. Я попросил Claude оценить оба результата: локальная модель — 6,5, Claude — 4,5.1
Видео воспроизводится на удвоенной скорости.
При втрое более быстрых ответах я смог добавить дополнительный цикл: «раскритикуй план и устрани замечания». Пока заяц всё ещё думал, черепаха пробежала ещё один круг.
Более быстрые ответы означают больше раундов правок до того, как закончится встреча или рассеется внимание. Для агентных воркфлоу кодинга и сложных кодовых баз всё иначе — там более медленная работа может приводить к лучшим результатам. Но для повседневных задач быстрые модели позволяют выстраивать более плотные циклы обратной связи. Более плотные циклы могут давать лучшие результаты.
Нам не всегда нужен самый умный ИИ, чтобы выполнить работу.