METR’s Joel Becker on exponential Time Horizon Evals, Threat Models, and the Limits of AI Productivity
В подкасте Latent Space впервые выступает Joel Becker из организации METR, известной своим нашумевшим графиком временных горизонтов ИИ-агентов. Обсуждаются нюансы создания бенчмарков и экстраполяции результатов, включая известные смещения в работе METR по длинным горизонтам, которые недооцениваются в погоне за алармистскими интерпретациями. Помимо оценок временных горизонтов, затрагивается менее известная работа METR по оценке угроз и продуктивности разработчиков. Ведущие подчёркивают, что миллионы просмотров хайпового графика значительно превышают 69 тысяч просмотров уточнений от самих авторов. Также обсуждаются темы вычислительных затрат, алгоритмов, рынков предсказаний и планов METR на будущее.
Joel Becker из METR об экспоненциальных оценках временных горизонтов, моделях угроз и пределах продуктивности ИИ
AIE Europe CFP и подача статей на AIE World's Fair для рецензирования CAIS — дедлайн СЕГОДНЯ, не откладывайте! Последний шанс.
Мы рады впервые приветствовать METR в подкасте LS Pod — надеемся, это первый выпуск из многих:
METR — авторы, пожалуй, самого нашумевшего графика в ИИ на данный момент:
Но каждый читатель Latent Space должен быть достаточно искушённым, чтобы понимать: детали имеют значение, а хайп и преувеличения в ИИ-соцсетях идут рука об руку. Миллионы просмотров, набранные людьми, которые не понимают или не интересуются нюансами, оговорками и доверительными интервалами, значительно превышают 69 тысяч просмотров уточнений от людей, которые на самом деле создали этот график:
Масса нюансов кроется как в создании бенчмарков (как мы выяснили вместе с OpenAI в нашем подкасте о SWE-Bench Verified), так и в экстраполяции результатов — особенно когда речь идёт об экспонентах и сигмоидах. Работа METR по длинным горизонтам сама по себе имеет известные смещения, о которых авторы ответственно заявили, но которые остаются крайне недооценёнными в погоне за алармистскими графиками.
Если вам интересна короткая версия этого подкаста в формате TED-выступления, которой можно поделиться, — на AIE CODE нам посчастливилось представить Joel дважды: в выступлении на сцене и в более развёрнутом мини-воркшопе с вопросами и ответами:
Мы также обязательно затрагиваем менее известную работу METR по оценке угроз, а также по продуктивности разработчиков, где двукратный друг подкаста и ныне основатель Zyphra Quentin Anthony оказался ЕДИНСТВЕННЫМ продуктивным участником!
И наконец, если вы из тех, кто дочитывает заметки к выпуску до конца, — вы точно заслуживаете увидеть фотографии Joel, рубящего на гитаре на Love Band Karaoke, о котором мы упоминаем в конце:
Полная видеоверсия подкаста
Таймкоды
00:00 Что означает METR00:39 Вступление к подкасту с Joel01:39 ME vs TR03:33 История появления концепции временных горизонтов04:56 Выбор задач и смещения09:13 Заблуждения о временных горизонтах11:37 Opus 4.5 и линии трендов14:27 Исследования продуктивности и скачки29:50 Вычисления замедляют прогресс30:47 Алгоритмам нужны вычислительные ресурсы32:45 Расходы индустрии и данные34:57 Кластеры и сроки выпуска36:44 Рынки предсказаний для моделей38:10 История Manifold Alpha43:04 За пределами бенчмарков и оценок51:39 Планы METR и прощание
Транскрипт
Послушайте этот выпуск с 7-дневным бесплатным пробным периодом
Подпишитесь на Latent.Space, чтобы прослушать этот выпуск и получить 7 дней бесплатного доступа к полному архиву публикаций.
