[LIVE] Anthropic Distillation & How Models Cheat (SWE-Bench Dead) | Nathan Lambert & Sebastian Raschka

Латентный выпуск SAIL Live #6 с участием Nathan Lambert и Sebastian Raschka, который Swyx публикует для платных подписчиков Latent Space после присоединения к SAIL. В эпизоде обсуждаются дистилляция моделей в Anthropic и то, как модели «жульничают» на бенчмарках, с тезисом о том, что SWE-Bench как мера уже исчерпал себя. Отдельный блок посвящён закату SWE-Bench Verified с участием Mia Glaese и Olivia Watkins из команды OpenAI Frontier Evals & Human Data. Автор благодарит зрителей трансляции — SAIL Media, Prof. Tom Yeh, 8Lee, Hamid Bagheri, c9n и многих других.