[LIVE] Anthropic Distillation & How Models Cheat (SWE-Bench Dead) | Nathan Lambert & Sebastian Raschka
Латентный выпуск SAIL Live #6 с участием Nathan Lambert и Sebastian Raschka, который Swyx публикует для платных подписчиков Latent Space после присоединения к SAIL. В эпизоде обсуждаются дистилляция моделей в Anthropic и то, как модели «жульничают» на бенчмарках, с тезисом о том, что SWE-Bench как мера уже исчерпал себя. Отдельный блок посвящён закату SWE-Bench Verified с участием Mia Glaese и Olivia Watkins из команды OpenAI Frontier Evals & Human Data. Автор благодарит зрителей трансляции — SAIL Media, Prof. Tom Yeh, 8Lee, Hamid Bagheri, c9n и многих других.
[ПРЯМОЙ ЭФИР] Дистилляция в Anthropic и как модели жульничают (SWE-Bench мёртв) | Nathan Lambert и Sebastian Raschka
Swyx присоединился к SAIL! Спасибо SAIL Media, Prof. Tom Yeh, 8Lee, Hamid Bagheri, c9n и многим другим за то, что подключились к SAIL Live #6 с Nathan Lambert и Sebastian Raschka, PhD. Публикуем здесь для платных подписчиков LS.
Мы обсудили:
⚡️Конец SWE-Bench Verified — Mia Glaese и Olivia Watkins, OpenAI Frontier Evals & Human Data
Обсуждение этого видео
