Listen: Building eval systems that improve your AI product
Выпуск подкаста Lenny's Reads посвящён построению систем оценки (eval) для AI-продуктов, которые реально приводят к улучшениям. Обсуждается, почему большинство дашбордов с метриками не работают, и как анализ ошибок помогает выявить ключевые режимы сбоев продукта. Раскрывается роль «principal domain expert» в установлении единого стандарта качества и техники превращения хаотичных заметок об ошибках в чистую таксономию. Рассматривается выбор между code-based проверками и LLM-as-a-judge, а также построение доверия к evals через размеченные людьми ground-truth датасеты. Объясняется, почему бинарные метки pass/fail на практике лучше шкал Лайкерта, и приводятся стратегии оценки многоходовых диалогов, RAG-пайплайнов и agentic workflows. В финале — как CI-страховка и продакшн-мониторинг создают маховик непрерывного улучшения продукта.
Слушайте: построение eval-систем, которые улучшают ваш AI-продукт
Если вы премиум-подписчик
Добавьте приватный фид в своё подкаст-приложение по адресу add.lennysreads.com
В этом эпизоде вы узнаете:
Почему большинство дашбордов с AI-эвалами не приводят к реальным улучшениям продуктаКак использовать анализ ошибок, чтобы выявить наиболее критичные режимы сбоев вашего продуктаРоль «principal domain expert» в установлении единой планки качестваТехники превращения хаотичных заметок об ошибках в чистую таксономию сбоевКогда использовать code-based проверки, а когда LLM-as-a-judge оценщиковКак выстроить доверие к вашим evals с помощью размеченных людьми ground-truth датасетовПочему бинарные метки pass/fail на практике превосходят шкалы ЛайкертаСтратегии оценки сложных систем: многоходовых диалогов, RAG-пайплайнов и agentic workflowsКак CI-страховка и продакшн-мониторинг работают вместе, создавая маховик непрерывного улучшения продукта
Ссылки:
AI Evals for Engineers & PMsA Field Guide to Rapidly Improving AI ProductsAligning LLM-Assisted Evaluation of LL…
Этот пост — для платных подписчиков
