newsmode
search
Меню
Категории
Теги (топ-30)
Источники
Прогресс перевода 1953/2270 · 86%

#LLM Evals · 90

rss_feed SaaStr translateRU

How Papaya Global Built a Production Compliance Agent With Claude, Lovable, and Supabase. And No Engineers

Компания Papaya Global, работающая с расчётом зарплат и комплаенсом в 160 странах, построила производственного AI-агента Papaya 1 на базе Claude, Lovable и Supabase — без инженеров и UX-дизайнеров. Гл

LLM Evals No Code Mvp Vertical Ai Models
1939 сл.
rss_feed Latent Space translateRU

[AINews] OpenAI GPT-next disproves 80 year old Erdős planar unit distance problem for under $1000

OpenAI сообщила, что её модель общего назначения (предположительно GPT 5.6) опровергла 80-летнюю гипотезу Эрдёша о единичных расстояниях на плоскости, потратив менее 32 часов и менее $1000. Результат,

AI Agents Frontier Models LLM Evals
2085 сл.
rss_feed Lenny's Newsletter translateRU

Building eval systems that improve your AI product

Статья представляет практическое руководство по построению систем оценки (evals) для AI-продуктов, которые действительно улучшают качество, а не просто генерируют бесполезные дашборды. Методология раз

Ai Products LLM Evals Product Management
3388 сл.
rss_feed Lenny's Newsletter translateRU

Building AI product sense, part 2

Доктор Marily Nika, продакт-менеджер AI в Google и Meta, делится еженедельным ритуалом для развития AI product sense — навыка понимания возможностей и ограничений моделей. Meta недавно ввела новое инт

Ai Products LLM Evals Product Management
2919 сл.
rss_feed Hamel Husain translateRU

LLM Evals: Everything You Need to Know – Hamel’s Blog - Hamel Husain

Hamel Husain и Shreya Shankar собрали FAQ по оценке (evals) LLM-приложений на основе вопросов от 700+ инженеров и продакт-менеджеров. Центральная идея — анализ ошибок (error analysis) важнее любой инф

LLM Engineering LLM Evals RAG
10259 сл.
rss_feed Hamel Husain translateRU

Q: What gaps in eval tooling should I be prepared to fill myself? – Hamel’s Blog - Hamel Husain

Хамель Хусейн перечисляет четыре области, в которых существующие инструменты оценки LLM-приложений недостаточны и которые командам, скорее всего, придётся достраивать самостоятельно. Первая — анализ о

Ai Infrastructure Developer Tools LLM Evals
450 сл.
rss_feed Latent Space translateRU

[AINews] Agents for Everything Else: Codex for Knowledge Work, Claude for Creative Work

Спокойный новостной день AINews посвящён двум крупным апдейтам: OpenAI расширила Codex за пределы программирования через лендинг «Codex for Work» с динамическим UI, ускоренным на 42% Computer Use, ком

AI Agents Frontier Models LLM Evals
1692 сл.
rss_feed Anthropic News translateRU

Evaluating Claude’s bioinformatics research capabilities with BioMysteryBench

Anthropic представила BioMysteryBench — бенчмарк биоинформатики из 99 задач, составленных экспертами на основе реальных «грязных» данных секвенирования ДНК/РНК (WGS, scRNA-seq, ChIP-seq, метагеномика

Ai Research Bioinformatics LLM Evals
3074 сл.
rss_feed Hamel Husain translateRU

Stop Saying RAG Is Dead – Hamel’s Blog - Hamel Husain

Хамель Хусейн (Hamel Husain) вместе с Ben Clavié выпустили открытую серию из 7 частей о том, почему RAG не умер и каким будет его будущее. Упрощённый подход 2023 года — закинуть документы в векторную

Context Engineering LLM Evals RAG
408 сл.
rss_feed Hamel Husain translateRU

Q: Why is “error analysis” so important in LLM evals, and how is it performed? – Hamel’s Blog - Hamel Husain

Hamel Husain объясняет, почему «анализ ошибок» (error analysis) — самая важная деятельность в оценке LLM: именно он подсказывает, какие eval-метрики вообще писать, и помогает выявить характерные для в

Ai Research Error Analysis LLM Evals
422 сл.
rss_feed Hamel Husain translateRU

P1: I don’t use RAG, I just retrieve documents – Hamel’s Blog - Hamel Husain

В рамках курса LLM Evals Хамел Хусейн пригласил исследователя поиска Бенжамина Клавье (Benjamin Clavié), создателя инструментов RAGatouille и rerankers, чтобы открыть мини-серию из пяти частей об оцен

LLM Evals RAG Vector Search
1209 сл.
rss_feed Anthropic News translateRU

Quantifying infrastructure noise in agentic coding evals

Anthropic исследовала, как конфигурация инфраструктуры влияет на результаты агентных бенчмарков программирования — SWE-bench и Terminal-Bench 2.0. Выяснилось, что разница между самой щедрой и самой ст

Agentic Engineering Ai Infrastructure LLM Evals
1779 сл.
rss_feed Ethan Mollick — One Useful Thing translateRU

Sign of the future: GPT-5.5

Ethan Mollick получил ранний доступ к GPT-5.5 и считает эту модель значимым шагом вперёд: она демонстрирует, что быстрое улучшение ИИ продолжается. В тесте на генерацию 3D-симуляции портового города G

Ai Creative Tools Frontier Models LLM Evals
1523 сл.
rss_feed Lenny's Newsletter translateRU

Listen: Building eval systems that improve your AI product

Выпуск подкаста Lenny's Reads посвящён построению систем оценки (eval) для AI-продуктов, которые реально приводят к улучшениям. Обсуждается, почему большинство дашбордов с метриками не работают, и как

Ai Products LLM Evals RAG
162 сл.
rss_feed Lenny's Newsletter translateRU

Listen: Building AI product sense, part 2

Вторая часть подкаста Lenny's Reads с доктором Marily Nika посвящена развитию продуктового чутья в AI. Обсуждается, почему Meta добавила блок «Product Sense with AI» в интервью на позицию PM, и какие

Ai Products LLM Evals Product Management
163 сл.
rss_feed Hamel Husain translateRU

The Revenge of the Data Scientist – Hamel’s Blog - Hamel Husain

Hamel Husain доказывает, что эпоха data scientist не закончилась: хотя LLM-API позволяют командам интегрировать AI без помощи дата-сайентистов и MLE, основная работа — постановка экспериментов, отладк

Data Science LLM Evals Production Ml
1638 сл.
rss_feed Hamel Husain translateRU

The Revenge of the Data Scientist

Хэмел Хусейн утверждает, что эпоха data scientist не закончилась: с приходом LLM и foundation-model API инженеры стали интегрировать ИИ без них, но основная работа — постановка экспериментов, отладка

Data Science LLM Evals Production Ml
1638 сл.
rss_feed Anthropic News translateRU

Eval awareness in Claude Opus 4.6’s BrowseComp performance

Anthropic протестировала Claude Opus 4.6 на бенчмарке BrowseComp в многоагентной конфигурации и обнаружила 11 случаев загрязнения данных среди 1266 задач: в 9 модель находила утёкшие ответы в публичны

AI Agents Ai Safety LLM Evals
2065 сл.
rss_feed Anthropic News translateRU

Demystifying evals for AI agents

Статья Anthropic описывает методологию создания оценок (evals) для AI-агентов — систем, которые работают в несколько шагов, вызывают инструменты и модифицируют состояние среды. Рассматриваются три тип

AI Agents LLM Evals Production Ml
5722 сл.
rss_feed Hamel Husain translateRU

Evals Skills for Coding Agents – Hamel’s Blog - Hamel Husain

Hamel Husain опубликовал evals-skills — набор навыков (skills) для AI-агентов кодирования, помогающих проводить продуктовые эвалюации. Навыки основаны на типичных ошибках, выявленных при работе с боле

Agentic Engineering Context Engineering LLM Evals
479 сл.
rss_feed Latent Space translateRU

METR’s Joel Becker on exponential Time Horizon Evals, Threat Models, and the Limits of AI Productivity

В подкасте Latent Space впервые выступает Joel Becker из организации METR, известной своим нашумевшим графиком временных горизонтов ИИ-агентов. Обсуждаются нюансы создания бенчмарков и экстраполяции р

Ai Safety LLM Evals Productivity Metrics
396 сл.
rss_feed Latent Space translateRU

[LIVE] Anthropic Distillation & How Models Cheat (SWE-Bench Dead) | Nathan Lambert & Sebastian Raschka

Латентный выпуск SAIL Live #6 с участием Nathan Lambert и Sebastian Raschka, который Swyx публикует для платных подписчиков Latent Space после присоединения к SAIL. В эпизоде обсуждаются дистилляция м

Ai Research Frontier Models LLM Evals
73 сл.