newsmode
search
Меню
Категории
apps Все forward_to_inbox Cold Email / Outbound gps_fixed Positioning travel_explore Customer Discovery rocket_launch Founder / YC auto_awesome Applied AI / LLM analytics SaaS Strategy trending_up Growth / Distribution build Indie / Bootstrap support_agent Conversational AI
Теги (топ-30)
AI Agents ·275 Ai Adoption ·192 Frontier Models ·163 Founder-Led Sales ·159 Conversational AI ·153 Outbound Sales ·150 Sales Automation ·144 Ai Infrastructure ·130 Go To Market ·128 Customer Experience ·125 Developer Tools ·122 Venture Funding ·122 Founder Mindset ·119 SaaS Metrics ·114 Product-Market Fit ·111 Enterprise Ai ·96 LLM Evals ·91 Career Advice ·89 Cold Email ·88 LLM Engineering ·86 Growth Strategy ·78 Saas ·75 Productivity Metrics ·74 Ai Products ·72 No Code Chatbots ·71 Ai Automation ·70 Customer Discovery ·69 Bootstrapping ·68 Content Creation ·67 Solopreneurship ·67
Источники
a16z Aaron Ross — Predictable Revenue Andrej Karpathy Andrej Karpathy — BearBlog Andrew Chen Anthropic News Botpress Blog Clay Blog Ethan Mollick — One Useful Thing Eugene Yan First Round Review Hamel Husain HubSpot Sales Blog Intercom / Fin Blog Justin Welsh Kyle Poyar — Growth Unhinged Latent Space Lavender Blog Lenny's Newsletter Not Boring Paul Graham Essays Rob Walling SaaStr Simon Willison Stratechery Teresa Torres — Product Talk The Bootstrapped Founder Tomasz Tunguz Voiceflow Blog Working Theorys
Прогресс перевода 1953/2270 · 86%
inboxВсе translateПереведено bookmarkХочу прочесть thumb_upПонравилось radio_button_uncheckedНепрочитанные check_circleПрочитал

#LLM Evals · 90

rss_feed a16z translateRU

I Built TetrisBench, Where LLMs Compete at Playing Tetris. Here’s What I Found. | Andreessen Horowitz

Автор статьи Yoko Li из Andreessen Horowitz рассказывает, как создала TetrisBench — бенчмарк, в котором LLM соревнуются в игре Tetris. Первая попытка с подачей состояния доски в JSON и просьбой выбрат

AI Agents Frontier Models LLM Evals
2614 сл.
rss_feed Latent Space translateRU

⚡️The End of SWE-Bench Verified — Mia Glaese & Olivia Watkins, OpenAI Frontier Evals & Human Data

OpenAI официально прекращает использовать SWE-Bench Verified как ключевой бенчмарк для оценки кодинг-агентов. Mia Glaese (VP of Research) и Olivia Watkins из команды Frontier Evals объясняют решение:

Ai Safety Frontier Models LLM Evals
6238 сл.
rss_feed Latent Space translateRU

[AINews] Claude Sonnet 4.6: clean upgrade of 4.5, mostly better with some caveats

Anthropic выпустила Claude Sonnet 4.6 — апгрейд Sonnet 4.5 с улучшениями в кодинге, computer use, длинном контексте, агентном планировании и дизайне, плюс окно контекста 1M токенов в бете. Модель пока

AI Agents Frontier Models LLM Evals
1799 сл.
rss_feed Intercom / Fin Blog translateRU

CX Score: How we built a metric support leaders can defend

Intercom рассказывает, как создавался CX Score — метрика оценки клиентского опыта по каждому разговору с поддержкой, которой руководители поддержки могут доверять. Авторы выделяют пять принципов: метр

Customer Experience Customer Service Ai LLM Evals
767 сл.
rss_feed Anthropic News translateRU

Protecting the wellbeing of our users

Anthropic описывает меры, которыми команда Safeguards защищает благополучие пользователей Claude в чувствительных разговорах. Основные направления — корректная реакция на темы суицида и самоповреждени

Ai Safety Frontier Models LLM Evals
2110 сл.
rss_feed Hamel Husain translateRU

LLM Evals: Everything You Need to Know

Статья представляет собой исчерпывающий FAQ по оценке (evals) LLM-приложений, составленный Hamel Husain и Shreya на основе вопросов от 700+ инженеров и продакт-менеджеров. Центральная идея — анализ ош

Data Annotation LLM Evals RAG
10259 сл.
rss_feed Hamel Husain translateRU

How to Process Documents at Scale with LLMs – Hamel’s Blog - Hamel Husain

Хамел Хусейн пригласил Шрею Шанкар, AI-исследовательницу из UC Berkeley, в рамках курса LLM Evals, чтобы рассказать, как обрабатывать документы в больших масштабах с помощью LLM. Её работа находится н

LLM Evals Pdf Parsing Semantic Data Processing
2979 сл.
rss_feed Hamel Husain translateRU

P6: Context Rot – Hamel’s Blog - Hamel Husain

Исследовательница из Chroma Kelly Hong представила концепцию «Context Rot» — деградации производительности LLM по мере увеличения длины входного контекста. В серии экспериментов над 18 современными мо

Context Engineering LLM Evals RAG
1660 сл.
rss_feed Hamel Husain translateRU

P4: Late Interaction Models For RAG – Hamel’s Blog - Hamel Husain

В четвёртой части мини-серии по оценке и оптимизации RAG в рамках курса LLM Evals Антуан Шаффен из LightOn рассказывает о моделях позднего взаимодействия (late interaction) как альтернативе одновектор

Ai Infrastructure LLM Evals RAG
2326 сл.
rss_feed Hamel Husain translateRU

Inspect AI, An OSS Python Library For LLM Evals – Hamel’s Blog - Hamel Husain

Несколько недель назад Hamel Husain пригласил JJ Allaire — основателя RStudio (теперь Posit) — прочитать гостевую лекцию в их курсе по LLM Evals. Статья представляет собой аннотированную версию презен

Ai Safety LLM Evals Open Source
2746 сл.
rss_feed Ethan Mollick — One Useful Thing translateRU

Giving your AI a Job Interview

Эссе Итана Молика о том, что по мере роста важности ИИ-советов нам нужно научиться лучше оценивать модели. Стандартные бенчмарки имеют серьёзные проблемы: их ответы часто попадают в обучающие данные,

Enterprise Ai Frontier Models LLM Evals
1953 сл.
rss_feed Hamel Husain translateRU

Using LLM-as-a-Judge For Evaluation: A Complete Guide –

Хамел Хусейн делится опытом настройки систем оценки ИИ-продуктов, накопленным при работе с более чем 30 компаниями, и описывает технику, которую называет «Critique Shadowing» (тенью критики). Главная

Ai Products LLM Evals Prompt Engineering
6270 сл.
rss_feed Hamel Husain translateRU

Q: Can I use the same model for both the main task and evaluation? – Hamel’s Blog - Hamel Husain

Для выбора модели LLM-as-Judge обычно нормально использовать ту же модель, что и в основном пайплайне, поскольку судья выполняет другую задачу. Исследования показывают, что модели могут проявлять пред

LLM Engineering LLM Evals
208 сл.
rss_feed Hamel Husain translateRU

Your AI Product Needs Evals –

Хамель Хусейн, независимый консультант по AI-продуктам и в прошлом руководитель команды CodeSearchNet (предшественника GitHub CoPilot), утверждает, что почти все неудачные LLM-продукты объединяет одна

Ai Products LLM Engineering LLM Evals
3831 сл.
rss_feed Hamel Husain translateRU

Selecting The Right AI Evals Tool

Hamel Husain рассказывает, как выбрать инструмент для AI-оценок (evals), и объясняет, почему ни один из них не является лучшим во всех отношениях — выбор зависит от навыков команды, технического стека

Ai Products Developer Tools LLM Evals
1316 сл.
rss_feed Hamel Husain translateRU

Q: How do we evaluate a model’s ability to express uncertainty or “know what it doesn’t know”? – Hamel’s Blog - Hamel Husain

Статья объясняет, как оценивать способность языковой модели выражать неуверенность и отказываться отвечать при недостатке информации. Для этого предлагается создать оценочный набор из двух типов вопро

Ai Safety LLM Evals Prompt Engineering
265 сл.
rss_feed Hamel Husain translateRU

Q: How should I version and manage prompts? – Hamel’s Blog - Hamel Husain

Статья обсуждает подходы к версионированию и управлению промптами в LLM-приложениях. Автор рекомендует хранить промпты в Git, рассматривая их как программные артефакты, которые версионируются и деплоя

LLM Engineering LLM Evals Prompt Engineering
370 сл.
rss_feed Hamel Husain translateRU

A Field Guide to Rapidly Improving AI Products – Hamel’s Blog - Hamel Husain

Hamel Husain, консультант с опытом работы с более чем 30 компаниями, описывает ключевые практики быстрого улучшения AI-продуктов. Главная ошибка команд — фокус на инструментах и фреймворках вместо ана

Ai Products Experimentation LLM Evals
6229 сл.
rss_feed Hamel Husain translateRU

Q: Should product managers and engineers collaborate on error analysis? How? – Hamel’s Blog - Hamel Husain

Хамель Хусейн отвечает на вопрос, должны ли продакт-менеджеры и инженеры вместе заниматься анализом ошибок LLM-систем. На старте им стоит совместно выстраивать общий контекст: инженеры ловят техническ

Error Analysis LLM Evals Product Management
155 сл.
rss_feed Hamel Husain translateRU

Q: Should I build a custom annotation tool or use something off-the-shelf? – Hamel’s Blog - Hamel Husain

Hamel Husain рекомендует создавать собственные инструменты для аннотации данных вместо использования готовых решений. Кастомный инструмент — самая результативная инвестиция в процесс оценки ИИ: команд

Data Annotation LLM Evals Vibe Coding
188 сл.
rss_feed Hamel Husain translateRU

Q: How do I surface problematic traces for review beyond user feedback? – Hamel’s Blog - Hamel Husain

Статья из FAQ по оценке LLM описывает три подхода к поиску проблемных трейсов помимо пользовательской обратной связи. Первый — случайная выборка трейсов с последующим стресс-тестированием. Второй — ис

LLM Evals Production Ml
166 сл.
rss_feed Hamel Husain translateRU

Q: How do I justify evaluation time and budget to management? – Hamel’s Blog - Hamel Husain

Статья из FAQ по оценке LLM-приложений от Hamel Husain объясняет, как обосновать перед руководством время и бюджет на evaluation. Рекомендуется вести журнал всех обнаруженных ошибок, документировать и

Ai Products Engineering Culture LLM Evals
115 сл.
rss_feed Hamel Husain translateRU

Q: How do I evaluate complex multi-step workflows? – Hamel’s Blog - Hamel Husain

Хамел Хусейн объясняет, как оценивать сложные многошаговые рабочие процессы на основе LLM. Ключевая рекомендация — логировать весь процесс от исходного триггера до итогового бизнес-результата, включая

AI Agents Error Analysis LLM Evals
184 сл.