newsmode
search
Меню
Категории
apps Все forward_to_inbox Cold Email / Outbound gps_fixed Positioning travel_explore Customer Discovery rocket_launch Founder / YC auto_awesome Applied AI / LLM analytics SaaS Strategy trending_up Growth / Distribution build Indie / Bootstrap support_agent Conversational AI
Теги (топ-30)
AI Agents ·275 Ai Adoption ·192 Frontier Models ·163 Founder-Led Sales ·159 Conversational AI ·153 Outbound Sales ·150 Sales Automation ·144 Ai Infrastructure ·130 Go To Market ·128 Customer Experience ·125 Developer Tools ·122 Venture Funding ·122 Founder Mindset ·119 SaaS Metrics ·114 Product-Market Fit ·111 Enterprise Ai ·96 LLM Evals ·91 Career Advice ·89 Cold Email ·88 LLM Engineering ·86 Growth Strategy ·78 Saas ·75 Productivity Metrics ·74 Ai Products ·72 No Code Chatbots ·71 Ai Automation ·70 Customer Discovery ·69 Bootstrapping ·68 Content Creation ·67 Solopreneurship ·67
Источники
a16z Aaron Ross — Predictable Revenue Andrej Karpathy Andrej Karpathy — BearBlog Andrew Chen Anthropic News Botpress Blog Clay Blog Ethan Mollick — One Useful Thing Eugene Yan First Round Review Hamel Husain HubSpot Sales Blog Intercom / Fin Blog Justin Welsh Kyle Poyar — Growth Unhinged Latent Space Lavender Blog Lenny's Newsletter Not Boring Paul Graham Essays Rob Walling SaaStr Simon Willison Stratechery Teresa Torres — Product Talk The Bootstrapped Founder Tomasz Tunguz Voiceflow Blog Working Theorys
Прогресс перевода 1953/2270 · 86%
inboxВсе translateПереведено bookmarkХочу прочесть thumb_upПонравилось radio_button_uncheckedНепрочитанные check_circleПрочитал

#LLM Evals · 82

rss_feed Hamel Husain translateRU

P6: Context Rot – Hamel’s Blog - Hamel Husain

Исследовательница из Chroma Kelly Hong представила концепцию «Context Rot» — деградации производительности LLM по мере увеличения длины входного контекста. В серии экспериментов над 18 современными мо

Context Engineering LLM Evals RAG
1660 сл.
rss_feed Hamel Husain translateRU

P4: Late Interaction Models For RAG – Hamel’s Blog - Hamel Husain

В четвёртой части мини-серии по оценке и оптимизации RAG в рамках курса LLM Evals Антуан Шаффен из LightOn рассказывает о моделях позднего взаимодействия (late interaction) как альтернативе одновектор

Ai Infrastructure LLM Evals RAG
2326 сл.
rss_feed Hamel Husain translateRU

Inspect AI, An OSS Python Library For LLM Evals – Hamel’s Blog - Hamel Husain

Несколько недель назад Hamel Husain пригласил JJ Allaire — основателя RStudio (теперь Posit) — прочитать гостевую лекцию в их курсе по LLM Evals. Статья представляет собой аннотированную версию презен

Ai Safety LLM Evals Open Source
2746 сл.
rss_feed Ethan Mollick — One Useful Thing translateRU

Giving your AI a Job Interview

Эссе Итана Молика о том, что по мере роста важности ИИ-советов нам нужно научиться лучше оценивать модели. Стандартные бенчмарки имеют серьёзные проблемы: их ответы часто попадают в обучающие данные,

Enterprise Ai Frontier Models LLM Evals
1953 сл.
rss_feed Hamel Husain translateRU

Using LLM-as-a-Judge For Evaluation: A Complete Guide –

Хамел Хусейн делится опытом настройки систем оценки ИИ-продуктов, накопленным при работе с более чем 30 компаниями, и описывает технику, которую называет «Critique Shadowing» (тенью критики). Главная

Ai Products LLM Evals Prompt Engineering
6270 сл.
rss_feed Hamel Husain translateRU

Q: Can I use the same model for both the main task and evaluation? – Hamel’s Blog - Hamel Husain

Для выбора модели LLM-as-Judge обычно нормально использовать ту же модель, что и в основном пайплайне, поскольку судья выполняет другую задачу. Исследования показывают, что модели могут проявлять пред

LLM Engineering LLM Evals
208 сл.
rss_feed Hamel Husain translateRU

Your AI Product Needs Evals –

Хамель Хусейн, независимый консультант по AI-продуктам и в прошлом руководитель команды CodeSearchNet (предшественника GitHub CoPilot), утверждает, что почти все неудачные LLM-продукты объединяет одна

Ai Products LLM Engineering LLM Evals
3831 сл.
rss_feed Hamel Husain translateRU

Selecting The Right AI Evals Tool

Hamel Husain рассказывает, как выбрать инструмент для AI-оценок (evals), и объясняет, почему ни один из них не является лучшим во всех отношениях — выбор зависит от навыков команды, технического стека

Ai Products Developer Tools LLM Evals
1316 сл.
rss_feed Hamel Husain translateRU

Q: How do we evaluate a model’s ability to express uncertainty or “know what it doesn’t know”? – Hamel’s Blog - Hamel Husain

Статья объясняет, как оценивать способность языковой модели выражать неуверенность и отказываться отвечать при недостатке информации. Для этого предлагается создать оценочный набор из двух типов вопро

Ai Safety LLM Evals Prompt Engineering
265 сл.
rss_feed Hamel Husain translateRU

Q: How should I version and manage prompts? – Hamel’s Blog - Hamel Husain

Статья обсуждает подходы к версионированию и управлению промптами в LLM-приложениях. Автор рекомендует хранить промпты в Git, рассматривая их как программные артефакты, которые версионируются и деплоя

LLM Engineering LLM Evals Prompt Engineering
370 сл.
rss_feed Hamel Husain translateRU

A Field Guide to Rapidly Improving AI Products – Hamel’s Blog - Hamel Husain

Hamel Husain, консультант с опытом работы с более чем 30 компаниями, описывает ключевые практики быстрого улучшения AI-продуктов. Главная ошибка команд — фокус на инструментах и фреймворках вместо ана

Ai Products Experimentation LLM Evals
6229 сл.
rss_feed Hamel Husain translateRU

Q: Should product managers and engineers collaborate on error analysis? How? – Hamel’s Blog - Hamel Husain

Хамель Хусейн отвечает на вопрос, должны ли продакт-менеджеры и инженеры вместе заниматься анализом ошибок LLM-систем. На старте им стоит совместно выстраивать общий контекст: инженеры ловят техническ

Error Analysis LLM Evals Product Management
155 сл.
rss_feed Hamel Husain translateRU

Q: Should I build a custom annotation tool or use something off-the-shelf? – Hamel’s Blog - Hamel Husain

Hamel Husain рекомендует создавать собственные инструменты для аннотации данных вместо использования готовых решений. Кастомный инструмент — самая результативная инвестиция в процесс оценки ИИ: команд

Data Annotation LLM Evals Vibe Coding
188 сл.
rss_feed Hamel Husain translateRU

Q: How do I surface problematic traces for review beyond user feedback? – Hamel’s Blog - Hamel Husain

Статья из FAQ по оценке LLM описывает три подхода к поиску проблемных трейсов помимо пользовательской обратной связи. Первый — случайная выборка трейсов с последующим стресс-тестированием. Второй — ис

LLM Evals Production Ml
166 сл.
rss_feed Hamel Husain translateRU

Q: How do I justify evaluation time and budget to management? – Hamel’s Blog - Hamel Husain

Статья из FAQ по оценке LLM-приложений от Hamel Husain объясняет, как обосновать перед руководством время и бюджет на evaluation. Рекомендуется вести журнал всех обнаруженных ошибок, документировать и

Ai Products Engineering Culture LLM Evals
115 сл.
rss_feed Hamel Husain translateRU

Q: How do I evaluate complex multi-step workflows? – Hamel’s Blog - Hamel Husain

Хамел Хусейн объясняет, как оценивать сложные многошаговые рабочие процессы на основе LLM. Ключевая рекомендация — логировать весь процесс от исходного триггера до итогового бизнес-результата, включая

AI Agents Error Analysis LLM Evals
184 сл.
rss_feed Hamel Husain translateRU

Q: How do I approach evaluation when my system handles diverse user queries? – Hamel’s Blog - Hamel Husain

Хамел Хусейн отвечает на вопрос о том, как подходить к оценке системы, обрабатывающей разнородные пользовательские запросы — от простых вопросов о политике возврата до сложных аналитических сравнений.

Ai Products LLM Evals Production Ml
218 сл.
rss_feed Hamel Husain translateRU

Q: Are there scenarios where synthetic data may not be reliable? – Hamel’s Blog - Hamel Husain

Да, синтетические данные могут вводить в заблуждение или маскировать проблемы. Hamel Husain перечисляет типичные сценарии, где они подводят: сложный предметно-специфичный контент (юридические, медицин

Ai Research LLM Evals
197 сл.
rss_feed Hamel Husain translateRU

Q: How can I efficiently sample production traces for review? – Hamel’s Blog - Hamel Husain

Хамел Хусейн отвечает на вопрос о том, как эффективно отбирать продакшн-трейсы для ревью, ведь случайный просмотр неэффективен — большинство трейсов не содержат ошибок. Он предлагает несколько стратег

Data Annotation LLM Evals Production Ml
209 сл.
rss_feed Hamel Husain translateRU

Q: How do I evaluate agentic workflows? – Hamel’s Blog - Hamel Husain

Хэмел Хусейн рекомендует оценивать агентные workflow в два этапа. Сначала — сквозной успех задачи: агент рассматривается как чёрный ящик, для каждой задачи задаётся точное правило успеха, а оценку про

Agentic Engineering AI Agents LLM Evals
412 сл.
rss_feed Hamel Husain translateRU

Q: How do I evaluate sessions with human handoffs? – Hamel’s Blog - Hamel Husain

Статья объясняет, как правильно оценивать сессии с передачей управления от ИИ к человеку. Рекомендуется фиксировать полный путь пользователя в трейсах, включая момент передачи, её причину, переданный

AI Agents Customer Experience LLM Evals
143 сл.
rss_feed Hamel Husain translateRU

Q: How often should I re-run error analysis on my production system? – Hamel’s Blog - Hamel Husain

Эррор-анализ продакшн-системы стоит повторять при значимых изменениях: новых фичах, обновлениях промптов, смене модели или крупных багфиксах. Полезный ориентир — просматривать минимум 100+ свежих трей

Ai Products LLM Evals Production Ml
152 сл.
rss_feed Hamel Husain translateRU

Q: Should I practice eval-driven development? – Hamel’s Blog - Hamel Husain

Hamel Husain отвечает на вопрос, стоит ли практиковать eval-driven development — подход, при котором оценочные метрики для LLM пишутся до реализации фич. Он считает, что в большинстве случаев это не р

Ai Products LLM Evals Prompt Engineering
170 сл.
rss_feed Hamel Husain translateRU

Q: What are LLM Evals? – Hamel’s Blog - Hamel Husain

Это вводный материал из FAQ Хамеля Хусейна об оценке LLM (LLM evals), посвящённый именно продуктовым оценкам, а не бенчмаркам базовых моделей. Автор отсылает к трём своим статьям: «Your AI Product Nee

Error Analysis LLM Evals Llm Judge
236 сл.