newsmode
search
Меню
Категории
apps Все forward_to_inbox Cold Email / Outbound gps_fixed Positioning travel_explore Customer Discovery rocket_launch Founder / YC auto_awesome Applied AI / LLM analytics SaaS Strategy trending_up Growth / Distribution build Indie / Bootstrap support_agent Conversational AI
Теги (топ-30)
AI Agents ·275 Ai Adoption ·192 Frontier Models ·163 Founder-Led Sales ·159 Conversational AI ·153 Outbound Sales ·150 Sales Automation ·144 Ai Infrastructure ·130 Go To Market ·128 Customer Experience ·125 Developer Tools ·122 Venture Funding ·122 Founder Mindset ·119 SaaS Metrics ·114 Product-Market Fit ·111 Enterprise Ai ·96 LLM Evals ·91 Career Advice ·89 Cold Email ·88 LLM Engineering ·86 Growth Strategy ·78 Saas ·75 Productivity Metrics ·74 Ai Products ·72 No Code Chatbots ·71 Ai Automation ·70 Customer Discovery ·69 Bootstrapping ·68 Content Creation ·67 Solopreneurship ·67
Источники
a16z Aaron Ross — Predictable Revenue Andrej Karpathy Andrej Karpathy — BearBlog Andrew Chen Anthropic News Botpress Blog Clay Blog Ethan Mollick — One Useful Thing Eugene Yan First Round Review Hamel Husain HubSpot Sales Blog Intercom / Fin Blog Justin Welsh Kyle Poyar — Growth Unhinged Latent Space Lavender Blog Lenny's Newsletter Not Boring Paul Graham Essays Rob Walling SaaStr Simon Willison Stratechery Teresa Torres — Product Talk The Bootstrapped Founder Tomasz Tunguz Voiceflow Blog Working Theorys
Прогресс перевода 1953/2270 · 86%
inboxВсе translateПереведено bookmarkХочу прочесть thumb_upПонравилось radio_button_uncheckedНепрочитанные check_circleПрочитал

#LLM Evals · 90

rss_feed Hamel Husain translateRU

Q: How do I approach evaluation when my system handles diverse user queries? – Hamel’s Blog - Hamel Husain

Хамел Хусейн отвечает на вопрос о том, как подходить к оценке системы, обрабатывающей разнородные пользовательские запросы — от простых вопросов о политике возврата до сложных аналитических сравнений.

Ai Products LLM Evals Production Ml
218 сл.
rss_feed Hamel Husain translateRU

Q: Are there scenarios where synthetic data may not be reliable? – Hamel’s Blog - Hamel Husain

Да, синтетические данные могут вводить в заблуждение или маскировать проблемы. Hamel Husain перечисляет типичные сценарии, где они подводят: сложный предметно-специфичный контент (юридические, медицин

Ai Research LLM Evals
197 сл.
rss_feed Hamel Husain translateRU

Q: How can I efficiently sample production traces for review? – Hamel’s Blog - Hamel Husain

Хамел Хусейн отвечает на вопрос о том, как эффективно отбирать продакшн-трейсы для ревью, ведь случайный просмотр неэффективен — большинство трейсов не содержат ошибок. Он предлагает несколько стратег

Data Annotation LLM Evals Production Ml
209 сл.
rss_feed Hamel Husain translateRU

Q: How do I evaluate agentic workflows? – Hamel’s Blog - Hamel Husain

Хэмел Хусейн рекомендует оценивать агентные workflow в два этапа. Сначала — сквозной успех задачи: агент рассматривается как чёрный ящик, для каждой задачи задаётся точное правило успеха, а оценку про

Agentic Engineering AI Agents LLM Evals
412 сл.
rss_feed Hamel Husain translateRU

Q: How do I evaluate sessions with human handoffs? – Hamel’s Blog - Hamel Husain

Статья объясняет, как правильно оценивать сессии с передачей управления от ИИ к человеку. Рекомендуется фиксировать полный путь пользователя в трейсах, включая момент передачи, её причину, переданный

AI Agents Customer Experience LLM Evals
143 сл.
rss_feed Hamel Husain translateRU

Q: How often should I re-run error analysis on my production system? – Hamel’s Blog - Hamel Husain

Эррор-анализ продакшн-системы стоит повторять при значимых изменениях: новых фичах, обновлениях промптов, смене модели или крупных багфиксах. Полезный ориентир — просматривать минимум 100+ свежих трей

Ai Products LLM Evals Production Ml
152 сл.
rss_feed Hamel Husain translateRU

Q: Should I practice eval-driven development? – Hamel’s Blog - Hamel Husain

Hamel Husain отвечает на вопрос, стоит ли практиковать eval-driven development — подход, при котором оценочные метрики для LLM пишутся до реализации фич. Он считает, что в большинстве случаев это не р

Ai Products LLM Evals Prompt Engineering
170 сл.
rss_feed Hamel Husain translateRU

Q: What are LLM Evals? – Hamel’s Blog - Hamel Husain

Это вводный материал из FAQ Хамеля Хусейна об оценке LLM (LLM evals), посвящённый именно продуктовым оценкам, а не бенчмаркам базовых моделей. Автор отсылает к трём своим статьям: «Your AI Product Nee

Error Analysis LLM Evals Llm Judge
236 сл.
rss_feed Hamel Husain translateRU

Q: What is a trace? – Hamel’s Blog - Hamel Husain

Трейс (trace) — это полная запись всех действий, сообщений, вызовов инструментов и извлечений данных, начиная с одного исходного запроса пользователя и заканчивая финальным ответом. Он охватывает кажд

AI Agents LLM Engineering LLM Evals
106 сл.
rss_feed Hamel Husain translateRU

Q: What should go in the system prompt vs. the user prompt? – Hamel’s Blog - Hamel Husain

Хамель Хусейн отвечает на вопрос, что помещать в системный промпт, а что — в пользовательский. Главный совет: ничто не заменит эксперимента — тестируйте оба варианта (в идеале с evals) на своей модели

LLM Engineering LLM Evals Prompt Engineering
184 сл.
rss_feed Hamel Husain translateRU

Q: What parts of evals can be automated with LLMs? – Hamel’s Blog - Hamel Husain

Хамель Хусейн отвечает на вопрос, какие части работы с оценками (evals) можно автоматизировать с помощью LLM. Главный тезис: LLM ускоряют рабочий процесс, но не заменяют человеческое суждение и экспер

Ai Automation Error Analysis LLM Evals
491 сл.
rss_feed Hamel Husain translateRU

Q: Should I stop writing prompts manually in favor of automated tools? – Hamel’s Blog - Hamel Husain

Hamel Husain рассуждает о том, стоит ли отказываться от ручного написания промптов в пользу автоматизированных инструментов. Он предостерегает от преждевременной автоматизации: написание промптов вруч

Ai Adoption LLM Evals Prompt Engineering
264 сл.
rss_feed Hamel Husain translateRU

Q: How should I approach evaluating my RAG system? – Hamel’s Blog - Hamel Husain

Статья описывает подход к оценке RAG-систем, разделяя их на два компонента: поиск (retrieval) и генерацию. Для поиска рекомендуется использовать классические метрики информационного поиска — Recall@k,

Ai Products LLM Evals RAG
450 сл.
rss_feed Hamel Husain translateRU

Q: How much time should I spend on model selection? – Hamel’s Blog - Hamel Husain

Хамель Хусейн отвечает на частый вопрос разработчиков LLM-приложений: сколько времени тратить на выбор модели. Его позиция — большинство фиксируется на смене модели как на главном способе улучшения си

LLM Engineering LLM Evals
97 сл.
rss_feed Hamel Husain translateRU

Q: How many people should annotate my LLM outputs? – Hamel’s Blog - Hamel Husain

Статья посвящена вопросу о том, сколько людей должны размечать выходные данные LLM. Для большинства малых и средних компаний оптимально назначить одного доменного эксперта — «благожелательного диктато

Ai Adoption Data Annotation LLM Evals
219 сл.
rss_feed Hamel Husain translateRU

Q: How are evaluations used differently in CI/CD vs. monitoring production? – Hamel’s Blog - Hamel Husain

Главное различие между оценкой в CI и в продакшене — это данные, на которых проводится тестирование. Тестовые наборы для CI небольшие (часто 100+ примеров) и создаются целенаправленно: они покрывают о

Deployment Pipeline LLM Evals Production Ml
186 сл.
rss_feed Hamel Husain translateRU

Q: Are similarity metrics (BERTScore, ROUGE, etc.) useful for evaluating LLM outputs? – Hamel’s Blog - Hamel Husain

Универсальные метрики вроде BERTScore, ROUGE и косинусного сходства в большинстве AI-приложений бесполезны для оценки выводов LLM. Вместо этого Hamel Husain рекомендует использовать анализ ошибок, что

Error Analysis LLM Evals RAG
201 сл.
rss_feed Hamel Husain translateRU

Q: How much of my development budget should I allocate to evals? – Hamel’s Blog - Hamel Husain

Хамель Хусейн объясняет, что оценка (evals) — это не отдельная статья бюджета, а часть процесса разработки, подобно отладке в программировании. По его опыту, на error analysis и оценку уходит 60–80% в

Cost Benefit Analysis Error Analysis LLM Evals
242 сл.
rss_feed Hamel Husain translateRU

Q: Should I build automated evaluators for every failure mode I find? – Hamel’s Blog - Hamel Husain

Хамэль Хусейн отвечает на вопрос, стоит ли строить автоматические оценщики (evaluators) для каждого найденного режима отказа LLM. Главный совет — сначала устранять очевидные пробелы через доработку пр

LLM Engineering LLM Evals Prompt Engineering
181 сл.
rss_feed Hamel Husain translateRU

Q: Should I use “ready-to-use” evaluation metrics? – Hamel’s Blog - Hamel Husain

Хамел Хусейн отвечает: не стоит использовать готовые («prefab») метрики оценки LLM-систем — они тратят время и создают ложную уверенность, если только вы не применяете их для разведки. Библиотеки оцен

Ai Adoption LLM Evals
223 сл.
rss_feed Hamel Husain translateRU

Q: What makes a good custom interface for reviewing LLM outputs? – Hamel’s Blog - Hamel Husain

Хамель Хусейн объясняет, каким должен быть удобный кастомный интерфейс для ручного просмотра выходов LLM. Он рекомендует строить собственный инструмент аннотации под конкретный домен и приводит четыре

Developer Tools LLM Evals Ux Design
376 сл.
rss_feed Hamel Husain translateRU

Q: Why do you recommend binary (pass/fail) evaluations instead of 1-5 ratings (Likert scales)? – Hamel’s Blog - Hamel Husain

Хамел Хусейн объясняет, почему он рекомендует бинарные (pass/fail) оценки вместо шкал Лайкерта (рейтинги 1-5) при оценке LLM. Инженеры считают, что шкалы 1-5 дают больше информации и позволяют отслежи

Ai Products Error Analysis LLM Evals
216 сл.
rss_feed Hamel Husain translateRU

Evals: Doing Error Analysis Before Writing Tests – Hamel’s Blog - Hamel Husain

Хамел Хусейн разбирает на 20-минутной консультации по LLM-evals случай Али, который оценивает SMS-приложение для неоплачиваемых сиделок, ухаживающих за пожилыми родителями или детьми с инвалидностью.

Ai Products Error Analysis LLM Evals
534 сл.
rss_feed Hamel Husain translateRU

Tame Complexity By Scoping LLM Evals – Hamel’s Blog - Hamel Husain

Заметки с открытых офисных часов Hamel Husain по LLM Evals: разбор реального кейса с Maggie из стартапа Sunday, предлагающего персонализированные подписки на уход за газоном. Команда построила чат-бот

Conversational AI Customer Service Ai LLM Evals
563 сл.