newsmode
search
Меню
Категории
apps Все forward_to_inbox Cold Email / Outbound gps_fixed Positioning travel_explore Customer Discovery rocket_launch Founder / YC auto_awesome Applied AI / LLM analytics SaaS Strategy trending_up Growth / Distribution build Indie / Bootstrap support_agent Conversational AI
Теги (топ-30)
AI Agents ·275 Ai Adoption ·192 Frontier Models ·163 Founder-Led Sales ·159 Conversational AI ·153 Outbound Sales ·150 Sales Automation ·144 Ai Infrastructure ·130 Go To Market ·128 Customer Experience ·125 Developer Tools ·122 Venture Funding ·122 Founder Mindset ·119 SaaS Metrics ·114 Product-Market Fit ·111 Enterprise Ai ·96 LLM Evals ·91 Career Advice ·89 Cold Email ·88 LLM Engineering ·86 Growth Strategy ·78 Saas ·75 Productivity Metrics ·74 Ai Products ·72 No Code Chatbots ·71 Ai Automation ·70 Customer Discovery ·69 Bootstrapping ·68 Content Creation ·67 Solopreneurship ·67
Источники
a16z Aaron Ross — Predictable Revenue Andrej Karpathy Andrej Karpathy — BearBlog Andrew Chen Anthropic News Botpress Blog Clay Blog Ethan Mollick — One Useful Thing Eugene Yan First Round Review Hamel Husain HubSpot Sales Blog Intercom / Fin Blog Justin Welsh Kyle Poyar — Growth Unhinged Latent Space Lavender Blog Lenny's Newsletter Not Boring Paul Graham Essays Rob Walling SaaStr Simon Willison Stratechery Teresa Torres — Product Talk The Bootstrapped Founder Tomasz Tunguz Voiceflow Blog Working Theorys
Прогресс перевода 1953/2270 · 86%
inboxВсе translateПереведено bookmarkХочу прочесть thumb_upПонравилось radio_button_uncheckedНепрочитанные check_circleПрочитал

#LLM Evals · 82

rss_feed Hamel Husain translateRU

Q: What is a trace? – Hamel’s Blog - Hamel Husain

Трейс (trace) — это полная запись всех действий, сообщений, вызовов инструментов и извлечений данных, начиная с одного исходного запроса пользователя и заканчивая финальным ответом. Он охватывает кажд

AI Agents LLM Engineering LLM Evals
106 сл.
rss_feed Hamel Husain translateRU

Q: What should go in the system prompt vs. the user prompt? – Hamel’s Blog - Hamel Husain

Хамель Хусейн отвечает на вопрос, что помещать в системный промпт, а что — в пользовательский. Главный совет: ничто не заменит эксперимента — тестируйте оба варианта (в идеале с evals) на своей модели

LLM Engineering LLM Evals Prompt Engineering
184 сл.
rss_feed Hamel Husain translateRU

Q: What parts of evals can be automated with LLMs? – Hamel’s Blog - Hamel Husain

Хамель Хусейн отвечает на вопрос, какие части работы с оценками (evals) можно автоматизировать с помощью LLM. Главный тезис: LLM ускоряют рабочий процесс, но не заменяют человеческое суждение и экспер

Ai Automation Error Analysis LLM Evals
491 сл.
rss_feed Hamel Husain translateRU

Q: Should I stop writing prompts manually in favor of automated tools? – Hamel’s Blog - Hamel Husain

Hamel Husain рассуждает о том, стоит ли отказываться от ручного написания промптов в пользу автоматизированных инструментов. Он предостерегает от преждевременной автоматизации: написание промптов вруч

Ai Adoption LLM Evals Prompt Engineering
264 сл.
rss_feed Hamel Husain translateRU

Q: How should I approach evaluating my RAG system? – Hamel’s Blog - Hamel Husain

Статья описывает подход к оценке RAG-систем, разделяя их на два компонента: поиск (retrieval) и генерацию. Для поиска рекомендуется использовать классические метрики информационного поиска — Recall@k,

Ai Products LLM Evals RAG
450 сл.
rss_feed Hamel Husain translateRU

Q: How much time should I spend on model selection? – Hamel’s Blog - Hamel Husain

Хамель Хусейн отвечает на частый вопрос разработчиков LLM-приложений: сколько времени тратить на выбор модели. Его позиция — большинство фиксируется на смене модели как на главном способе улучшения си

LLM Engineering LLM Evals
97 сл.
rss_feed Hamel Husain translateRU

Q: How many people should annotate my LLM outputs? – Hamel’s Blog - Hamel Husain

Статья посвящена вопросу о том, сколько людей должны размечать выходные данные LLM. Для большинства малых и средних компаний оптимально назначить одного доменного эксперта — «благожелательного диктато

Ai Adoption Data Annotation LLM Evals
219 сл.
rss_feed Hamel Husain translateRU

Q: How are evaluations used differently in CI/CD vs. monitoring production? – Hamel’s Blog - Hamel Husain

Главное различие между оценкой в CI и в продакшене — это данные, на которых проводится тестирование. Тестовые наборы для CI небольшие (часто 100+ примеров) и создаются целенаправленно: они покрывают о

Deployment Pipeline LLM Evals Production Ml
186 сл.
rss_feed Hamel Husain translateRU

Q: Are similarity metrics (BERTScore, ROUGE, etc.) useful for evaluating LLM outputs? – Hamel’s Blog - Hamel Husain

Универсальные метрики вроде BERTScore, ROUGE и косинусного сходства в большинстве AI-приложений бесполезны для оценки выводов LLM. Вместо этого Hamel Husain рекомендует использовать анализ ошибок, что

Error Analysis LLM Evals RAG
201 сл.
rss_feed Hamel Husain translateRU

Q: How much of my development budget should I allocate to evals? – Hamel’s Blog - Hamel Husain

Хамель Хусейн объясняет, что оценка (evals) — это не отдельная статья бюджета, а часть процесса разработки, подобно отладке в программировании. По его опыту, на error analysis и оценку уходит 60–80% в

Cost Benefit Analysis Error Analysis LLM Evals
242 сл.
rss_feed Hamel Husain translateRU

Q: Should I build automated evaluators for every failure mode I find? – Hamel’s Blog - Hamel Husain

Хамэль Хусейн отвечает на вопрос, стоит ли строить автоматические оценщики (evaluators) для каждого найденного режима отказа LLM. Главный совет — сначала устранять очевидные пробелы через доработку пр

LLM Engineering LLM Evals Prompt Engineering
181 сл.
rss_feed Hamel Husain translateRU

Q: Should I use “ready-to-use” evaluation metrics? – Hamel’s Blog - Hamel Husain

Хамел Хусейн отвечает: не стоит использовать готовые («prefab») метрики оценки LLM-систем — они тратят время и создают ложную уверенность, если только вы не применяете их для разведки. Библиотеки оцен

Ai Adoption LLM Evals
223 сл.
rss_feed Hamel Husain translateRU

Q: What makes a good custom interface for reviewing LLM outputs? – Hamel’s Blog - Hamel Husain

Хамель Хусейн объясняет, каким должен быть удобный кастомный интерфейс для ручного просмотра выходов LLM. Он рекомендует строить собственный инструмент аннотации под конкретный домен и приводит четыре

Developer Tools LLM Evals Ux Design
376 сл.
rss_feed Hamel Husain translateRU

Q: Why do you recommend binary (pass/fail) evaluations instead of 1-5 ratings (Likert scales)? – Hamel’s Blog - Hamel Husain

Хамел Хусейн объясняет, почему он рекомендует бинарные (pass/fail) оценки вместо шкал Лайкерта (рейтинги 1-5) при оценке LLM. Инженеры считают, что шкалы 1-5 дают больше информации и позволяют отслежи

Ai Products Error Analysis LLM Evals
216 сл.
rss_feed Hamel Husain translateRU

Evals: Doing Error Analysis Before Writing Tests – Hamel’s Blog - Hamel Husain

Хамел Хусейн разбирает на 20-минутной консультации по LLM-evals случай Али, который оценивает SMS-приложение для неоплачиваемых сиделок, ухаживающих за пожилыми родителями или детьми с инвалидностью.

Ai Products Error Analysis LLM Evals
534 сл.
rss_feed Hamel Husain translateRU

Tame Complexity By Scoping LLM Evals – Hamel’s Blog - Hamel Husain

Заметки с открытых офисных часов Hamel Husain по LLM Evals: разбор реального кейса с Maggie из стартапа Sunday, предлагающего персонализированные подписки на уход за газоном. Команда построила чат-бот

Conversational AI Customer Service Ai LLM Evals
563 сл.
rss_feed Hamel Husain translateRU

Stop Saying RAG Is Dead

Хэмел Хусейн — инженер по машинному обучению с более чем 20-летним опытом, работавший в Airbnb и GitHub, включая раннее исследование LLM, использованное OpenAI для понимания кода. Сейчас он возвращает

Ai Products LLM Evals Personal Branding
149 сл.
rss_feed Eugene Yan translateRU

Evaluating Long-Context Question & Answer Systems

Юджин Ян разбирает, как оценивать Q&A-системы на длинных контекстах — от технической документации до романов и многодокументных сценариев. Ключевые метрики: faithfulness (ответ опирается только на ист

LLM Evals Long Context RAG
5737 сл.
rss_feed Eugene Yan translateRU

An LLM-as-Judge Won't Save The Product—Fixing Your Process Will

Юджин Ян утверждает, что добавление ещё одного инструмента, метрики или LLM-as-judge не спасёт AI-продукт — нужно наладить сам процесс. Продуктовые evals — это не статичные артефакты, а практика, опир

Ai Products Error Analysis LLM Evals
974 сл.
rss_feed Hamel Husain translateRU

A Field Guide to Rapidly Improving AI Products

Хамель Хусейн обобщает опыт работы с 30+ компаниями и показывает, что успех AI-продуктов определяют не модные инструменты, а дисциплина измерения и итераций. Главная ошибка команд — пропускать error a

Ai Products Experimentation LLM Evals
6229 сл.
rss_feed Eugene Yan translateRU

39 Lessons on Building ML Systems, Scaling, Execution, and More

Юджин Ян делится 39 уроками с ML-конференций 2024 года, охватывающими построение эффективных ML-систем, масштабирование, исполнение и работу с пользователями. Среди ключевых идей: важность правильно в

LLM Evals Ml Engineering Production Ml
1953 сл.
rss_feed Hamel Husain translateRU

Using LLM-as-a-Judge For Evaluation: A Complete Guide

Статья представляет пошаговое руководство по созданию системы оценки AI-продуктов с использованием LLM в роли судьи — методику «Critique Shadowing». Автор, консультировавший более 30 компаний, описыва

LLM Engineering LLM Evals Prompt Engineering
6270 сл.
rss_feed Eugene Yan translateRU

AlignEval: Building an App to Make Evals Easy, Fun, and Automated

Юджин Ян представляет AlignEval — приложение, которое упрощает и автоматизирует создание LLM-оценщиков (LLM-evaluators) и сводит процесс к четырём шагам: загрузить CSV с входами и выходами, разметить

Error Analysis LLM Evals Prototyping
2811 сл.
rss_feed Eugene Yan translateRU

Weights & Biases LLM-Evaluator Hackathon - Hackathon Judge

Eugene Yan выступил судьёй на хакатоне Weights & Biases LLM-Judge Hackathon, где более 100 участников и 15 команд за два дня представили проекты: построение и валидация графов знаний из документов, оц

Ai Products LLM Evals
331 сл.