Все · 2270

The Rise of the Software Creator

Автор утверждает, что эпоха ИИ не убивает софт, а открывает новую эру — по аналогии с медиа-индустрией, где после демократизации появились контент-креейторы. Подобно им возникнет класс «software creat

AI Startups Keep Forgetting This One Thing with Gemma Galdon Clavell

AI-стартапы часто забывают, что Product-Market Fit в сфере ИИ — это не только работающая технология, но и доверие. Gemma Galdon-Clavell, основательница Eticas AI, и Collin Stewart обсуждают, почему со

Announcing The AI Agent Blueprint

Intercom (Fin) анонсирует «The AI Agent Blueprint» — стратегическое руководство для лидеров поддержки, CX и AI-трансформации. Компания убеждена, что AI-агенты вскоре будут обрабатывать большинство обр

AI for Enhancement, Not Replacement with Jabeen Zaidi - Predictable Revenue

Джабин Зейди, основательница Spring AI, рассказала в подкасте Predictable Revenue, как её стартап нашёл свою нишу на фоне AI-хайпа, конкурируя с гигантами вроде Adobe и Canva. Главный урок — первые 90

Q: How do I make the case for investing in evaluations to my team? – Hamel’s Blog - Hamel Husain

A Field Guide to Rapidly Improving AI Products – Hamel’s Blog - Hamel Husain

Hamel Husain, консультант с опытом работы с более чем 30 компаниями, описывает ключевые практики быстрого улучшения AI-продуктов. Главная ошибка команд — фокус на инструментах и фреймворках вместо ана

Q: What is the best approach for generating synthetic data? – Hamel’s Blog - Hamel Husain

Q: Should product managers and engineers collaborate on error analysis? How? – Hamel’s Blog - Hamel Husain

Хамель Хусейн отвечает на вопрос, должны ли продакт-менеджеры и инженеры вместе заниматься анализом ошибок LLM-систем. На старте им стоит совместно выстраивать общий контекст: инженеры ловят техническ

Q: Should I build a custom annotation tool or use something off-the-shelf? – Hamel’s Blog - Hamel Husain

Hamel Husain рекомендует создавать собственные инструменты для аннотации данных вместо использования готовых решений. Кастомный инструмент — самая результативная инвестиция в процесс оценки ИИ: команд

Q: How do I surface problematic traces for review beyond user feedback? – Hamel’s Blog - Hamel Husain

Статья из FAQ по оценке LLM описывает три подхода к поиску проблемных трейсов помимо пользовательской обратной связи. Первый — случайная выборка трейсов с последующим стресс-тестированием. Второй — ис

Q: How do I justify evaluation time and budget to management? – Hamel’s Blog - Hamel Husain

Статья из FAQ по оценке LLM-приложений от Hamel Husain объясняет, как обосновать перед руководством время и бюджет на evaluation. Рекомендуется вести журнал всех обнаруженных ошибок, документировать и

Q: How do I evaluate complex multi-step workflows? – Hamel’s Blog - Hamel Husain

Хамел Хусейн объясняет, как оценивать сложные многошаговые рабочие процессы на основе LLM. Ключевая рекомендация — логировать весь процесс от исходного триггера до итогового бизнес-результата, включая

Q: How do I debug multi-turn conversation traces? – Hamel’s Blog - Hamel Husain

Q: How do I approach evaluation when my system handles diverse user queries? – Hamel’s Blog - Hamel Husain

Хамел Хусейн отвечает на вопрос о том, как подходить к оценке системы, обрабатывающей разнородные пользовательские запросы — от простых вопросов о политике возврата до сложных аналитических сравнений.

Q: Are there scenarios where synthetic data may not be reliable? – Hamel’s Blog - Hamel Husain

Да, синтетические данные могут вводить в заблуждение или маскировать проблемы. Hamel Husain перечисляет типичные сценарии, где они подводят: сложный предметно-специфичный контент (юридические, медицин

Q: How can I efficiently sample production traces for review? – Hamel’s Blog - Hamel Husain

Хамел Хусейн отвечает на вопрос о том, как эффективно отбирать продакшн-трейсы для ревью, ведь случайный просмотр неэффективен — большинство трейсов не содержат ошибок. Он предлагает несколько стратег

Q: How do I evaluate agentic workflows? – Hamel’s Blog - Hamel Husain

Хэмел Хусейн рекомендует оценивать агентные workflow в два этапа. Сначала — сквозной успех задачи: агент рассматривается как чёрный ящик, для каждой задачи задаётся точное правило успеха, а оценку про

Q: How do I evaluate sessions with human handoffs? – Hamel’s Blog - Hamel Husain

Статья объясняет, как правильно оценивать сессии с передачей управления от ИИ к человеку. Рекомендуется фиксировать полный путь пользователя в трейсах, включая момент передачи, её причину, переданный

Q: How often should I re-run error analysis on my production system? – Hamel’s Blog - Hamel Husain

Эррор-анализ продакшн-системы стоит повторять при значимых изменениях: новых фичах, обновлениях промптов, смене модели или крупных багфиксах. Полезный ориентир — просматривать минимум 100+ свежих трей

Q: Should I practice eval-driven development? – Hamel’s Blog - Hamel Husain

Hamel Husain отвечает на вопрос, стоит ли практиковать eval-driven development — подход, при котором оценочные метрики для LLM пишутся до реализации фич. Он считает, что в большинстве случаев это не р

Q: What are LLM Evals? – Hamel’s Blog - Hamel Husain

Это вводный материал из FAQ Хамеля Хусейна об оценке LLM (LLM evals), посвящённый именно продуктовым оценкам, а не бенчмаркам базовых моделей. Автор отсылает к трём своим статьям: «Your AI Product Nee

Q: What is a trace? – Hamel’s Blog - Hamel Husain

Трейс (trace) — это полная запись всех действий, сообщений, вызовов инструментов и извлечений данных, начиная с одного исходного запроса пользователя и заканчивая финальным ответом. Он охватывает кажд

Q: What should go in the system prompt vs. the user prompt? – Hamel’s Blog - Hamel Husain

Хамель Хусейн отвечает на вопрос, что помещать в системный промпт, а что — в пользовательский. Главный совет: ничто не заменит эксперимента — тестируйте оба варианта (в идеале с evals) на своей модели

Q: What parts of evals can be automated with LLMs? – Hamel’s Blog - Hamel Husain

Хамель Хусейн отвечает на вопрос, какие части работы с оценками (evals) можно автоматизировать с помощью LLM. Главный тезис: LLM ускоряют рабочий процесс, но не заменяют человеческое суждение и экспер