Все · 2270

Q: Should I stop writing prompts manually in favor of automated tools? – Hamel’s Blog - Hamel Husain

Hamel Husain рассуждает о том, стоит ли отказываться от ручного написания промптов в пользу автоматизированных инструментов. Он предостерегает от преждевременной автоматизации: написание промптов вруч

Q: Should I outsource annotation & labeling to a third party? – Hamel’s Blog - Hamel Husain

Q: How should I approach evaluating my RAG system? – Hamel’s Blog - Hamel Husain

Статья описывает подход к оценке RAG-систем, разделяя их на два компонента: поиск (retrieval) и генерацию. Для поиска рекомендуется использовать классические метрики информационного поиска — Recall@k,

Q: How much time should I spend on model selection? – Hamel’s Blog - Hamel Husain

Хамель Хусейн отвечает на частый вопрос разработчиков LLM-приложений: сколько времени тратить на выбор модели. Его позиция — большинство фиксируется на смене модели как на главном способе улучшения си

Q: How many people should annotate my LLM outputs? – Hamel’s Blog - Hamel Husain

Статья посвящена вопросу о том, сколько людей должны размечать выходные данные LLM. Для большинства малых и средних компаний оптимально назначить одного доменного эксперта — «благожелательного диктато

Q: How are evaluations used differently in CI/CD vs. monitoring production? – Hamel’s Blog - Hamel Husain

Главное различие между оценкой в CI и в продакшене — это данные, на которых проводится тестирование. Тестовые наборы для CI небольшие (часто 100+ примеров) и создаются целенаправленно: они покрывают о

Q: Are similarity metrics (BERTScore, ROUGE, etc.) useful for evaluating LLM outputs? – Hamel’s Blog - Hamel Husain

Универсальные метрики вроде BERTScore, ROUGE и косинусного сходства в большинстве AI-приложений бесполезны для оценки выводов LLM. Вместо этого Hamel Husain рекомендует использовать анализ ошибок, что

Q: How much of my development budget should I allocate to evals? – Hamel’s Blog - Hamel Husain

Хамель Хусейн объясняет, что оценка (evals) — это не отдельная статья бюджета, а часть процесса разработки, подобно отладке в программировании. По его опыту, на error analysis и оценку уходит 60–80% в

Q: Should I build automated evaluators for every failure mode I find? – Hamel’s Blog - Hamel Husain

Хамэль Хусейн отвечает на вопрос, стоит ли строить автоматические оценщики (evaluators) для каждого найденного режима отказа LLM. Главный совет — сначала устранять очевидные пробелы через доработку пр

Q: Should I use “ready-to-use” evaluation metrics? – Hamel’s Blog - Hamel Husain

Хамел Хусейн отвечает: не стоит использовать готовые («prefab») метрики оценки LLM-систем — они тратят время и создают ложную уверенность, если только вы не применяете их для разведки. Библиотеки оцен

Q: What makes a good custom interface for reviewing LLM outputs? – Hamel’s Blog - Hamel Husain

Хамель Хусейн объясняет, каким должен быть удобный кастомный интерфейс для ручного просмотра выходов LLM. Он рекомендует строить собственный инструмент аннотации под конкретный домен и приводит четыре

Q: What’s the difference between guardrails & evaluators? – Hamel’s Blog - Hamel Husain

Q: Why do you recommend binary (pass/fail) evaluations instead of 1-5 ratings (Likert scales)? – Hamel’s Blog - Hamel Husain

Хамел Хусейн объясняет, почему он рекомендует бинарные (pass/fail) оценки вместо шкал Лайкерта (рейтинги 1-5) при оценке LLM. Инженеры считают, что шкалы 1-5 дают больше информации и позволяют отслежи

Sales Leaders Are Doing It All Wrong with Ajay Singh - Predictable Revenue

В выпуске The Predictable Revenue Podcast Ajay Singh, основатель Pepsales, рассказывает Collin, как его команда провела более 200 discovery-звонков, прежде чем написать первую строчку кода, и как это

Create Rituals, Not Habits

Product vs. Production

Define the Game

Автор размышляет о ценности «определённых игр» — сфер с чёткими правилами и понятной иерархией успеха, как в теннисе. В теннисе легко понять, насколько ты хорош: гранд-слэмы, рейтинг №1, меритократичн

Unbundling Cash & Equity

Full-Stack Something

Автор размышляет о ценности быть «full-stack» в своей области — то есть способным самостоятельно делать всю работу от начала до конца. В писательстве ему нравится, что весь цикл — идея, черновик, реда

Big TAM Founders, Small TAM Startups

Теория №19 утверждает, что один из способов повысить шансы стартапа на успех — быть основателем с большим TAM, работающим над стартапом с меньшим TAM. Вместо привычной максимизации (самый большой рыно

The "High Potential" Handicap

Автор размышляет о ловушке ярлыка «высокий потенциал», который часто навешивают на «умных» детей. Такая характеристика создаёт ложную идентичность: человек начинает определять себя через воображаемое

Don't Build a Social Network, Build a Social Utility

Эссе из серии Working Theorys (Теория №21) утверждает, что не каждый социальный продукт должен быть социальной сетью. Автор считает, что сейчас неподходящее время строить новую соцсеть: рынок насыщен

Digital tug-of-war

On Airchat

Автор делится первыми впечатлениями от Airchat 2.0 — новой социальной сети с асинхронными короткими голосовыми сообщениями, запустившейся пять дней назад. Это первый в этом году заметный кандидат на р