Applied AI / LLM · 691

Q: Should I outsource annotation & labeling to a third party? – Hamel’s Blog - Hamel Husain

Q: How should I approach evaluating my RAG system? – Hamel’s Blog - Hamel Husain

Статья описывает подход к оценке RAG-систем, разделяя их на два компонента: поиск (retrieval) и генерацию. Для поиска рекомендуется использовать классические метрики информационного поиска — Recall@k,

Q: How much time should I spend on model selection? – Hamel’s Blog - Hamel Husain

Хамель Хусейн отвечает на частый вопрос разработчиков LLM-приложений: сколько времени тратить на выбор модели. Его позиция — большинство фиксируется на смене модели как на главном способе улучшения си

Q: How many people should annotate my LLM outputs? – Hamel’s Blog - Hamel Husain

Статья посвящена вопросу о том, сколько людей должны размечать выходные данные LLM. Для большинства малых и средних компаний оптимально назначить одного доменного эксперта — «благожелательного диктато

Q: How are evaluations used differently in CI/CD vs. monitoring production? – Hamel’s Blog - Hamel Husain

Главное различие между оценкой в CI и в продакшене — это данные, на которых проводится тестирование. Тестовые наборы для CI небольшие (часто 100+ примеров) и создаются целенаправленно: они покрывают о

Q: Are similarity metrics (BERTScore, ROUGE, etc.) useful for evaluating LLM outputs? – Hamel’s Blog - Hamel Husain

Универсальные метрики вроде BERTScore, ROUGE и косинусного сходства в большинстве AI-приложений бесполезны для оценки выводов LLM. Вместо этого Hamel Husain рекомендует использовать анализ ошибок, что

Q: How much of my development budget should I allocate to evals? – Hamel’s Blog - Hamel Husain

Хамель Хусейн объясняет, что оценка (evals) — это не отдельная статья бюджета, а часть процесса разработки, подобно отладке в программировании. По его опыту, на error analysis и оценку уходит 60–80% в

Q: Should I build automated evaluators for every failure mode I find? – Hamel’s Blog - Hamel Husain

Хамэль Хусейн отвечает на вопрос, стоит ли строить автоматические оценщики (evaluators) для каждого найденного режима отказа LLM. Главный совет — сначала устранять очевидные пробелы через доработку пр

Q: Should I use “ready-to-use” evaluation metrics? – Hamel’s Blog - Hamel Husain

Хамел Хусейн отвечает: не стоит использовать готовые («prefab») метрики оценки LLM-систем — они тратят время и создают ложную уверенность, если только вы не применяете их для разведки. Библиотеки оцен

Q: What makes a good custom interface for reviewing LLM outputs? – Hamel’s Blog - Hamel Husain

Хамель Хусейн объясняет, каким должен быть удобный кастомный интерфейс для ручного просмотра выходов LLM. Он рекомендует строить собственный инструмент аннотации под конкретный домен и приводит четыре

Q: What’s the difference between guardrails & evaluators? – Hamel’s Blog - Hamel Husain

Q: Why do you recommend binary (pass/fail) evaluations instead of 1-5 ratings (Likert scales)? – Hamel’s Blog - Hamel Husain

Хамел Хусейн объясняет, почему он рекомендует бинарные (pass/fail) оценки вместо шкал Лайкерта (рейтинги 1-5) при оценке LLM. Инженеры считают, что шкалы 1-5 дают больше информации и позволяют отслежи

GPT-5: It Just Does Stuff

The Bitter Lesson versus The Garbage Can

programming languages – Hamel’s Blog - Hamel Husain

Хамел Хусейн делится главными выводами после прохождения трёхчастного курса Coursera «Programming Languages» Дэна Гроссмана; код его (приватного) репозитория лежит на GitHub. В части A изучается Stand

Function Calling – Hamel’s Blog - Hamel Husain

Curating LLM data – Hamel’s Blog - Hamel Husain

Hamel Husain рассказывает, почему стоит создавать собственные инструменты для разметки и курирования данных при работе с LLM, а не полагаться на готовые вендорские решения. Он перепробовал Spacy Prodi

Estimating vRAM – Hamel’s Blog - Hamel Husain

Хэмел Хусейн делится практическими формулами для прикидочной оценки объёма vRAM, необходимого для обучения и инференса LLM. Он отталкивается от калькулятора Зака Мюллера и дополняет его поправками на

Evals: Doing Error Analysis Before Writing Tests – Hamel’s Blog - Hamel Husain

Хамел Хусейн разбирает на 20-минутной консультации по LLM-evals случай Али, который оценивает SMS-приложение для неоплачиваемых сиделок, ухаживающих за пожилыми родителями или детьми с инвалидностью.

Open Office Hours – Hamel’s Blog - Hamel Husain

Hamel Husain проводит открытые консультационные часы, на которых отвечает на вопросы о больших языковых моделях (LLM). Формат открыт для всех желающих, записаться можно через Calendly.

Tame Complexity By Scoping LLM Evals – Hamel’s Blog - Hamel Husain

Заметки с открытых офисных часов Hamel Husain по LLM Evals: разбор реального кейса с Maggie из стартапа Sunday, предлагающего персонализированные подписки на уход за газоном. Команда построила чат-бот

pandoc filters – Hamel’s Blog - Hamel Husain

Заметка Hamel Husain посвящена фильтрам pandoc и их применению при конвертации Jupyter-ноутбуков (ipynb) в Markdown. Автор упоминает два Python-пакета — panflute (рекомендуется) и pandocfilters — и со

Syntax Highlighting – Hamel’s Blog - Hamel Husain

Заметка Hamel Husain объясняет, как работает подсветка синтаксиса в Quarto, которая опирается на механизм подсветки pandoc. Разбираются две ключевые концепции: цветовые темы синтаксиса (настраиваются

Listings from data – Hamel’s Blog - Hamel Husain

Заметка Hamel Husain показывает, что для создания listing (списка) на странице Quarto необязательно иметь сами посты в блоге. Достаточно скомбинировать три YAML-файла: blog/_metadata.yml с настройками