Все · 6

rss_feed Hamel Husain · 15.01.2026 translateRU

LLM Evals: Everything You Need to Know

Статья представляет собой исчерпывающий FAQ по оценке (evals) LLM-приложений, составленный Hamel Husain и Shreya на основе вопросов от 700+ инженеров и продакт-менеджеров. Центральная идея — анализ ош

Data Annotation LLM Evals RAG

10259 сл.

rss_feed Hamel Husain · 15.08.2025 translateRU

Q: Should I build a custom annotation tool or use something off-the-shelf? – Hamel’s Blog - Hamel Husain

Hamel Husain рекомендует создавать собственные инструменты для аннотации данных вместо использования готовых решений. Кастомный инструмент — самая результативная инвестиция в процесс оценки ИИ: команд

Data Annotation LLM Evals Vibe Coding

188 сл.

rss_feed Hamel Husain · 15.08.2025 translateRU

Q: How can I efficiently sample production traces for review? – Hamel’s Blog - Hamel Husain

Хамел Хусейн отвечает на вопрос о том, как эффективно отбирать продакшн-трейсы для ревью, ведь случайный просмотр неэффективен — большинство трейсов не содержат ошибок. Он предлагает несколько стратег

Data Annotation LLM Evals Production Ml

209 сл.

rss_feed Hamel Husain · 15.08.2025 translateRU

Q: How many people should annotate my LLM outputs? – Hamel’s Blog - Hamel Husain

Статья посвящена вопросу о том, сколько людей должны размечать выходные данные LLM. Для большинства малых и средних компаний оптимально назначить одного доменного эксперта — «благожелательного диктато

Ai Adoption Data Annotation LLM Evals

219 сл.

rss_feed Eugene Yan · 12.03.2023 translateRU

How to Write Data Labeling/Annotation Guidelines

Юджин Ян рассказывает, как писать руководства по разметке/аннотированию данных — задача, которая на практике оказывается сложнее, чем просто инструкция. Хорошее руководство должно отвечать на пять воп

Data Annotation Machine Learning Production Ml

1120 сл.

rss_feed Andrej Karpathy · 27.04.2011 translateRU

Lessons learned from manually classifying CIFAR-10

Andrej Karpathy описывает эксперимент по ручной классификации изображений из датасета CIFAR-10 — набора из 50 000 тренировочных и 10 000 тестовых изображений в 10 категориях. Он достиг точности около

Data Annotation Deep Learning Machine Learning

702 сл.