Applied AI / LLM · MarketNews

rss_feed Eugene Yan · 18.08.2024 translateRU

Evaluating the Effectiveness of LLM-Evaluators (aka LLM-as-Judge)

Юджин Ян разбирает использование LLM-оценщиков (LLM-as-a-Judge) — больших языковых моделей, которые оценивают качество ответов других LLM. Опираясь на два десятка статей, он рассматривает ключевые реш

LLM Engineering LLM Evals Production Ml

9822 сл.

rss_feed Hamel Husain · 12.04.2024 translateRU

Debugging AI With Adversarial Validation

Статья описывает метод Adversarial Validation — простой способ обнаружения дрифта (внезапных изменений) в данных для AI/ML-моделей. Суть метода: два набора данных размечаются метками 0 и 1, затем обуч

Data Science LLM Evals Production Ml

640 сл.

rss_feed Hamel Husain · 29.03.2024 translateRU

Your AI Product Needs Evals

Хамель Хусейн, независимый консультант (ранее руководивший командой CodeSearchNet, предшественника GitHub Copilot), утверждает, что главная причина провала LLM-продуктов — отсутствие надёжных систем о

Ai Products LLM Engineering LLM Evals

3831 сл.

rss_feed Hamel Husain · 27.03.2024 translateRU

Is Fine-Tuning Still Valuable?

Hamel Husain делится мнением о ценности fine-tuning на фоне растущего скептицизма в сообществе. Он считает, что многие критики работают над продуктами, где fine-tuning заведомо не нужен: инструменты д

LLM Engineering LLM Evals RAG

537 сл.

rss_feed Eugene Yan · 05.11.2023 translateRU

Out-of-Domain Finetuning to Bootstrap Hallucination Detection

Статья описывает метод улучшения детекции галлюцинаций (фактических несоответствий) в текстовых резюме с помощью дофайнтюнинга на данных из другого домена. Автор использует модель BART, дофайнтюненную

Hallucination Detection LLM Evals Machine Learning

2265 сл.

rss_feed Eugene Yan · 15.10.2023 translateRU

Reflections on AI Engineer Summit 2023

Юджин Ян делится впечатлениями от первого AI Engineer Summit в Сан-Франциско, где он выступил с докладом о строительных блоках для LLM-систем. Главными болевыми точками деплоя, по данным опроса Amplif

LLM Engineering LLM Evals RAG

1467 сл.

rss_feed Eugene Yan · 09.10.2023 translateRU

AI Engineer 2023 Keynote - Building Blocks for LLM Systems

Доклад Eugene Yan на первом AI Engineer Summit 2023 посвящён ключевым строительным блокам для систем на основе LLM: оценкам (evals), RAG, защитным ограничениям (guardrails) и сбору обратной связи. Авт

LLM Engineering LLM Evals RAG

3533 сл.

rss_feed Eugene Yan · 13.08.2023 translateRU

How to Match LLM Patterns to Problems

Статья Eugene Yan — продолжение его обзора паттернов работы с LLM. Автор классифицирует модели на внешние (сторонние API) и внутренние (self-hosted), а паттерны — по степени зависимости от данных. Дал

LLM Engineering LLM Evals Production Ml

1195 сл.

rss_feed Eugene Yan · 19.03.2023 translateRU

LLM-powered Biographies

Вдохновлённый твитом Линуса, Юджин Ян (Eugene Yan) из любопытства попросил несколько LLM написать его биографию, чтобы понять, на чём они обучены и как работают. Он сравнивает результаты gpt-4, gpt-3.

Frontier Models Hallucination Detection LLM Evals

2194 сл.

rss_feed Andrej Karpathy · 02.09.2014 translateRU

What I learned from competing against a ConvNet on ImageNet

Андрей Карпати рассказывает, как он лично соревновался с свёрточной нейросетью GoogLeNet на задаче классификации ImageNet (ILSVRC 2014). GoogLeNet показал ошибку Hit@5 в 6.7% на тестовом наборе из 1.2

Deep Learning LLM Evals Machine Learning

2819 сл.

#LLM Evals · 82

Evaluating the Effectiveness of LLM-Evaluators (aka LLM-as-Judge)

Debugging AI With Adversarial Validation

Your AI Product Needs Evals

Is Fine-Tuning Still Valuable?

Out-of-Domain Finetuning to Bootstrap Hallucination Detection

Reflections on AI Engineer Summit 2023

AI Engineer 2023 Keynote - Building Blocks for LLM Systems

How to Match LLM Patterns to Problems

LLM-powered Biographies

What I learned from competing against a ConvNet on ImageNet