newsmode
search
Меню
Категории
Теги (топ-30)
Источники
Прогресс перевода 1953/2270 · 86%

Applied AI / LLM · 22

rss_feed Hamel Husain translateRU

LLM Evals: Everything You Need to Know – Hamel’s Blog - Hamel Husain

Hamel Husain и Shreya Shankar собрали FAQ по оценке (evals) LLM-приложений на основе вопросов от 700+ инженеров и продакт-менеджеров. Центральная идея — анализ ошибок (error analysis) важнее любой инф

LLM Engineering LLM Evals RAG
10259 сл.
rss_feed Hamel Husain translateRU

Stop Saying RAG Is Dead – Hamel’s Blog - Hamel Husain

Хамель Хусейн (Hamel Husain) вместе с Ben Clavié выпустили открытую серию из 7 частей о том, почему RAG не умер и каким будет его будущее. Упрощённый подход 2023 года — закинуть документы в векторную

Context Engineering LLM Evals RAG
408 сл.
rss_feed Hamel Husain translateRU

P1: I don’t use RAG, I just retrieve documents – Hamel’s Blog - Hamel Husain

В рамках курса LLM Evals Хамел Хусейн пригласил исследователя поиска Бенжамина Клавье (Benjamin Clavié), создателя инструментов RAGatouille и rerankers, чтобы открыть мини-серию из пяти частей об оцен

LLM Evals RAG Vector Search
1209 сл.
rss_feed Hamel Husain translateRU

P7: You Don’t Need a Graph DB (Probably) – Hamel’s Blog - Hamel Husain

Очередная статья из серии Hamel Husain о RAG, основанная на докладе Jo Kristian Bergum — ветерана поиска с 25-летним опытом (Yahoo, Vespa). Главный тезис: серебряной пули не существует, и графовая БД

LLM Engineering RAG Vector Search
1239 сл.
rss_feed Latent Space translateRU

Retrieval After RAG: Hybrid Search, Agents, and Database Design — Simon Hørup Eskildsen of Turbopuffer

Turbopuffer — поисковый движок для неструктурированных данных, выросший из побочного проекта Simon Hørup Eskildsen. Идея родилась, когда он помогал Readwise внедрить рекомендации статей: векторный пои

Ai Infrastructure Product-Market Fit RAG
15268 сл.
rss_feed Hamel Husain translateRU

LLM Evals: Everything You Need to Know

Статья представляет собой исчерпывающий FAQ по оценке (evals) LLM-приложений, составленный Hamel Husain и Shreya на основе вопросов от 700+ инженеров и продакт-менеджеров. Центральная идея — анализ ош

Data Annotation LLM Evals RAG
10259 сл.
rss_feed Hamel Husain translateRU

P6: Context Rot – Hamel’s Blog - Hamel Husain

Исследовательница из Chroma Kelly Hong представила концепцию «Context Rot» — деградации производительности LLM по мере увеличения длины входного контекста. В серии экспериментов над 18 современными мо

Context Engineering LLM Evals RAG
1660 сл.
rss_feed Hamel Husain translateRU

P4: Late Interaction Models For RAG – Hamel’s Blog - Hamel Husain

В четвёртой части мини-серии по оценке и оптимизации RAG в рамках курса LLM Evals Антуан Шаффен из LightOn рассказывает о моделях позднего взаимодействия (late interaction) как альтернативе одновектор

Ai Infrastructure LLM Evals RAG
2326 сл.
rss_feed Hamel Husain translateRU

P3: Optimizing Retrieval with Reasoning Models – Hamel’s Blog - Hamel Husain

В рамках курса LLM Evals Хэмел Хусейн принимал Ориона Веллера из Университета Джонса Хопкинса, который рассказал об интеграции instruction-following и reasoning напрямую в процесс поиска документов дл

Ai Infrastructure LLM Engineering RAG
2966 сл.
rss_feed Hamel Husain translateRU

P5: RAG with Multiple Representations – Hamel’s Blog - Hamel Husain

В заключительной, пятой части мини-серии курса LLM Evals Хамел Хусейн пригласил Брайана Бишофа (Bryan Bischof) и Аюша Чаурасию (Ayush Chaurasia), которые утверждают: эффективный поиск состоит не в нах

AI Agents RAG Vector Search
1292 сл.
rss_feed Eugene Yan translateRU

Training an LLM-RecSys Hybrid for Steerable Recs with Semantic IDs

Юджин Ян описывает эксперимент по обучению гибрида LLM и рекомендательной системы на основе семантических ID — иерархических токенов, заменяющих хеш-идентификаторы товаров. Используя данные Amazon Rev

LLM Engineering RAG Recommendation Systems
4921 сл.
rss_feed Hamel Husain translateRU

Q: How should I approach evaluating my RAG system? – Hamel’s Blog - Hamel Husain

Статья описывает подход к оценке RAG-систем, разделяя их на два компонента: поиск (retrieval) и генерацию. Для поиска рекомендуется использовать классические метрики информационного поиска — Recall@k,

Ai Products LLM Evals RAG
450 сл.
rss_feed Hamel Husain translateRU

Q: Are similarity metrics (BERTScore, ROUGE, etc.) useful for evaluating LLM outputs? – Hamel’s Blog - Hamel Husain

Универсальные метрики вроде BERTScore, ROUGE и косинусного сходства в большинстве AI-приложений бесполезны для оценки выводов LLM. Вместо этого Hamel Husain рекомендует использовать анализ ошибок, что

Error Analysis LLM Evals RAG
201 сл.
rss_feed Eugene Yan translateRU

Evaluating Long-Context Question & Answer Systems

Юджин Ян разбирает, как оценивать Q&A-системы на длинных контекстах — от технической документации до романов и многодокументных сценариев. Ключевые метрики: faithfulness (ответ опирается только на ист

LLM Evals Long Context RAG
5737 сл.
rss_feed Eugene Yan translateRU

Improving Recommendation Systems & Search in the Age of LLMs

Обзор того, как индустриальные рекомендательные системы и поиск эволюционировали за последний год под влиянием больших языковых моделей. Автор разбирает четыре направления: архитектуры с LLM/мультимод

LLM Engineering Ml Engineering RAG
8580 сл.
rss_feed Eugene Yan translateRU

Reflections on AI Engineer Summit 2023

Юджин Ян делится впечатлениями от первого AI Engineer Summit в Сан-Франциско, где он выступил с докладом о строительных блоках для LLM-систем. Главными болевыми точками деплоя, по данным опроса Amplif

LLM Engineering LLM Evals RAG
1467 сл.
rss_feed Eugene Yan translateRU

AI Engineer 2023 Keynote - Building Blocks for LLM Systems

Доклад Eugene Yan на первом AI Engineer Summit 2023 посвящён ключевым строительным блокам для систем на основе LLM: оценкам (evals), RAG, защитным ограничениям (guardrails) и сбору обратной связи. Авт

LLM Engineering LLM Evals RAG
3533 сл.
rss_feed Eugene Yan translateRU

Patterns for Building LLM-based Systems & Products

Юджин Ян (Eugene Yan) разбирает семь ключевых паттернов для интеграции LLM в системы и продукты, расположенных по осям «улучшение качества vs. снижение стоимости/риска» и «ближе к данным vs. ближе к п

LLM Engineering Production Ml RAG
13163 сл.
rss_feed Eugene Yan translateRU

Obsidian-Copilot: An Assistant for Writing & Reflecting

Юджин Ян рассказывает о прототипе Obsidian-Copilot — помощника для письма и рефлексии в Obsidian, построенного на retrieval-augmented generation. Документы из заметок нарезаются на чанки по верхнеуров

Developer Tools LLM Engineering RAG
1357 сл.
rss_feed Eugene Yan translateRU

Experimenting with LLMs to Research, Reflect, and Plan

Eugene Yan описывает эксперименты с LLM, в ходе которых он собрал в Discord набор инструментов-команд: /summarize и /eli5 для краткого пересказа URL, /sql и /sql-agent для запросов к базе, /search для

LLM Engineering Prompt Engineering RAG
2854 сл.