Is Fine-Tuning Still Valuable?
Hamel Husain делится мнением о ценности fine-tuning на фоне растущего скептицизма в сообществе. Он считает, что многие критики работают над продуктами, где fine-tuning заведомо не нужен: инструменты д
Hamel Husain делится мнением о ценности fine-tuning на фоне растущего скептицизма в сообществе. Он считает, что многие критики работают над продуктами, где fine-tuning заведомо не нужен: инструменты д
Статья Hamel Husain посвящена проблеме непрозрачности LLM-фреймворков (Guardrails, Guidance, LangChain, Instructor, DSPy), которые переписывают или конструируют промпты за пользователя, скрывая реальн
Юджин Ян делает обзор того, как генерировать и использовать синтетические данные для дообучения языковых моделей. Существуют два основных подхода: дистилляция знаний из более сильной модели-учителя и
Eugene Yan делится списком для чтения по языковому моделированию, составленным в рамках еженедельного клуба статей. Подборка включает около 50 фундаментальных работ — от Attention Is All You Need и се
Eugene Yan подводит итоги 2023 года: он написал 20 статей (вместо запланированных 26), активно изучал LLM — от прототипов Discord-ботов и Obsidian-копилота до тонкой настройки классификаторов галлюцин
Юджин Ян делится впечатлениями от первого AI Engineer Summit в Сан-Франциско, где он выступил с докладом о строительных блоках для LLM-систем. Главными болевыми точками деплоя, по данным опроса Amplif
Доклад Eugene Yan на первом AI Engineer Summit 2023 посвящён ключевым строительным блокам для систем на основе LLM: оценкам (evals), RAG, защитным ограничениям (guardrails) и сбору обратной связи. Авт
Статья Eugene Yan — продолжение его обзора паттернов работы с LLM. Автор классифицирует модели на внешние (сторонние API) и внутренние (self-hosted), а паттерны — по степени зависимости от данных. Дал
Юджин Ян (Eugene Yan) разбирает семь ключевых паттернов для интеграции LLM в системы и продукты, расположенных по осям «улучшение качества vs. снижение стоимости/риска» и «ближе к данным vs. ближе к п
Юджин Ян рассказывает о прототипе Obsidian-Copilot — помощника для письма и рефлексии в Obsidian, построенного на retrieval-augmented generation. Документы из заметок нарезаются на чанки по верхнеуров
Юджин Ян даёт интуитивное объяснение механизма внимания (attention) и архитектуры Transformer для тех, кто уже прочитал статью «Attention Is All You Need» и в общих чертах знаком с темой. Автор показы
Юджин Ян описывает свой эксперимент raspberry-llm: Raspberry Pico с e-ink экраном, который получает RSS-ленты WSJ и HackerNews, обращается к сторонним LLM API и генерирует контент в разных стилях — от
Eugene Yan описывает эксперименты с LLM, в ходе которых он собрал в Discord набор инструментов-команд: /summarize и /eli5 для краткого пересказа URL, /sql и /sql-agent для запросов к базе, /search для
Юджин Ян кратко прослеживает эволюцию NLP для обучения с учителем с 1985 по 2020 год. Он начинает с последовательных моделей — RNN (1985), LSTM (1997) и GRU (2014), — а затем переходит к словным эмбед