An Open Course on LLMs, Led by Practitioners

Сегодня мы выпускаем Mastering LLMs — набор воркшопов и докладов от практиков по таким темам, как evals, retrieval-augmented-generation (RAG), fine-tuning и другие. Этот курс уникален, потому что он:

Ведётся более чем 25 ветеранами индустрии, которые являются экспертами в информационном поиске, machine learning, рекомендательных системах, MLOps и data science. Мы обсуждаем, как этот прежний опыт можно применить к LLM, чтобы дать вам значимое преимущество. Сфокусирован на прикладных темах, актуальных для тех, кто создаёт AI-продукты. Бесплатный и открытый для всех .

Мы организовали и снабдили аннотациями доклады из нашего популярного платного курса.1 Это обзорный курс для технических ICs (включая инженеров и data scientist'ов), которые имеют некоторый опыт с LLM и нуждаются в рекомендациях, как улучшить AI-продукты.

Как извлечь максимум пользы из курса

Предварительные требования

Курс предполагает базовое знакомство с LLM. Если у вас нет никакого опыта, мы рекомендуем посмотреть A Hacker’s Guide to LLMs. Мы также рекомендуем туториал Instruction Tuning llama2, если вас интересует fine-tuning 2.

Навигация по материалу

Курс содержит более 40 часов контента. Чтобы помочь вам ориентироваться в нём, мы предоставляем:

Организацию по предметным областям: evals, RAG, fine-tuning, создание приложений и prompt engineering. Резюме глав: быстро просматривайте темы каждого доклада и пропускайте вперёд Заметки, слайды и ресурсы: это материалы, использованные в докладе, а также ресурсы для углублённого изучения. Часто у нас есть и подробные заметки!

Чтобы начать, перейдите на эту страницу и изучите интересующие вас темы. Не стесняйтесь пропускать разделы, которые вам не релевантны. Мы организовали доклады внутри каждой темы так, чтобы улучшить ваш опыт обучения. Обязательно просматривайте резюме глав, заметки и ресурсы — они призваны помочь вам сфокусироваться на наиболее релевантном контенте и углубиться, когда это нужно. Это обзорный курс, а значит мы фокусируемся на знакомстве с темами, а не на глубоком погружении в код. Чтобы закрепить понимание, мы рекомендуем применять изученное к личному проекту.

Что говорят студенты

Вот несколько отзывов от студентов, прошедших курс3:

Sanyam Bhutani, Partner Engineer @ Meta

В 2017 году было волшебное время, когда fastai изменил мир deep learning. Этот курс делает то же самое, распространяя сугубо прикладные знания на LLM. Лучшие в своём деле преподаватели передают вам свои знания без воды

Laurian, Full Stack Computational Linguist

Этот курс был легендарным, остаётся таким и сейчас, а сообщество в Discord потрясающее. Я прошёл эти уроки дважды, и мне придётся сделать это снова, потому что есть так много нюансов, которые вы поймёте только когда сами столкнётесь с этими проблемами на собственном деплое!

Andre, CTO

Потрясающе! Уверенный взгляд на LLM — от инструментов до fine-tuning. Превосходные спикеры, дающие одни из лучших лекций и советов из существующих! Масса реального опыта и подсказок, которые не найти больше нигде в сети, упакованы в этот замечательный курс/воркшоп/конференцию! Спасибо Dan и Hamel за то, что сделали это возможным!

Marcus, Software Engineer

Конференция Mastering LLMs ответила на несколько ключевых вопросов, которые у меня были: когда стоит делать fine-tune базовых моделей, как строить наборы для оценки (evaluation suites) и когда использовать RAG. Сессии дали ценный обзор технических сложностей и соображений, связанных с созданием и развёртыванием кастомных LLM.

Ali, Principal & Founder, SCTY

Курс, который превратился в конференцию, наполненную составом из именитых практиков, чья экспертиза (и вклад в область) уступала разве что их щедрости духа.

Lukas, Software Engineer

Само количество разнообразных спикеров, которые раскрывают одни и те же темы с разных подходов, как восхваляя, так и/или критикуя определённые рабочие процессы, делает это чрезвычайно ценным. Особенно когда много информации в интернете производится теми, кто строит за этим коммерческий продукт, и потому естественным образом смещено в сторону fine-tune, RAG, open source LLM, LLM от open ai и так далее. Довольно необычно иметь такое разнообразие мнений, упакованных вместе. Спасибо!

Оставайтесь на связи

Я непрерывно изучаю LLM и с удовольствием делюсь своими находками и мыслями. Если вам интересно это путешествие, подумайте о подписке.

Чего ожидать:

Периодические письма с моими свежими инсайтами по LLM Ранний доступ к новому контенту Никакого спама — только честные мысли и открытия

Сноски

https://maven.com/parlance-labs/fine-tuning. В нашем первом потоке было более 2000 студентов. Студенты, заплатившие за оригинальный курс, получали ранний доступ к материалам, office hours, щедрые кредиты на вычисления и живое сообщество в Discord.↩︎ Мы считаем, что instruction tuning модели — очень полезный обучающий опыт, даже если вы никогда не собираетесь делать fine-tune, потому что он знакомит вас с такими темами, как (1) работа с моделями с открытыми весами (2) генерация синтетических данных (3) управление промптами (4) fine-tuning (5) и генерация предсказаний.↩︎ Эти отзывы взяты с https://maven.com/parlance-labs/fine-tuning.↩︎