How to Run a Weekly Paper Club (and Build a Learning Community)

eugeneyan

Начните отсюда Статьи Выступления Прототипы Обо мне

Как проводить еженедельный paper club (и построить сообщество для совместного обучения)

[ learning productivity mechanism ] · 6 мин чтения

За последние 18 месяцев у Latent Space Paper Club сложилась непрерывная серия — мы проводили paper club каждую неделю без исключения. Это как минимум 80 статей, а с учётом недель, когда мы разбирали связанные работы (например, LoRA + QLoRA), вероятно, больше. Вместе мы заранее читали и обсуждали по одной статье в неделю, охватывая основы вроде:

Ключевые компоненты: Attention, LayerNorm, FlashAttention, LoRA/QLoRA, ALiBi, RoPE Модели: Transformer, BERT, T5, GPTs, Codex, LLaMAs, Mistral, CLIP, ViT, RWKV, Jamba, Mamba, Latent Consistency Models, Whisper, Moshi, Molmo, TimeGPT Обучение: InstructGPT, RLHF, RLAIF/CAI, PPO, REST, SPIN, Self-Play, Upcycling Инференс: Speculative Decoding, Writing in the Margins, Test-time Compute Тренды: Scaling Laws, Chinchilla, 1-bit, Synthetic Data, Gorilla, Generative Agents Практика: RAG, EvalGen, DocETL, LLama Guard, Copilot, Finetuning vs. RAG

Если хотите начать, вот подборка значимых статей за год.

Это дало нам фундамент, чтобы понимать, как работают эти техники и модели, строить на их основе системы и приложения, применять их в работе и личных проектах. Но дело не только в технических знаниях. Мы также учились у практиков, которые делились внутренним опытом, заводили друзей на офлайн-встречах и растили сообщество учеников и создателей.

Мы хотим, чтобы вы тоже могли воспользоваться этим. Поэтому и написали этот гайд: чтобы помочь вам запустить свой paper club и учиться — вместе — со своими коллегами.

Смотрите также версию от Swyx/Latent Space, где есть (i) советы по подбору статей, (ii) видеоразбор подготовки к чтению трёх статей и слайдов, (iii) записи paper club по Llama 3.1 и Molmo и многое другое.

Как Latent Space Paper Club появился около 18 месяцев назад

Что происходит на paper club (и не остаётся в его стенах)

Одно и то же время каждую неделю. Каждую среду мы собираемся на час в обеденное время (12:00 PST), чтобы обсудить заранее выбранную статью. Если придерживаться одного и того же времени, проще помнить о встрече и приходить. К тому же еженедельный ритм помогает выработать привычку.

Предварительное чтение. Чтение статьи заранее помогает выжать из сессии максимум. Обычно я читаю по выходным около часа. Это помогает понять, что мне непонятно, и заранее наметить, что прояснить в ходе встречи. А ещё я лучше готов делиться инсайтами и помогать другим разобраться в материале. По опыту, если пропустить предварительное чтение, ценность от обсуждения падает на ~80% или больше.

Да, пожалуйста, прочитайте статью заранее

Ведение встречи. Каждую неделю доброволец проводит группу по статье, рассказывая о мотивации, релевантной литературе, методологии, результатах и т. д. Обычно это занимает около 45 минут, с паузами после каждого раздела для коротких вопросов. Последние 15 минут — свободная дискуссия: обсуждаем выводы статьи, связываем её с другими работами и/или думаем, как применить идеи у себя в работе и в индустрии в целом.

Некоторые ведущие готовят простые слайды с ключевыми графиками и выводами, но это не обязательно. Лично мне лень делать слайды, и я просто шарю экран с размеченной статьёй — с выделениями и заметками.

Как провести paper club (с минимальными усилиями)

Выбор статей. Ведущий сам выбирает, какую статью обсуждать, в рамках общей темы. Наш paper club сосредоточен на языковом моделировании, но иногда мы заглядываем и в ключевые работы из других областей: vision (например, CLIP, ViT, LCMs), audio (например, Whisper, Moshi) и RL (например, DPO, PPO).

СОВЕТ: В начале каждой сессии спрашивайте, кто хочет быть ведущим на следующей неделе. Это избавляет от лихорадочного поиска ведущего и статьи в последний момент.

Расписание. Мы используем Luma для управления событиями, но там нет поддержки повторяющихся встреч. Пробовали и события в Discord, но они видны только тем, кто внутри Discord. Если знаете решение получше — поделитесь!

Площадка. Сессии проводим на платном аккаунте Zoom (спасибо, Swyx!). Какое-то время пробовали Discord Stages, но столкнулись с проблемами при шаринге экрана и просмотре.

Записи. Мы записываем только основную часть с ведущим (через Zoom), но не Q&A. Не записывая Q&A, мы рассчитываем, что люди охотнее поделятся своим опытом и «теневыми» знаниями (которые порой основаны на их работе). Это также мотивирует приходить вживую и участвовать в Q&A, что, на мой взгляд, и есть главная ценность paper club.

Сообщество. Наш paper club начинался как небольшая группа людей, которые решили каждую неделю разбирать важную статью и параллельно подтягивать друг друга по языковому моделированию. Со временем мы выросли в ядро из ведущих и постоянных участников (Swyx, Vibhu, Eugene Cheah, Amgad, Eric, RJ и др.). Включая меня самого, эта критическая масса позволяет нам ротироваться примерно раз в два месяца, хотя новые добровольцы всегда приветствуются!

Приглашённые авторы. Иногда мы зовём авторов поделиться своей работой и имели удовольствие принимать команды Llama, Matryoshka Embeddings, Writing in the Margins, TimeGPT и др. Также приглашали Shreya и Nathan присоединиться к обсуждению их статей. Присутствие авторов на paper club позволяет уточнять у них вопросы напрямую, а сами авторы делятся закулисными подробностями. Например, от Nathan мы узнали, почему Molmo уделяет столько внимания аналоговым часам.

Как прочитать статью (за час)

Как читать статьи. Если чтение академических работ даётся вам тяжело, вы не одни. Мне хорошо подошёл подход трёх проходов (видео):

Сначала бегло пробегитесь по статье, чтобы понять общую идею (~10 минут) Затем прочитайте, чтобы уловить ключевые тезисы, но не вникайте в детали (~1 час) Наконец, разберитесь в статье вглубь и сделайте заметки (3–6 часов)

Чаще всего, если вы не пытаетесь воспроизвести статью, хватает двух проходов. Тем не менее для paper club я обычно углубляюсь в методологию и результаты. Вот мой разбор того, как применять подход трёх проходов.

Инструменты. С Zotero удобно сохранять статьи в свою библиотеку. Там же есть встроенные инструменты разметки — для выделений и аннотаций. А если попадаются незнакомые термины или непонятные математические формулы, сделайте скриншот и попросите Claude объяснить!

Как вести paper club (даже если делаете это впервые)

Темы. Проводя группу по статье, фокусируйтесь на следующих ключевых аспектах.

Мотивация: Чем важна эта статья? Какую проблему она решает? Методология: Как именно работа подходит к этой проблеме? Результаты: Каковы ключевые находки и достижения? Ablations (если есть): Что сработало, что нет и почему? Связанные работы: Чем эта работа улучшает предыдущие?

Формат. Большинство ведущих просто проходят по PDF со своими выделениями и заметками. Другие готовят простые слайды с ключевыми графиками и таблицами, чтобы сфокусировать внимание. Жёстких правил нет — делайте так, как удобнее вам как ведущему.

• • •

Участие в еженедельном paper club означает разбор ~50 статей в год. Всего два часа в неделю — час на предварительное чтение и час на обсуждение — это около 100 часов (4 дня) в год. И эти минимальные усилия, скорее всего, помещают вас в топ-5% AI-инженеров и топ-0,1% населения мира по уровню знаний в области AI.

Так чего же вы ждёте? Запустите свой paper club или приходите в Latent Space!

Если этот текст оказался вам полезен, пожалуйста, цитируйте его так:

Yan, Ziyou. (Nov 2024). How to Run a Weekly Paper Club (and Build a Learning Community). eugeneyan.com. https://eugeneyan.com/writing/paper-club/.

или

@article{yan2024paperclub, title = {How to Run a Weekly Paper Club (and Build a Learning Community)}, author = {Yan, Ziyou}, journal = {eugeneyan.com}, year = {2024}, month = {Nov}, url = {https://eugeneyan.com/writing/paper-club/} }

К нам присоединились уже 11 800+ читателей, получающих обновления о machine learning, RecSys, LLM и инженерии.