Language Modeling Reading List (to Start Your Paper Club)

eugeneyan

eugeneyan

Начните здесь Статьи Выступления Прототипы Обо мне

Language Modeling Reading List (to Start Your Paper Club)

Список литературы по языковому моделированию (чтобы запустить свой клуб статей)

[ llm learning ] · 6 min read

[ llm learning ] · 6 мин. чтения

Some friends and I started a weekly paper club to read and discuss fundamental papers in language modeling. By pooling together our shared knowledge, experience, and questions, we learned more as a group than we could have individually. To encourage others to do the same, here’s a year’s worth of language modelingpapers and a one-sentence summary for each. (Also, why and how to read papers.)

Мы с друзьями запустили еженедельный клуб статей, чтобы читать и обсуждать фундаментальные работы по языковому моделированию. Объединив наши знания, опыт и вопросы, мы узнали в группе больше, чем смогли бы поодиночке. Чтобы вдохновить остальных сделать то же самое, вот подборка статей по языковому моделированию на целый год с кратким описанием каждой в одно предложение. (А ещё — зачем и как читать научные статьи.)

See an error or have a paper to suggest? Raise a PR or issue here!

Нашли ошибку или хотите предложить статью? Создайте PR или issue здесь!

• • •

• • •

Attention Is All You Need: Query, Key и Value — это всё, что вам нужно* (*А ещё позиционные эмбеддинги, множественные головы внимания, полносвязные слои, skip-соединения и т. д.) GPT: Improving Language Understanding by Generative Pre-Training: Декодер — это всё, что вам нужно* (*А ещё предобучение + дообучение) BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding: Энкодер — это всё, что вам нужно*. Языковое моделирование слева направо — это НЕ всё, что вам нужно. (*А ещё предобучение + дообучение) T5: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer: Только энкодер или только декодер — это НЕ всё, что вам нужно, зато формат text-to-text — это всё, что нужно* (*А ещё предобучение + дообучение) GPT2: Language Models are Unsupervised Multitask Learners: Неконтролируемое предобучение — это всё, что вам нужно?! GPT3: Language Models are Few-Shot Learners: Неконтролируемое предобучение + несколько* примеров — это всё, что вам нужно. (*От 5 примеров в Conversational QA до 50 примеров в Winogrande, PhysicalQA и TriviaQA) Scaling Laws for Neural Language Models: Более крупные модели, обученные на меньшем объёме данных* — вот что вам нужно. (*10-кратное увеличение вычислений следует направить на модель в 5,5 раз больше и в 1,8 раза больше токенов) Chinchilla: Training Compute-Optimal Large Language Models: Модели поменьше, обученные на большем количестве данных* — вот что вам нужно. (*10-кратное увеличение вычислений следует направить на модель в 3,2 раза больше и в 3,2 раза больше токенов) LLaMA: Open and Efficient Foundation Language Models: Модели поменьше, обученные подольше — на открытых данных — это всё, что вам нужно InstructGPT: Training language models to follow instructions with human feedback: 40 аннотаторов — это всё, что вам нужно* (*Плюс supervised fine-tuning, моделирование награды и PPO) LoRA: Low-Rank Adaptation of Large Language Models: Один ранг — это всё, что вам нужно QLoRA: Efficient Finetuning of Quantized LLMs: 4 бита — это всё, что вам нужно* (*Плюс двойная квантизация и paged-оптимизаторы) DPR: Dense Passage Retrieval for Open-Domain Question Answering: Плотные эмбеддинги — это всё, что вам нужно* (*А ещё высокоточный поиск) RAG: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks: Полупараметрические модели* — это всё, что вам нужно (*Плотный векторный поиск как непараметрическая компонента; предобученный LLM как параметрическая компонента) RETRO: Improving language models by retrieving from trillions of tokens: Поиск по входным чанкам и chunked cross attention — это всё, что вам нужно Internet-augmented language models through few-shot prompting for open-domain question answering: Google Search в качестве поиска — это всё, что вам нужно HyDE: Precise Zero-Shot Dense Retrieval without Relevance Labels: Гипотетические документы, сгенерированные LLM, — это всё, что вам нужно FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness: Циклы for в SRAM — это всё, что вам нужно ALiBi; Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation: Постоянное смещение в скалярном произведении query-key — это всё, что вам нужно* (*А ещё гиперпараметр m и кешированные представления Q, K, V) Codex: Evaluating Large Language Models Trained on Code: Дообучение на коде — это всё, что вам нужно Layer Normalization: Стабильные среднее и дисперсия на каждом слое — это всё, что вам нужно On Layer Normalization in the Transformer Architecture: Pre-layer norm вместо post-layer norm — это всё, что вам нужно PPO: Proximal Policy Optimization Algorithms: Клиппинг суррогатной функции — это всё, что вам нужно WizardCoder: Empowering Code Large Language Models with Evol-Instruct: Попросить модель усложнить вопрос — это всё, что вам нужно* (*Но откуда берутся ответы на эти усложнённые вопросы?!) Llama 2: Open Foundation and Fine-Tuned Chat Models: Итеративное дообучение, PPO, rejection sampling и ghost attention — это всё, что вам нужно* (*А ещё 27 540 SFT-аннотаций и более 1 миллиона бинарных сравнительных предпочтений) RWKV: Reinventing RNNs for the Transformer Era: Линейное внимание при инференсе через RNN — вот что вам нужно RLAIF - Constitutional AI: Harmlessness from AI Feedback: Конституция на естественном языке* и обратная связь от модели по безвредности — это всё, что вам нужно (*16 различных вариантов принципов безвредности) Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer: Шум в softmax и регуляризация экспертов — это всё, что вам нужно CLIP: Learning Transferable Visual Models From Natural Language Supervision: *Проекционный слой между текстовыми и графическими эмбеддингами — это всё, что вам нужно (*А ещё 400 миллионов пар изображение-текст) ViT; An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale: Выровненные 2D-патчи — это всё, что вам нужно Generative Agents: Interactive Simulacra of Human Behavior: Рефлексия, память и поиск — это всё, что вам нужно Out-of-Domain Finetuning to Bootstrap Hallucination Detection: Открытые данные с разрешительной лицензией — вот что вам нужно DPO; Direct Preference Optimization: Your Language Model is Secretly a Reward Model: Отдельная модель награды — это НЕ то, что вам нужно Consistency Models: Отображение того, как диффузия добавляет гауссовский шум к изображениям, — это всё, что вам нужно LCM; Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference: Моделирование согласованности в латентном пространстве — это всё, что вам нужно* (*А ещё диффузионная модель для дистилляции) LCM-LoRA: A Universal Stable-Diffusion Acceleration Module: Комбинирование LoRA — это всё, что вам нужно Chain-of-Note: Enhancing Robustness in Retrieval-Augmented Language Models: Попросить LLM проанализировать извлечённые документы — это всё, что вам нужно Emergent Abilities of Large Language Models: «Горький урок» — это всё, что вам нужно Q-Transformer: Scalable Offline Reinforcement Learning via Autoregressive Q-Functions: Уравнение Беллмана и буферы воспроизведения — это всё, что вам нужно Llama Guard: LLM-based Input-Output Safeguard for Human-AI Conversations: Руководства по классификации и формат ответа с множественным выбором — это всё, что вам нужно \(\text{REST}^{EM}\); Beyond Human Data: Scaling Self-Training for Problem-Solving with Language Models: Синтетические данные и функция награды — это всё, что вам нужно Mixture of Experts Explained: Условные вычисления и разреженность — это всё, что вам нужно SPIN: Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models: Генератор и дискриминатор — это всё, что вам нужно. Self-Instruct: Aligning Language Models with Self-Generated Instructions: 54% валидных троек инструкция-вход-выход — это всё, что вам нужно. Pythia: A Suite for Analyzing Large Language Models Across Training and Scaling: Хорошо задокументированные, публично доступные чекпоинты моделей — это всё, что вам нужно. Self-Rewarding Language Models: Попросить модель оценить саму себя — это всё, что вам нужно. Building Your Own Product Copilot - Challenges, Opportunities, and Needs: Промпт-инжиниринг для LLM — это НЕ всё, что вам нужно. Matryoshka Representation Learning: Агрегированные функции потерь по эмбеддингам размерности \(2^n\) — это всё, что вам нужно. Towards Efficient Generative Large Language Model Serving: A Survey from Algorithms to Systems: Более мощные GPU — это не всё, что вам нужно. How to Generate and Use Synthetic Data for Finetuning: Синтетические данные — это почти всё, что вам нужно. Whisper: Robust Speech Recognition via Large-Scale Weak Supervision: 680 тыс. часов аудио и мультизадачность, оформленная как последовательность, — это всё, что вам нужно.

If you found this useful, please cite this write-up as:

Если этот материал оказался полезным, пожалуйста, цитируйте его так:

Yan, Ziyou. (Jan 2024). Language Modeling Reading List (to Start Your Paper Club). eugeneyan.com. https://eugeneyan.com/writing/llm-reading-list/.

Yan, Ziyou. (Jan 2024). Language Modeling Reading List (to Start Your Paper Club). eugeneyan.com. https://eugeneyan.com/writing/llm-reading-list/.

or

или

@article{yan2024default, title = {Language Modeling Reading List (to Start Your Paper Club)}, author = {Yan, Ziyou}, journal = {eugeneyan.com}, year = {2024}, month = {Jan}, url = {https://eugeneyan.com/writing/llm-reading-list/} }

@article{yan2024default, title = {Language Modeling Reading List (to Start Your Paper Club)}, author = {Yan, Ziyou}, journal = {eugeneyan.com}, year = {2024}, month = {Jan}, url = {https://eugeneyan.com/writing/llm-reading-list/} }

Join 11,800+ readers getting updates on machine learning, RecSys, LLMs, and engineering.

Присоединяйтесь к 11 800+ читателям, получающим обновления о машинном обучении, рекомендательных системах, LLM и инженерии.