Language Modeling Reading List (to Start Your Paper Club)

eugeneyan

Начните здесь Статьи Выступления Прототипы Обо мне

Список литературы по языковому моделированию (чтобы запустить свой клуб статей)

[ llm learning ] · 6 мин. чтения

Мы с друзьями запустили еженедельный клуб статей, чтобы читать и обсуждать фундаментальные работы по языковому моделированию. Объединив наши знания, опыт и вопросы, мы узнали в группе больше, чем смогли бы поодиночке. Чтобы вдохновить остальных сделать то же самое, вот подборка статей по языковому моделированию на целый год с кратким описанием каждой в одно предложение. (А ещё — зачем и как читать научные статьи.)

Нашли ошибку или хотите предложить статью? Создайте PR или issue здесь!

• • •

Attention Is All You Need: Query, Key и Value — это всё, что вам нужно* (*А ещё позиционные эмбеддинги, множественные головы внимания, полносвязные слои, skip-соединения и т. д.) GPT: Improving Language Understanding by Generative Pre-Training: Декодер — это всё, что вам нужно* (*А ещё предобучение + дообучение) BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding: Энкодер — это всё, что вам нужно*. Языковое моделирование слева направо — это НЕ всё, что вам нужно. (*А ещё предобучение + дообучение) T5: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer: Только энкодер или только декодер — это НЕ всё, что вам нужно, зато формат text-to-text — это всё, что нужно* (*А ещё предобучение + дообучение) GPT2: Language Models are Unsupervised Multitask Learners: Неконтролируемое предобучение — это всё, что вам нужно?! GPT3: Language Models are Few-Shot Learners: Неконтролируемое предобучение + несколько* примеров — это всё, что вам нужно. (*От 5 примеров в Conversational QA до 50 примеров в Winogrande, PhysicalQA и TriviaQA) Scaling Laws for Neural Language Models: Более крупные модели, обученные на меньшем объёме данных* — вот что вам нужно. (*10-кратное увеличение вычислений следует направить на модель в 5,5 раз больше и в 1,8 раза больше токенов) Chinchilla: Training Compute-Optimal Large Language Models: Модели поменьше, обученные на большем количестве данных* — вот что вам нужно. (*10-кратное увеличение вычислений следует направить на модель в 3,2 раза больше и в 3,2 раза больше токенов) LLaMA: Open and Efficient Foundation Language Models: Модели поменьше, обученные подольше — на открытых данных — это всё, что вам нужно InstructGPT: Training language models to follow instructions with human feedback: 40 аннотаторов — это всё, что вам нужно* (*Плюс supervised fine-tuning, моделирование награды и PPO) LoRA: Low-Rank Adaptation of Large Language Models: Один ранг — это всё, что вам нужно QLoRA: Efficient Finetuning of Quantized LLMs: 4 бита — это всё, что вам нужно* (*Плюс двойная квантизация и paged-оптимизаторы) DPR: Dense Passage Retrieval for Open-Domain Question Answering: Плотные эмбеддинги — это всё, что вам нужно* (*А ещё высокоточный поиск) RAG: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks: Полупараметрические модели* — это всё, что вам нужно (*Плотный векторный поиск как непараметрическая компонента; предобученный LLM как параметрическая компонента) RETRO: Improving language models by retrieving from trillions of tokens: Поиск по входным чанкам и chunked cross attention — это всё, что вам нужно Internet-augmented language models through few-shot prompting for open-domain question answering: Google Search в качестве поиска — это всё, что вам нужно HyDE: Precise Zero-Shot Dense Retrieval without Relevance Labels: Гипотетические документы, сгенерированные LLM, — это всё, что вам нужно FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness: Циклы for в SRAM — это всё, что вам нужно ALiBi; Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation: Постоянное смещение в скалярном произведении query-key — это всё, что вам нужно* (*А ещё гиперпараметр m и кешированные представления Q, K, V) Codex: Evaluating Large Language Models Trained on Code: Дообучение на коде — это всё, что вам нужно Layer Normalization: Стабильные среднее и дисперсия на каждом слое — это всё, что вам нужно On Layer Normalization in the Transformer Architecture: Pre-layer norm вместо post-layer norm — это всё, что вам нужно PPO: Proximal Policy Optimization Algorithms: Клиппинг суррогатной функции — это всё, что вам нужно WizardCoder: Empowering Code Large Language Models with Evol-Instruct: Попросить модель усложнить вопрос — это всё, что вам нужно* (*Но откуда берутся ответы на эти усложнённые вопросы?!) Llama 2: Open Foundation and Fine-Tuned Chat Models: Итеративное дообучение, PPO, rejection sampling и ghost attention — это всё, что вам нужно* (*А ещё 27 540 SFT-аннотаций и более 1 миллиона бинарных сравнительных предпочтений) RWKV: Reinventing RNNs for the Transformer Era: Линейное внимание при инференсе через RNN — вот что вам нужно RLAIF - Constitutional AI: Harmlessness from AI Feedback: Конституция на естественном языке* и обратная связь от модели по безвредности — это всё, что вам нужно (*16 различных вариантов принципов безвредности) Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer: Шум в softmax и регуляризация экспертов — это всё, что вам нужно CLIP: Learning Transferable Visual Models From Natural Language Supervision: *Проекционный слой между текстовыми и графическими эмбеддингами — это всё, что вам нужно (*А ещё 400 миллионов пар изображение-текст) ViT; An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale: Выровненные 2D-патчи — это всё, что вам нужно Generative Agents: Interactive Simulacra of Human Behavior: Рефлексия, память и поиск — это всё, что вам нужно Out-of-Domain Finetuning to Bootstrap Hallucination Detection: Открытые данные с разрешительной лицензией — вот что вам нужно DPO; Direct Preference Optimization: Your Language Model is Secretly a Reward Model: Отдельная модель награды — это НЕ то, что вам нужно Consistency Models: Отображение того, как диффузия добавляет гауссовский шум к изображениям, — это всё, что вам нужно LCM; Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference: Моделирование согласованности в латентном пространстве — это всё, что вам нужно* (*А ещё диффузионная модель для дистилляции) LCM-LoRA: A Universal Stable-Diffusion Acceleration Module: Комбинирование LoRA — это всё, что вам нужно Chain-of-Note: Enhancing Robustness in Retrieval-Augmented Language Models: Попросить LLM проанализировать извлечённые документы — это всё, что вам нужно Emergent Abilities of Large Language Models: «Горький урок» — это всё, что вам нужно Q-Transformer: Scalable Offline Reinforcement Learning via Autoregressive Q-Functions: Уравнение Беллмана и буферы воспроизведения — это всё, что вам нужно Llama Guard: LLM-based Input-Output Safeguard for Human-AI Conversations: Руководства по классификации и формат ответа с множественным выбором — это всё, что вам нужно \(\text{REST}^{EM}\); Beyond Human Data: Scaling Self-Training for Problem-Solving with Language Models: Синтетические данные и функция награды — это всё, что вам нужно Mixture of Experts Explained: Условные вычисления и разреженность — это всё, что вам нужно SPIN: Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models: Генератор и дискриминатор — это всё, что вам нужно. Self-Instruct: Aligning Language Models with Self-Generated Instructions: 54% валидных троек инструкция-вход-выход — это всё, что вам нужно. Pythia: A Suite for Analyzing Large Language Models Across Training and Scaling: Хорошо задокументированные, публично доступные чекпоинты моделей — это всё, что вам нужно. Self-Rewarding Language Models: Попросить модель оценить саму себя — это всё, что вам нужно. Building Your Own Product Copilot - Challenges, Opportunities, and Needs: Промпт-инжиниринг для LLM — это НЕ всё, что вам нужно. Matryoshka Representation Learning: Агрегированные функции потерь по эмбеддингам размерности \(2^n\) — это всё, что вам нужно. Towards Efficient Generative Large Language Model Serving: A Survey from Algorithms to Systems: Более мощные GPU — это не всё, что вам нужно. How to Generate and Use Synthetic Data for Finetuning: Синтетические данные — это почти всё, что вам нужно. Whisper: Robust Speech Recognition via Large-Scale Weak Supervision: 680 тыс. часов аудио и мультизадачность, оформленная как последовательность, — это всё, что вам нужно.

Если этот материал оказался полезным, пожалуйста, цитируйте его так:

Yan, Ziyou. (Jan 2024). Language Modeling Reading List (to Start Your Paper Club). eugeneyan.com. https://eugeneyan.com/writing/llm-reading-list/.

или

@article{yan2024default, title = {Language Modeling Reading List (to Start Your Paper Club)}, author = {Yan, Ziyou}, journal = {eugeneyan.com}, year = {2024}, month = {Jan}, url = {https://eugeneyan.com/writing/llm-reading-list/} }

Присоединяйтесь к 11 800+ читателям, получающим обновления о машинном обучении, рекомендательных системах, LLM и инженерии.