AI Canon | Andreessen Horowitz
«AI Canon» — кураторская подборка ресурсов от венчурного фонда a16z, помогающая разобраться в современном ИИ: статьи, блог-посты, курсы и руководства, оказавшие наибольшее влияние на область за последние годы. Материал начинается с мягких введений в трансформеры и латентные диффузионные модели, затем переходит к фундаментальным учебным ресурсам (нейросети, backpropagation, эмбеддинги), техническим разборам LLM, практическим гайдам по созданию приложений на LLM и анализу рынка генеративного ИИ. Завершает его справочный список знаковых исследований, начиная с «Attention is All You Need» (Google, 2017), который ввёл миру трансформеры и открыл эпоху генеративного ИИ. В подборку входят ключевые работы по LLM (BERT, GPT-3, InstructGPT, PaLM, LLaMA, Chinchilla, GPT-4), генерации изображений (CLIP, DALL-E, Stable Diffusion), агентам (ReAct, Auto-GPT), а также по коду, видео, аудио и биологии (AlphaFold, Med-PaLM). Среди авторов и упомянутых экспертов — Andrej Karpathy, Yann LeCun, Chip Huyen, Simon Willison и команды OpenAI, Google, Meta, DeepMind и Anthropic. Авторы статьи — Derrick Harris, Matt Bornstein и Guido Appenzeller.
AI Canon
AI Canon
Research in artificial intelligence is increasing at an exponential rate. It’s difficult for AI experts to keep up with everything new being published, and even harder for beginners to know where to start.
Исследования в области искусственного интеллекта растут экспоненциально. Экспертам по ИИ трудно успевать за всем новым, что публикуется, а новичкам ещё труднее понять, с чего начать.
So, in this post, we’re sharing a curated list of resources we’ve relied on to get smarter about modern AI. We call it the “AI Canon” because these papers, blog posts, courses, and guides have had an outsized impact on the field over the past several years.
Поэтому в этом посте мы делимся кураторской подборкой ресурсов, на которые опирались, чтобы лучше разобраться в современном ИИ. Мы называем её «AI Canon», потому что эти статьи, блог-посты, курсы и руководства оказали несоразмерно большое влияние на область за последние несколько лет.
We start with a gentle introduction to transformer and latent diffusion models, which are fueling the current AI wave. Next, we go deep on technical learning resources; practical guides to building with large language models (LLMs); and analysis of the AI market. Finally, we include a reference list of landmark research results, starting with “Attention is All You Need”—the 2017 paper by Google that introduced the world to transformer models and ushered in the age of generative AI.
Мы начинаем с мягкого введения в модели трансформеров и латентной диффузии, которые питают нынешнюю волну ИИ. Далее мы углубляемся в технические учебные ресурсы; практические руководства по созданию решений на основе больших языковых моделей (LLM); и анализ рынка ИИ. Наконец, мы приводим справочный список знаковых исследовательских результатов, начиная с «Attention is All You Need» — статьи Google 2017 года, которая познакомила мир с моделями-трансформерами и открыла эпоху генеративного ИИ.
A gentle introduction…
Мягкое введение…
These articles require no specialized background and can help you get up to speed quickly on the most important parts of the modern AI wave.
Эти статьи не требуют специальной подготовки и помогут быстро войти в курс самых важных частей современной волны ИИ.
Software 2.0: Andrej Karpathy одним из первых чётко объяснил (ещё в 2017 году!), почему новая волна ИИ действительно важна. Его тезис в том, что ИИ — это новый и мощный способ программировать компьютеры. По мере стремительного улучшения LLM этот тезис оказался прозорливым и даёт хорошую ментальную модель того, как может развиваться рынок ИИ. State of GPT: Тоже от Karpathy — очень доступное объяснение того, как в целом работают ChatGPT / GPT-модели, как ими пользоваться и в каких направлениях может двигаться R&D. What is ChatGPT doing … and why does it work?: Учёный-информатик и предприниматель Stephen Wolfram даёт длинное, но очень читабельное объяснение с первых принципов того, как работают современные модели ИИ. Он прослеживает путь от ранних нейросетей до сегодняшних LLM и ChatGPT. Transformers, explained: Этот пост Dale Markowitz — более короткий и прямой ответ на вопрос «что такое LLM и как она работает?». Отличный способ мягко войти в тему и развить интуицию относительно технологии. Он написан про GPT-3, но всё ещё применим к более новым моделям. How Stable Diffusion works: Это аналог предыдущего поста для компьютерного зрения. Chris McCormick даёт объяснение для неспециалистов о том, как работает Stable Diffusion, и развивает интуицию относительно моделей text-to-image в целом. Для ещё более мягкого введения посмотрите этот комикс из r/StableDiffusion.
Foundational learning: neural networks, backpropagation, and embeddings
Фундаментальное обучение: нейросети, backpropagation и эмбеддинги
These resources provide a base understanding of fundamental ideas in machine learning and AI, from the basics of deep learning to university-level courses from AI experts.
Эти ресурсы дают базовое понимание фундаментальных идей машинного обучения и ИИ — от основ глубокого обучения до университетских курсов от экспертов по ИИ.
Explainers
Объяснения
Deep learning in a nutshell: core concepts: Серия из четырёх частей от Nvidia, которая разбирает основы глубокого обучения в том виде, как его практиковали в 2015 году, — хороший ресурс для всех, кто только начинает изучать ИИ. Practical deep learning for coders: Полный бесплатный курс по основам ИИ, объяснённым на практических примерах и коде. Word2vec explained: Простое введение в эмбеддинги и токены — строительные блоки LLM (и всех языковых моделей). Yes you should understand backprop: Более глубокий пост про обратное распространение (back-propagation), если вы хотите разобраться в деталях. Если хочется ещё больше, попробуйте лекцию Stanford CS231n на Youtube.
Courses
Курсы
Stanford CS229: «Введение в машинное обучение» с Andrew Ng, охватывающее основы машинного обучения. Stanford CS224N: «NLP с глубоким обучением» с Chris Manning, охватывающее основы NLP вплоть до первого поколения LLM.
Tech deep dive: understanding transformers and large models
Технический разбор: как понять трансформеры и большие модели
There are countless resources—some better than others—attempting to explain how LLMs work. Here are some of our favorites, targeting a wide range of readers/viewers.
Существует бесчисленное множество ресурсов — одни лучше, другие хуже, — пытающихся объяснить, как работают LLM. Вот некоторые из наших любимых, рассчитанные на самую разную аудиторию читателей и зрителей.
Explainers
Объяснения
The illustrated transformer: Более технический обзор архитектуры трансформера от Jay Alammar. The annotated transformer: Подробный пост, если вы хотите понять трансформеры на уровне исходного кода. Требует некоторого знания PyTorch. Let’s build GPT: from scratch, in code, spelled out: Для инженеров: Karpathy в видео пошагово показывает, как построить GPT-модель. The illustrated Stable Diffusion: Введение в латентные диффузионные модели — самый распространённый тип генеративных ИИ-моделей для изображений. RLHF: Reinforcement Learning from Human Feedback: Chip Huyen объясняет RLHF, который позволяет заставить LLM вести себя более предсказуемо и дружелюбно к человеку. Это один из самых важных, но наименее понятых аспектов таких систем, как ChatGPT. Reinforcement learning from human feedback: Учёный-информатик и сооснователь OpenAI John Shulman глубже раскрывает тему в этом отличном докладе о текущем состоянии, прогрессе и ограничениях LLM с RLHF.
Courses
Курсы
Stanford CS25: Transformers United — онлайн-семинар по трансформерам. Stanford CS324: «Большие языковые модели» с Percy Liang, Tatsu Hashimoto и Chris Re, охватывающий широкий круг технических и нетехнических аспектов LLM.
Reference and commentary
Справочники и комментарии
Predictive learning, NIPS 2016: В этом раннем докладе Yann LeCun убедительно аргументирует, что обучение без учителя — критически важный элемент архитектур ИИ-моделей при масштабировании. Перемотайте на 19:20, чтобы услышать знаменитую аналогию с тортом, которая до сих пор остаётся одной из лучших ментальных моделей современного ИИ. AI for full-self driving at Tesla: Ещё один классический доклад Karpathy, на этот раз о движке сбора данных Tesla. Начиная с 8:35 идёт одна из величайших тирад об ИИ всех времён, объясняющая, почему задачи с «длинным хвостом» (в данном случае распознавание знаков STOP) так сложны. The scaling hypothesis: Один из самых удивительных аспектов LLM состоит в том, что масштабирование — добавление данных и вычислительных мощностей — просто продолжает повышать точность. GPT-3 был первой моделью, наглядно это продемонстрировавшей, и пост Gwern отлично объясняет стоящую за этим интуицию. Chinchilla’s wild implications: Формально это разбор важной статьи Chinchilla (см. ниже), но пост добирается до сути главного вопроса масштабирования LLM: не заканчиваются ли у нас данные? Он развивает предыдущий пост и даёт обновлённый взгляд на законы масштабирования. A survey of large language models: Исчерпывающий разбор современных LLM, включая хронологию развития, размер, стратегии обучения, обучающие данные, аппаратное обеспечение и многое другое. Sparks of artificial general intelligence: Early experiments with GPT-4: Ранний анализ от Microsoft Research возможностей GPT-4 — на данный момент самой продвинутой LLM — в сравнении с человеческим интеллектом. The AI revolution: How Auto-GPT unleashes a new era of automation and creativity: Введение в Auto-GPT и ИИ-агентов в целом. Технология совсем ранняя, но её важно понимать: она использует доступ в интернет и самостоятельно генерируемые подзадачи, чтобы решать конкретные сложные проблемы или цели. The Waluigi Effect: Формально объяснение «эффекта Waluigi» (то есть почему в поведении LLM возникают «альтер-эго»), но интересно в первую очередь глубоким погружением в теорию промптинга LLM.
Practical guides to building with LLMs
Практические руководства по созданию решений на LLM
A new application stack is emerging with LLMs at the core. While there isn’t a lot of formal education available on this topic yet, we pulled out some of the most useful resources we’ve found.
Формируется новый стек приложений с LLM в основе. Хотя формального обучения по этой теме пока немного, мы отобрали некоторые из самых полезных ресурсов, которые нам попались.
Reference
Справочники
Build a GitHub support bot with GPT3, LangChain, and Python: Одно из самых ранних публичных объяснений современного стека LLM-приложений. Часть советов здесь устарела, но во многом именно он запустил широкое распространение и экспериментирование с новыми ИИ-приложениями. Building LLM applications for production: Chip Huyen обсуждает многие ключевые сложности при создании LLM-приложений, как с ними справляться и какие типы сценариев наиболее осмысленны. Prompt Engineering Guide: Для всех, кто пишет промпты для LLM (включая разработчиков приложений), это самое исчерпывающее руководство с конкретными примерами для нескольких популярных моделей. Для более лёгкого и разговорного изложения попробуйте руководство по промпт-инжинирингу от Brex. Prompt injection: What’s the worst that can happen? Prompt injection — потенциально серьёзная уязвимость безопасности, подстерегающая LLM-приложения, для которой пока нет идеального решения. Simon Willison даёт исчерпывающее описание проблемы в этом посте. Почти всё, что Simon пишет про ИИ, выдающееся. OpenAI cookbook: Для разработчиков это эталонная коллекция руководств и примеров кода для работы с OpenAI API. Она постоянно обновляется новыми примерами кода. Pinecone learning center: Многие LLM-приложения построены вокруг парадигмы векторного поиска. Учебный центр Pinecone — несмотря на то, что это брендированный вендорский контент — предлагает одни из самых полезных инструкций по созданию приложений в этом паттерне. LangChain docs: Как стандартный слой оркестрации для LLM-приложений, LangChain связывается практически со всеми остальными частями стека. Поэтому их документация — настоящий справочник по всему стеку и тому, как его части сочетаются.
Courses
Курсы
LLM Bootcamp: Практический курс по созданию приложений на основе LLM с Charles Frye, Sergey Karayev и Josh Tobin. Hugging Face Transformers: Руководство по использованию open-source LLM в библиотеке Hugging Face transformers.
LLM benchmarks
Бенчмарки LLM
Chatbot Arena: Рейтинговая система популярных LLM в стиле Elo, которую ведёт команда из UC Berkeley. Пользователи также могут участвовать, сравнивая модели напрямую друг с другом. Open LLM Leaderboard: Рейтинг от Hugging Face, сравнивающий open source LLM по набору стандартных бенчмарков и задач.
Market analysis
Анализ рынка
We’ve all marveled at what generative AI can produce, but there are still a lot of questions about what it all means. Which products and companies will survive and thrive? What happens to artists? How should companies use it? How will it affect literally jobs and society at large? Here are some attempts at answering these questions.
Мы все восхищались тем, что способен создавать генеративный ИИ, но остаётся ещё много вопросов о том, что всё это значит. Какие продукты и компании выживут и преуспеют? Что будет с художниками? Как компаниям это использовать? Как это повлияет на рабочие места и общество в целом? Вот несколько попыток ответить на эти вопросы.
a16z thinking
Взгляд a16z
Who owns the generative AI platform?: Наша флагманская оценка того, где накапливается и может накапливаться ценность на уровнях инфраструктуры, моделей и приложений генеративного ИИ. Navigating the high cost of AI compute: Подробный разбор того, почему модели генеративного ИИ требуют так много вычислительных ресурсов и как подходить к их приобретению (то есть нужные GPU в нужном количестве и по нужной цене) на рынке с высоким спросом. Art isn’t dead, it’s just machine-generated: Взгляд на то, как модели ИИ смогли переформатировать творческие сферы — которые часто считали последним рубежом против автоматизации — гораздо быстрее, чем такие области, как разработка ПО. The generative AI revolution in games: Глубокий анализ от нашей команды Games о том, как возможность легко создавать высокодетализированную графику изменит работу гейм-дизайнеров, студий и всего рынка. Это продолжение от нашей команды Games рассматривает конкретно появление AI-генерируемого контента в сравнении с пользовательским контентом. For B2B generative AI apps, is less more?: Прогноз того, как LLM будут развиваться в мире B2B корпоративных приложений, вокруг идеи о том, что резюмирование информации в итоге окажется ценнее, чем генерация текста. Financial services will embrace generative AI faster than you think: Аргумент в пользу того, что индустрия финансовых услуг готова применять генеративный ИИ для персонализированного клиентского опыта, экономичных операций, лучшего комплаенса, улучшенного управления рисками, а также динамического прогнозирования и отчётности. Generative AI: The next consumer platform: Взгляд на возможности генеративного ИИ повлиять на потребительский рынок в самых разных секторах — от терапии до электронной коммерции. To make a real difference in health care, AI will need to learn like we do: ИИ готов необратимо изменить то, как мы стремимся предотвращать и лечить болезни. Однако чтобы по-настоящему преобразить всё — от разработки лекарств до оказания помощи, — нам стоит инвестировать в создание экосистемы «специализированных» ИИ, которые учатся так, как сегодня учатся наши лучшие врачи и разработчики лекарств. The new industrial revolution: Bio x AI: Следующая промышленная революция в истории человечества — это биология, движимая искусственным интеллектом.
Other perspectives
Другие точки зрения
On the opportunities and risks of foundation models: Обзорная статья Stanford о фундаментальных моделях (Foundation Models). Длинная и с авторской позицией, но именно она закрепила термин. State of AI Report: Ежегодный обзор всего, что происходит в ИИ, включая технологические прорывы, развитие индустрии, политику/регулирование, экономические последствия, безопасность и прогнозы на будущее. GPTs are GPTs: An early look at the labor market impact potential of large language models: Эта статья исследователей из OpenAI, OpenResearch и Университета Пенсильвании прогнозирует, что «около 80% рабочей силы США могут столкнуться с тем, что как минимум 10% их рабочих задач будут затронуты внедрением LLM, тогда как примерно у 19% работников окажутся затронуты как минимум 50% задач». Deep medicine: How artificial intelligence can make healthcare human again: Доктор Eric Topol раскрывает, как искусственный интеллект способен освободить врачей от трудоёмких задач, мешающих человеческому контакту. Отношения врача и пациента восстанавливаются. (подкаст a16z)
Landmark research results
Знаковые результаты исследований
Most of the amazing AI products we see today are the result of no-less-amazing research, carried out by experts inside large companies and leading universities. Lately, we’ve also seen impressive work from individuals and the open source community taking popular projects into new directions, for example by creating automated agents or porting models onto smaller hardware footprints.
Большинство потрясающих ИИ-продуктов, которые мы видим сегодня, — результат не менее потрясающих исследований, проведённых экспертами внутри крупных компаний и ведущих университетов. В последнее время мы также видим впечатляющую работу отдельных людей и open source сообщества, развивающих популярные проекты в новых направлениях — например, создавая автоматизированных агентов или перенося модели на более компактное оборудование.
Here’s a collection of many of these papers and projects, for folks who really want to dive deep into generative AI. (For research papers and projects, we’ve also included links to the accompanying blog posts or websites, where available, which tend to explain things at a higher level. And we’ve included original publication years so you can track foundational research over time.)
Вот подборка многих из этих статей и проектов для тех, кто действительно хочет глубоко погрузиться в генеративный ИИ. (Для научных статей и проектов мы также добавили ссылки на сопутствующие блог-посты или сайты, где они есть, — они обычно объясняют вещи на более высоком уровне. И мы указали годы первоначальной публикации, чтобы вы могли отслеживать фундаментальные исследования во времени.)
Large language models
Большие языковые модели
New models
Новые модели
Attention is all you need (2017): Оригинальная работа по трансформерам и научная статья от Google Brain, с которой всё началось. (блог-пост) BERT: pre-training of deep bidirectional transformers for language understanding (2018): Одна из первых общедоступных LLM, многие варианты которой используются и сегодня. (блог-пост) Improving language understanding by generative pre-training (2018): Первая статья OpenAI, описывающая архитектуру GPT, которая стала доминирующим путём развития LLM. (блог-пост) Language models are few-shot learners (2020): Статья OpenAI, описывающая GPT-3 и архитектуру современных LLM, состоящую только из декодера (decoder-only). Training language models to follow instructions with human feedback (2022): Статья OpenAI, объясняющая InstructGPT, который использует человека в цикле обучения моделей, чтобы они лучше следовали инструкциям в промптах. Это был один из ключевых прорывов, сделавших LLM доступными для потребителей (например, через ChatGPT). (блог-пост) LaMDA: language models for dialog applications (2022): Модель от Google, специально созданная для свободного диалога между человеком и чат-ботом на самые разные темы. (блог-пост) PaLM: Scaling language modeling with pathways (2022): PaLM от Google использовала новую систему обучения LLM на тысячах чипов и продемонстрировала больший, чем ожидалось, прирост в некоторых задачах по мере увеличения размера модели. (блог-пост). См. также технический отчёт PaLM-2. OPT: Open Pre-trained Transformer language models (2022): OPT — одна из лучших по производительности полностью open source LLM. Релиз этой модели на 175 миллиардов параметров включает код и был обучен на общедоступных наборах данных. (блог-пост) Training compute-optimal large language models (2022): Статья Chinchilla. В ней доказывается, что большинство моделей ограничены данными, а не вычислениями, и она изменила консенсус относительно масштабирования LLM. (блог-пост) GPT-4 technical report (2023): Новейшая и важнейшая статья от OpenAI, известная главным образом тем, как мало она раскрывает! (блог-пост). System card для GPT-4 проливает некоторый свет на то, как OpenAI подходит к галлюцинациям, приватности, безопасности и другим вопросам. LLaMA: Open and efficient foundation language models (2023): Модель от Meta, которая (почти) начала революцию open-source LLM. Конкурентоспособна со многими лучшими закрытыми моделями, но открыта только исследователям по ограниченной лицензии. (блог-пост) Alpaca: A strong, replicable instruction-following model (2023): Эта модель из Stanford демонстрирует силу настройки на инструкциях (instruction tuning), особенно в небольших open-source моделях, по сравнению с чистым масштабом.
Model improvements (e.g. fine-tuning, retrieval, attention)
Улучшения моделей (например, fine-tuning, retrieval, attention)
Deep reinforcement learning from human preferences (2017): Исследование обучения с подкреплением в контексте игр и робототехники, которое оказалось фантастическим инструментом для LLM. Retrieval-augmented generation for knowledge-intensive NLP tasks (2020): Разработанный Facebook, RAG — один из двух основных исследовательских путей повышения точности LLM за счёт поиска информации (information retrieval). (блог-пост) Improving language models by retrieving from trillions of tokens (2021): RETRO (Retrieval Enhanced TRansfOrmers) — ещё один подход, на этот раз от DeepMind, к повышению точности LLM за счёт доступа к информации, не включённой в обучающие данные. (блог-пост) LoRA: Low-rank adaptation of large language models (2021): Это исследование Microsoft представило более эффективную альтернативу fine-tuning для обучения LLM на новых данных. Сейчас оно стало стандартом для community-настройки, особенно для моделей изображений. Constitutional AI (2022): Команда Anthropic вводит концепцию обучения с подкреплением на основе обратной связи от ИИ (RLAIF). Главная идея в том, что мы можем разработать безвредного ИИ-ассистента под наблюдением других ИИ. FlashAttention: Fast and memory-efficient exact attention with IO-awareness (2022): Это исследование Stanford открыло путь к тому, чтобы передовые модели понимали более длинные последовательности текста (и изображения с более высоким разрешением) без непомерных затрат времени и средств на обучение. (блог-пост) Hungry hungry hippos: Towards language modeling with state space models (2022): Снова от Stanford: эта статья описывает одну из ведущих альтернатив механизму внимания (attention) в языковом моделировании. Это перспективный путь к лучшему масштабированию и эффективности обучения. (блог-пост)
Image generation models
Модели генерации изображений
Learning transferable visual models from natural language supervision (2021): Статья, представляющая базовую модель CLIP, которая связывает текстовые описания с изображениями. Одно из первых эффективных крупномасштабных применений фундаментальных моделей в компьютерном зрении. (блог-пост) Zero-shot text-to-image generation (2021): Это статья, представившая DALL-E — модель, объединяющую упомянутые CLIP и GPT-3 для автоматической генерации изображений по текстовым промптам. Её преемник, DALL-E 2, запустил бум генеративного ИИ для изображений в 2022 году. (блог-пост) High-resolution image synthesis with latent diffusion models (2021): Статья, описавшая Stable Diffusion (после запуска и взрывного роста в open source). Photorealistic text-to-image diffusion models with deep language understanding (2022): Imagen — это попытка Google войти в генерацию изображений с помощью ИИ. Спустя более года после анонса модель так и не была выпущена публично на момент публикации этого материала. (сайт) DreamBooth: Fine tuning text-to-image diffusion models for subject-driven generation (2022): DreamBooth — система, разработанная в Google, для обучения моделей распознавать предоставленные пользователем объекты и применять их к контексту промпта (например, [USER] улыбается у Эйфелевой башни). (сайт) Adding conditional control to text-to-image diffusion models (2023): Эта статья из Stanford представляет ControlNet — ныне очень популярный инструмент для точного контроля над генерацией изображений с помощью латентных диффузионных моделей.
Agents
Агенты
A path towards autonomous machine intelligence (2022): Предложение от руководителя Meta AI и профессора NYU Yann LeCun о том, как создавать автономных и разумных агентов, которые действительно понимают окружающий мир. ReAct: Synergizing reasoning and acting in language models (2022): Проект Princeton и Google для проверки и улучшения способностей LLM к рассуждению и планированию. (блог-пост) Generative agents: Interactive simulacra of human behavior (2023): Исследователи Stanford и Google использовали LLM для управления агентами в обстановке, похожей на «The Sims», взаимодействия которых не запрограммированы, а возникают эмерджентно. Reflexion: an autonomous agent with dynamic memory and self-reflection (2023): Работа исследователей Northeastern University и MIT об обучении LLM более надёжно решать задачи, учась на своих ошибках и прошлом опыте. Toolformer: Language models can teach themselves to use tools (2023): Этот проект Meta обучил LLM использовать внешние инструменты (в данном случае API, указывающие на такие вещи, как поисковые системы и калькуляторы), чтобы повышать точность без увеличения размера модели. Auto-GPT: An autonomous GPT-4 experiment: Open source эксперимент по расширению возможностей GPT-4 путём предоставления ему набора инструментов (доступ в интернет, файловое хранилище и т. д.) и выбора того, какие из них использовать для решения конкретной задачи. BabyAGI: Этот Python-скрипт использует GPT-4 и векторные базы данных (для хранения контекста), чтобы планировать и выполнять серию задач, решающих более широкую цель.
Other data modalities
Другие модальности данных
Code generation
Генерация кода
Evaluating large language models trained on code (2021): Это научная статья OpenAI о Codex — модели генерации кода, лежащей в основе продукта GitHub Copilot. (блог-пост) Competition-level code generation with AlphaCode (2021): Это исследование DeepMind демонстрирует модель, способную писать код лучше, чем программисты-люди. (блог-пост) CodeGen: An open large language model for code with multi-turn program synthesis (2022): CodeGen создан исследовательским подразделением ИИ в Salesforce и в настоящее время лежит в основе продукта Replit Ghostwriter для генерации кода. (блог-пост)
Video generation
Генерация видео
Make-A-Video: Text-to-video generation without text-video data (2022): Модель от Meta, которая создаёт короткие видео по текстовым промптам, а также добавляет движение к статичным фото или создаёт вариации существующих видео. (блог-пост) Imagen Video: High definition video generation with diffusion models (2022): Ровно то, что следует из названия: версия основанной на изображениях модели Google Imagen, оптимизированная для создания коротких видео по текстовым промптам. (сайт)
Human biology and medical data
Биология человека и медицинские данные
Strategies for pre-training graph neural networks (2020): Эта публикация заложила основу эффективных методов предобучения, полезных для применения в разработке лекарств — например, для предсказания свойств молекул и функций белков. (блог-пост) Improved protein structure prediction using potentials from deep learning (2020): Ориентированная на белки трансформерная модель DeepMind, AlphaFold, сделала возможным предсказание структуры белка по его последовательности — настоящий прорыв, уже имеющий далеко идущие последствия для понимания биологических процессов и разработки новых методов лечения болезней. (блог-пост) (объяснение) Large language models encode clinical knowledge (2022): Med-PaLM — это LLM, способная правильно отвечать на вопросы в стиле экзамена на медицинскую лицензию США (US Medical License Exam). С тех пор команда опубликовала результаты Med-PaLM2, который достиг результата на уровне «экспертов», сдающих тест. Другие команды проводили похожие эксперименты с ChatGPT и GPT-4. (видео)
Audio generation
Генерация аудио
Jukebox: A generative model for music (2020): Попытка OpenAI войти в генерацию музыки с помощью трансформеров — способна создавать музыку, вокал и тексты при минимальном обучении. (блог-пост) AudioLM: a language modeling approach to audio generation (2022): AudioLM — проект Google для генерации разных типов аудио, включая речь и инструментал. (блог-пост) MusicLM: Generating nusic from text (2023): Текущий уровень передовых технологий в генерации музыки на основе ИИ, демонстрирующий более высокое качество и связность, чем предыдущие попытки. (блог-пост)
Multi-dimensional image generation
Многомерная генерация изображений
NeRF: Representing scenes as neural radiance fields for view synthesis (2020): Исследование команды под руководством UC-Berkeley о «синтезе новых ракурсов сложных сцен» с использованием 5D-координат. (сайт) DreamFusion: Text-to-3D using 2D diffusion (2022): Работа исследователей Google и UC-Berkeley, развивающая NeRF для генерации 3D-изображений из 2D-входов. (сайт)
Special thanks to Jack Soslow, Jay Rughani, Marco Mascorro, Martin Casado, Rajko Radovanovic, and Vijay Pande for their contributions to this piece, and to the entire a16z team for an always informative discussion about the latest in AI. And thanks to Sonal Chokshi and the crypto team for building a long series of canons at the firm.
Особая благодарность Jack Soslow, Jay Rughani, Marco Mascorro, Martin Casado, Rajko Radovanovic и Vijay Pande за их вклад в этот материал, а также всей команде a16z за неизменно содержательное обсуждение последних событий в ИИ. И спасибо Sonal Chokshi и crypto-команде за создание длинной серии canon’ов в фирме.
Derrick Harris
Derrick Harris
is an editor at a16z, managing the content workflow across the Infra and American Dynamism teams.
— редактор в a16z, управляет рабочим процессом по контенту в командах Infra и American Dynamism.
Matt Bornstein
Matt Bornstein
is a general partner at Andreessen Horowitz focused on AI and data systems.
— генеральный партнёр в Andreessen Horowitz, специализируется на ИИ и системах данных.
Guido Appenzeller
Guido Appenzeller
is an investor at Andreessen Horowitz, where he focuses on AI, infrastructure, open source technology, and silicon.
— инвестор в Andreessen Horowitz, где занимается ИИ, инфраструктурой, open source технологиями и чипами (silicon).
Want More Infra?
Хотите больше про инфраструктуру?
Analysis and news covering the latest trends reshaping AI and infrastructure.
Аналитика и новости о новейших трендах, меняющих ИИ и инфраструктуру.
Views expressed in “posts” (including podcasts, videos, and social media) are those of the individual a16z personnel quoted therein and are not the views of a16z Capital Management, L.L.C. (“a16z”) or its respective affiliates. a16z Capital Management is an investment adviser registered with the Securities and Exchange Commission. Registration as an investment adviser does not imply any special skill or training. The posts are not directed to any investors or potential investors, and do not constitute an offer to sell — or a solicitation of an offer to buy — any securities, and may not be used or relied upon in evaluating the merits of any investment.
Мнения, выраженные в «постах» (включая подкасты, видео и социальные сети), принадлежат отдельным сотрудникам a16z, чьи слова приводятся, и не являются мнениями a16z Capital Management, L.L.C. («a16z») или её соответствующих аффилированных лиц. a16z Capital Management — инвестиционный консультант, зарегистрированный в Комиссии по ценным бумагам и биржам (SEC). Регистрация в качестве инвестиционного консультанта не подразумевает наличия какого-либо особого мастерства или подготовки. Посты не адресованы каким-либо инвесторам или потенциальным инвесторам, не являются предложением о продаже — или приглашением сделать предложение о покупке — каких-либо ценных бумаг и не могут использоваться или приниматься во внимание при оценке достоинств какой-либо инвестиции.
The contents in here — and available on any associated distribution platforms and any public a16z online social media accounts, platforms, and sites (collectively, “content distribution outlets”) — should not be construed as or relied upon in any manner as investment, legal, tax, or other advice. You should consult your own advisers as to legal, business, tax, and other related matters concerning any investment. Any projections, estimates, forecasts, targets, prospects and/or opinions expressed in these materials are subject to change without notice and may differ or be contrary to opinions expressed by others. Any charts provided here or on a16z content distribution outlets are for informational purposes only, and should not be relied upon when making any investment decision. Certain information contained in here has been obtained from third-party sources, including from portfolio companies of funds managed by a16z. While taken from sources believed to be reliable, a16z has not independently verified such information and makes no representations about the enduring accuracy of the information or its appropriateness for a given situation. In addition, posts may include third-party advertisements; a16z has not reviewed such advertisements and does not endorse any advertising content contained therein. All content speaks only as of the date indicated.
Содержимое, представленное здесь, — а также доступное на любых связанных платформах распространения и любых публичных онлайн-аккаунтах, платформах и сайтах a16z в социальных сетях (совместно — «каналы распространения контента»), — не следует истолковывать или каким-либо образом полагаться на него как на инвестиционные, юридические, налоговые или иные консультации. Вам следует консультироваться с собственными советниками по юридическим, деловым, налоговым и иным связанным вопросам, касающимся любой инвестиции. Любые прогнозы, оценки, предсказания, целевые показатели, перспективы и/или мнения, выраженные в этих материалах, могут изменяться без уведомления и могут отличаться от мнений, выраженных другими, или противоречить им. Любые графики, приведённые здесь или в каналах распространения контента a16z, носят исключительно информационный характер, и на них не следует полагаться при принятии каких-либо инвестиционных решений. Определённая информация, содержащаяся здесь, была получена из сторонних источников, в том числе от портфельных компаний фондов под управлением a16z. Хотя она взята из источников, считающихся надёжными, a16z не проверяла такую информацию независимо и не делает заявлений о её сохраняющейся точности или пригодности для конкретной ситуации. Кроме того, посты могут содержать рекламу третьих сторон; a16z не проверяла такую рекламу и не поддерживает какой-либо рекламный контент, в ней содержащийся. Всё содержимое актуально только на указанную дату.
Under no circumstances should any posts or other information provided on this website — or on associated content distribution outlets — be construed as an offer soliciting the purchase or sale of any security or interest in any pooled investment vehicle sponsored, discussed, or mentioned by a16z personnel. Nor should it be construed as an offer to provide investment advisory services; an offer to invest in an a16z-managed pooled investment vehicle will be made separately and only by means of the confidential offering documents of the specific pooled investment vehicles — which should be read in their entirety, and only to those who, among other requirements, meet certain qualifications under federal securities laws. Such investors, defined as accredited investors and qualified purchasers, are generally deemed capable of evaluating the merits and risks of prospective investments and financial matters.
Ни при каких обстоятельствах любые посты или иную информацию, предоставленную на этом веб-сайте — или в связанных каналах распространения контента, — не следует истолковывать как предложение, приглашающее к покупке или продаже какой-либо ценной бумаги или доли в каком-либо объединённом инвестиционном инструменте, спонсируемом, обсуждаемом или упоминаемом сотрудниками a16z. Также это не следует истолковывать как предложение предоставить услуги инвестиционного консультирования; предложение инвестировать в объединённый инвестиционный инструмент под управлением a16z будет сделано отдельно и только посредством конфиденциальных документов предложения конкретных объединённых инвестиционных инструментов — которые следует прочитать целиком, и только тем, кто, среди прочих требований, отвечает определённым квалификациям согласно федеральному законодательству о ценных бумагах. Такие инвесторы, определяемые как аккредитованные инвесторы и квалифицированные покупатели, обычно считаются способными оценивать достоинства и риски предполагаемых инвестиций и финансовых вопросов.
There can be no assurances that a16z’s investment objectives will be achieved or investment strategies will be successful. Any investment in a vehicle managed by a16z involves a high degree of risk including the risk that the entire amount invested is lost. Any investments or portfolio companies mentioned, referred to, or described are not representative of all investments in vehicles managed by a16z and there can be no assurance that the investments will be profitable or that other investments made in the future will have similar characteristics or results. A list of investments made by funds managed by a16z is available here: https://a16z.com/investments/. Past results of a16z’s investments, pooled investment vehicles, or investment strategies are not necessarily indicative of future results. Excluded from this list are investments (and certain publicly traded cryptocurrencies/ digital assets) for which the issuer has not provided permission for a16z to disclose publicly. As for its investments in any cryptocurrency or token project, a16z is acting in its own financial interest, not necessarily in the interests of other token holders. a16z has no special role in any of these projects or power over their management. a16z does not undertake to continue to have any involvement in these projects other than as an investor and token holder, and other token holders should not expect that it will or rely on it to have any particular involvement.
Не может быть никаких гарантий того, что инвестиционные цели a16z будут достигнуты или что инвестиционные стратегии окажутся успешными. Любая инвестиция в инструмент под управлением a16z сопряжена с высокой степенью риска, включая риск потери всей вложенной суммы. Любые упомянутые, указанные или описанные инвестиции или портфельные компании не являются репрезентативными для всех инвестиций в инструментах под управлением a16z, и не может быть никакой гарантии того, что инвестиции будут прибыльными или что другие инвестиции, сделанные в будущем, будут иметь схожие характеристики или результаты. Список инвестиций, сделанных фондами под управлением a16z, доступен здесь: https://a16z.com/investments/. Прошлые результаты инвестиций a16z, объединённых инвестиционных инструментов или инвестиционных стратегий не обязательно указывают на будущие результаты. Из этого списка исключены инвестиции (и определённые публично торгуемые криптовалюты/цифровые активы), для которых эмитент не предоставил a16z разрешения на публичное раскрытие. Что касается своих инвестиций в любой криптовалютный или токен-проект, a16z действует в собственных финансовых интересах, не обязательно в интересах других держателей токенов. a16z не играет особой роли ни в одном из этих проектов и не имеет власти над их управлением. a16z не обязуется продолжать участвовать в этих проектах иначе, чем в качестве инвестора и держателя токенов, и другим держателям токенов не следует ожидать, что она будет это делать, или полагаться на её какое-либо особое участие.
With respect to funds managed by a16z that are registered in Japan, a16z will provide to any member of the Japanese public a copy of such documents as are required to be made publicly available pursuant to Article 63 of the Financial Instruments and Exchange Act of Japan. Please contact compliance@a16z.com to request such documents.
В отношении фондов под управлением a16z, зарегистрированных в Японии, a16z предоставит любому представителю японской общественности копию таких документов, которые требуется делать общедоступными в соответствии со статьёй 63 Закона Японии о финансовых инструментах и биржах. Пожалуйста, обращайтесь по адресу compliance@a16z.com для запроса таких документов.
For other site terms of use, please go here. Additional important information about a16z, including our Form ADV Part 2A Brochure, is available at the SEC’s website: http://www.adviserinfo.sec.gov.
Прочие условия использования сайта смотрите здесь. Дополнительная важная информация об a16z, включая нашу брошюру Form ADV Part 2A, доступна на сайте SEC: http://www.adviserinfo.sec.gov.