Navigating the High Cost of AI Compute | Andreessen Horowitz

Как ориентироваться в высокой стоимости вычислений для ИИ

Источник: Midjourney

Бум генеративного ИИ ограничен вычислительными мощностями. У него есть уникальное свойство: добавление вычислений напрямую приводит к более качественному продукту. Обычно инвестиции в R&D связаны с ценностью продукта не столь прямо, и эта зависимость заметно сублинейна. Но в случае с искусственным интеллектом сейчас это не так, и в результате доминирующим фактором, определяющим индустрию сегодня, оказывается попросту стоимость обучения и инференса.

Хотя истинные цифры нам неизвестны, мы слышали от заслуживающих доверия источников, что предложение вычислительных мощностей настолько ограничено, что спрос превышает его в 10 раз(!). Поэтому, на наш взгляд, справедливо сказать, что прямо сейчас доступ к вычислительным ресурсам — по наименьшей суммарной стоимости — стал определяющим фактором успеха ИИ-компаний.

На деле мы видели множество компаний, которые тратили более 80% всего привлечённого капитала на вычислительные ресурсы!

В этом посте мы попытаемся разложить на составляющие факторы стоимости для ИИ-компании. Абсолютные цифры, разумеется, со временем изменятся, но мы не видим скорого облегчения ситуации, при которой ИИ-компании ограничены доступом к вычислительным ресурсам. Так что, надеемся, это окажется полезной системой координат для осмысления ландшафта.

Почему ИИ-модели так дороги в вычислительном плане?

Существует широкое многообразие генеративных ИИ-моделей, и стоимость инференса и обучения зависит от размера и типа модели. К счастью, самые популярные сегодня модели — это в основном архитектуры на базе трансформеров, к которым относятся популярные большие языковые модели (LLM), такие как GPT-3, GPT-J или BERT. Хотя точное число операций для инференса и обучения трансформеров зависит от конкретной модели (см. эту статью), есть достаточно точное эмпирическое правило, которое зависит лишь от числа параметров (т. е. весов нейронной сети) модели и числа входных и выходных токенов.

Токены — это, по сути, короткие последовательности из нескольких символов. Они соответствуют словам или частям слов. Лучший способ выработать интуицию относительно токенов — попробовать токенизацию с помощью доступных в сети токенизаторов (например, OpenAI). Для GPT-3 средняя длина токена составляет 4 символа.

Эмпирическое правило для трансформеров таково: forward-проход (т. е. инференс) для модели с p параметрами при входной и выходной последовательностях длиной по n токенов каждая, требует примерно 2*n*p операций с плавающей точкой (FLOPs)¹. Обучение той же модели требует примерно 6*p FLOPs на токен (т. е. дополнительный backward-проход требует ещё четырёх операций²). Полную стоимость обучения можно приблизительно оценить, умножив это на количество токенов в обучающих данных.

Требования к памяти у трансформеров также зависят от размера модели. Для инференса нам нужно разместить в памяти p параметров модели. Для обучения (т. е. обратного распространения) нам нужно хранить дополнительные промежуточные значения на каждый параметр между forward- и backward-проходами. Если предположить, что мы используем 32-битные числа с плавающей точкой, это даёт дополнительные 8 байт на параметр. Для обучения модели со 175 миллиардами параметров нам потребовалось бы держать в памяти более терабайта данных — это превосходит любой существующий сегодня GPU и вынуждает нас разбивать модель между картами. Требования к памяти для инференса и обучения можно оптимизировать, используя числа с плавающей точкой меньшей разрядности, при этом 16-битные становятся обычным делом, а 8-битные ожидаются в ближайшем будущем.

В таблице выше приведены размеры и вычислительные затраты для нескольких популярных моделей. У GPT-3 примерно 175 миллиардов параметров, что при входе и выходе по 1024 токена даёт вычислительные затраты порядка 350 триллионов операций с плавающей точкой (т. е. терафлопов, или TFLOPs). Обучение модели вроде GPT-3 требует около 3,14*10^23 операций с плавающей точкой. У других моделей, таких как LLaMA от Meta, требования к вычислениям ещё выше. Обучение такой модели — одна из самых вычислительно интенсивных задач, за которые когда-либо бралось человечество.

Подведём итог: ИИ-инфраструктура дорога, потому что лежащие в её основе алгоритмические задачи чрезвычайно сложны в вычислительном плане. Алгоритмическая сложность сортировки таблицы базы данных с миллионом записей ничтожна по сравнению со сложностью генерации одного-единственного слова с помощью GPT-3. Это означает, что вам стоит выбирать наименьшую модель, которая решает вашу задачу.

Хорошая новость в том, что для трансформеров мы легко можем оценить, сколько вычислений и памяти потребит модель того или иного размера. И поэтому следующим вопросом становится выбор подходящего оборудования.

Аргумент в пользу GPU с точки зрения времени и стоимости

Как вычислительная сложность переводится во время? Ядро процессора обычно может выполнять 1–2 инструкции за такт, а тактовые частоты процессоров стабильно держатся около 3 ГГц последние 15 лет из-за окончания масштабирования Деннарда. Выполнение одной операции инференса GPT-3 без использования какой-либо параллельной архитектуры заняло бы порядка 350 TFLOPs/(3 ГГц*1 FLOP), или 116 000 секунд, или 32 часа. Это совершенно непрактично; вместо этого нам нужны специализированные чипы, ускоряющие эту задачу.

На практике все современные ИИ-модели работают на картах, использующих очень большое число специализированных ядер. Например, у GPU NVIDIA A100 есть 512 «тензорных ядер», которые могут выполнить перемножение матриц 4×4 (что эквивалентно 64 умножениям и сложениям, или 128 FLOPs) за один такт. ИИ-ускорители часто называют GPU (graphics processing units, графические процессоры), поскольку эта архитектура изначально разрабатывалась для настольных игр. В будущем мы ожидаем, что ИИ всё больше будет становиться отдельным семейством продуктов.

У A100 номинальная производительность 312 TFLOPS, что в теории сократило бы инференс GPT-3 примерно до 1 секунды. Однако это упрощённый расчёт по нескольким причинам. Во-первых, для большинства сценариев узким местом является не вычислительная мощность GPU, а способность доставить данные из специализированной графической памяти к тензорным ядрам. Во-вторых, 175 миллиардов весов заняли бы 700 ГБ и не поместятся в графическую память ни одного GPU. Нужно применять такие техники, как партиционирование и потоковая передача весов. И в-третьих, существует ряд оптимизаций (например, использование более коротких представлений с плавающей точкой, таких как FP16, FP8, или разреженных матриц), применяемых для ускорения вычислений. Но в целом приведённая выше математика даёт нам интуитивное понимание общих вычислительных затрат современных LLM.

Обучение модели-трансформера занимает примерно втрое больше времени на токен, чем инференс. Однако, учитывая, что обучающий набор данных примерно в 300 миллионов раз больше, чем промпт для инференса, обучение длится дольше в миллиард раз. На одном GPU обучение заняло бы десятилетия; на практике это делается на больших вычислительных кластерах в выделенных дата-центрах или, что более вероятно, в облаке. Обучение также сложнее распараллелить, чем инференс, поскольку обновлённые веса приходится обмениваться между узлами. Память и пропускная способность между GPU часто становятся куда более важным фактором, при этом обычным делом являются высокоскоростные межсоединения и выделенные фабрики. Для обучения очень крупных моделей создание подходящей сетевой конфигурации может оказаться главной трудностью. Заглядывая в будущее, ИИ-ускорители будут иметь сетевые возможности на карте или даже на чипе.

Как эта вычислительная сложность переводится в стоимость? Инференс GPT-3, который, как мы видели выше, занимает примерно 1 секунду на A100, имел бы чисто вычислительную стоимость от $0,0002 до $0,0014 за 1000 токенов (для сравнения, цена OpenAI составляет $0,002 за 1000 токенов). Пользователь, генерирующий 100 запросов на инференс в день, обходился бы в порядка нескольких долларов в год. Это очень низкая цена, и она делает большинство сценариев использования текстового ИИ людьми финансово жизнеспособными.

Обучение GPT-3, с другой стороны, обходится гораздо дороже. Снова рассчитывая только вычислительную стоимость для 3,14*10^23 FLOPs по приведённым выше ставкам, мы получаем оценку в $560 000 на картах A100 за один прогон обучения. На практике при обучении мы и близко не получим 100% эффективности GPU; однако мы также можем использовать оптимизации для сокращения времени обучения. Другие оценки стоимости обучения GPT-3 варьируются от $500 000 до $4,6 млн, в зависимости от допущений об оборудовании. Обратите внимание, что это стоимость одного прогона, а не общая стоимость. Скорее всего, потребуется несколько прогонов, а облачные провайдеры захотят долгосрочных обязательств (подробнее об этом ниже). Обучение моделей высшего класса остаётся дорогим, но по силам хорошо финансируемому стартапу.

Подводя итог: генеративный ИИ требует сегодня масштабных инвестиций в ИИ-инфраструктуру. Нет оснований полагать, что в ближайшем будущем это изменится. Обучение модели вроде GPT-3 — одна из самых вычислительно интенсивных задач, за которые когда-либо бралось человечество. И хотя GPU становятся быстрее, а мы находим способы оптимизировать обучение, стремительная экспансия ИИ нивелирует оба этих эффекта.

Соображения по ИИ-инфраструктуре

До этого момента мы пытались дать вам некоторое интуитивное понимание масштаба, необходимого для обучения и инференса ИИ-моделей, и того, какие лежащие в основе параметры их определяют. С учётом этого контекста мы теперь хотим дать несколько практических рекомендаций о том, как решать, какую ИИ-инфраструктуру использовать.

Внешняя инфраструктура против собственной

Признаем честно: GPU — это круто. Многие инженеры и основатели с инженерным складом ума склонны разворачивать собственное ИИ-оборудование не только потому, что это даёт тонкий контроль над обучением модели, но и потому, что в обуздании огромных вычислительных мощностей есть что-то по-настоящему увлекательное (экспонат А).

Реальность, однако, такова, что многим стартапам — особенно app-компаниям — не нужно строить собственную ИИ-инфраструктуру с первого дня. Вместо этого хостируемые модельные сервисы, такие как OpenAI или Hugging Face (для языка) и Replicate (для генерации изображений), позволяют основателям быстро искать product-market fit без необходимости управлять лежащей в основе инфраструктурой или моделями.

Эти сервисы стали настолько хороши, что многие компании так и не отказываются от них. Разработчики могут добиться значимого контроля над производительностью модели через prompt engineering и абстракции тонкой настройки более высокого порядка (т. е. fine-tuning через API-вызовы). Цены на эти сервисы основаны на потреблении, поэтому это зачастую и дешевле, чем эксплуатировать отдельную инфраструктуру. Мы видели app-компании, генерирующие более $50 млн ARR и оценённые более чем в $1 млрд, которые под капотом работают на хостируемых модельных сервисах.

С другой стороны, некоторые стартапы — особенно те, что обучают новые базовые модели или строят вертикально интегрированные ИИ-приложения, — не могут избежать запуска собственных моделей напрямую на GPU. Либо потому, что модель фактически и есть продукт, а команда ищет «model-market fit», либо потому, что тонкий контроль над обучением и/или инференсом необходим для достижения определённых возможностей или снижения предельных затрат на большом масштабе. В любом случае управление инфраструктурой может стать источником конкурентного преимущества.

Облако против строительства собственного дата-центра

В большинстве случаев облако — правильное место для вашей ИИ-инфраструктуры. Меньше первоначальных затрат, возможность масштабироваться вверх и вниз, региональная доступность и меньше отвлечения на строительство собственного дата-центра — всё это убедительно для большинства стартапов и крупных компаний.

Но есть несколько исключений из этого правила:

Если вы работаете в очень большом масштабе, может оказаться экономически более выгодным эксплуатировать собственный дата-центр. Точная точка безубыточности варьируется в зависимости от географического расположения и конфигурации, но обычно для этого требуются расходы на инфраструктуру более $50 млн в год. Вам нужно очень специфическое оборудование, которое вы не можете получить у облачного провайдера. Например, типы GPU, не имеющиеся в широком доступе, а также необычные требования к памяти, хранилищу или сети. Вы не можете найти облако, приемлемое по геополитическим соображениям.

Если вы всё же хотите построить собственный дата-центр, существуют обстоятельные анализы соотношения цена/производительность GPU для вашей конфигурации (например, анализ Тима Деттмерса). Помимо стоимости и производительности самой карты, выбор оборудования зависит также от питания, пространства и охлаждения. Например, две карты RTX 3080 Ti вместе имеют сходную с A100 чистую вычислительную мощность, но их соответствующее энергопотребление составляет 700 Вт против 300 Вт. Разница в 3500 кВт·ч при рыночных ценах $0,10/кВт·ч за трёхлетний жизненный цикл увеличивает стоимость RTX3080 Ti почти в 2 раза (примерно на $1000).

При всём сказанном мы ожидаем, что подавляющее большинство стартапов будут использовать облачные вычисления.

Сравнение облачных провайдеров

Amazon Web Services (AWS), Microsoft Azure и Google Cloud Platform (GCP) — все предлагают GPU-инстансы, но появляются и новые провайдеры, специально сфокусированные на ИИ-нагрузках. Вот система координат, которую, как мы видели, многие основатели используют для выбора облачного провайдера:

Цена: В таблице ниже показаны цены ряда крупных и более мелких специализированных облаков по состоянию на 7 апреля 2023 года. Эти данные лишь ориентировочны, поскольку инстансы существенно различаются по пропускной способности сети, стоимости исходящего трафика данных, дополнительным затратам на CPU и сеть, доступным скидкам и другим факторам. Например, Google требует инстанс A2 accelerated-optimized для A100 40GB, что может увеличить стоимость на 25%.

Вычислительные мощности на конкретном оборудовании — это товар широкого потребления. Наивно мы ожидали бы достаточно однородных цен, но это не так. И хотя между облаками существуют значительные различия в функциях, их недостаточно, чтобы объяснить, почему цена на NVIDIA A100 по требованию (on-demand) различается у провайдеров почти в 4 раза.

На верхнем краю ценовой шкалы крупные публичные облака берут наценку, основанную на репутации бренда, доказанной надёжности и необходимости управлять широким спектром нагрузок. Более мелкие специализированные ИИ-провайдеры предлагают более низкие цены — либо за счёт эксплуатации специально спроектированных дата-центров (например, Coreweave), либо за счёт арбитража других облаков (например, Lambda Labs).

На практике большинство крупных покупателей договариваются о ценах напрямую с облачными провайдерами, нередко беря на себя обязательства по некоторому минимальному объёму расходов, а также минимальные временные обязательства (мы видели 1–3 года). Разница в ценах между облаками после переговоров несколько сокращается, но, как мы видели, ранжирование в таблице выше остаётся относительно стабильным. Важно также отметить, что небольшие компании могут получить агрессивные цены у специализированных облаков без крупных обязательств по расходам.

Доступность: Самые мощные GPU (например, Nvidia A100) стабильно находятся в дефиците на протяжении последних 12+ месяцев.

Логично было бы думать, что у тройки крупнейших облачных провайдеров наилучшая доступность, учитывая их большую покупательную способность и пул ресурсов. Но, как ни странно, многие стартапы обнаружили, что это не так. У крупных облаков много оборудования, но также и крупные потребности клиентов, которые нужно удовлетворять, — например, Azure является основным хостом для ChatGPT, — и они постоянно добавляют/арендуют мощности, чтобы удовлетворить спрос. Тем временем Nvidia взяла на себя обязательство делать оборудование широко доступным по всей индустрии, включая выделение объёмов новым специализированным провайдерам. (Они делают это как ради справедливости, так и чтобы снизить свою зависимость от нескольких крупных клиентов, которые к тому же конкурируют с ними.)

В результате многие стартапы находят больше доступных чипов, включая передовые Nvidia H100, у более мелких облачных провайдеров. Если вы готовы работать с более новой инфраструктурной компанией, возможно, вам удастся сократить время ожидания оборудования и, не исключено, сэкономить деньги в процессе.

Модель предоставления вычислений: Крупные облака сегодня предлагают только инстансы с выделенными GPU, причина в том, что виртуализация GPU всё ещё остаётся нерешённой проблемой. Специализированные ИИ-облака предлагают другие модели, такие как контейнеры или пакетные задания (batch jobs), которые могут обрабатывать отдельные задачи без затрат на запуск и завершение инстанса. Если вам комфортна такая модель, она может существенно снизить стоимость.

Сетевые межсоединения: Для обучения, в частности, пропускная способность сети является важным фактором при выборе провайдера. Кластеры с выделенными фабриками между узлами, такими как NVLink, необходимы для обучения определённых крупных моделей. Для генерации изображений значимым драйвером затрат могут стать и платежи за исходящий (egress) трафик.

Поддержка клиентов: Крупные облачные провайдеры обслуживают огромный пул клиентов по тысячам товарных позиций (SKU). Бывает трудно привлечь внимание поддержки или добиться устранения проблемы, если вы не крупный клиент. Многие специализированные ИИ-облака, напротив, предлагают быструю и отзывчивую поддержку даже для небольших клиентов. Отчасти это потому, что они работают в меньшем масштабе, но также и потому, что их нагрузки более однородны — поэтому у них больше стимулов фокусироваться на специфичных для ИИ функциях и багах.

Сравнение GPU

При прочих равных топовые GPU покажут лучшую производительность почти на всех нагрузках. Однако, как видно из таблицы ниже, лучшее оборудование также существенно дороже. Выбор правильного типа GPU под ваше конкретное приложение может существенно снизить затраты и оказаться тем, что отличает жизнеспособную бизнес-модель от нежизнеспособной.

Решение о том, как далеко спускаться по списку — то есть определение наиболее экономически эффективных вариантов GPU для вашего приложения, — это во многом техническое решение, выходящее за рамки этой статьи. Но ниже мы поделимся некоторыми критериями выбора, которые, как мы видели, наиболее важны:

Обучение против инференса: Как мы видели в первом разделе выше, обучение модели-трансформера требует хранить дополнительные 8 байт данных для обучения помимо весов модели. Это означает, что типичный высококлассный потребительский GPU с 12 ГБ памяти едва ли можно было бы использовать для обучения модели с 4 миллиардами параметров. На практике обучение крупных моделей выполняется на кластерах машин, предпочтительно с многими GPU на сервер, большим объёмом VRAM и высокоскоростными соединениями между серверами (т. е. на кластерах, построенных на топовых дата-центровых GPU).

В частности, многие модели будут наиболее экономически эффективны на NVIDIA H100, но на сегодняшний день её трудно найти, и обычно она требует долгосрочного обязательства более чем на год. NVIDIA A100 обеспечивает большую часть обучения моделей сегодня; её легче найти, но для крупных кластеров она тоже может требовать долгосрочного обязательства.

Требования к памяти: У больших LLM число параметров слишком велико, чтобы поместиться в какую-либо одну карту. Их нужно разбивать между несколькими картами, и они требуют конфигурации, схожей с обучением. Иными словами, вам, вероятно, нужны H100 или A100 даже для инференса LLM. Но более мелкие модели (например, Stable Diffusion) требуют гораздо меньше VRAM. Хотя A100 всё ещё популярна, мы видели, как стартапы используют A10, A40, A4000, A5000 и A6000 или даже карты RTX.

Поддержка оборудования: Хотя подавляющее большинство нагрузок в компаниях, с которыми мы общались, работают на NVIDIA, некоторые начали экспериментировать с другими вендорами. Наиболее распространён Google TPU, но Intel Gaudi 2, по-видимому, тоже набирает некоторую популярность. Сложность с этими вендорами в том, что производительность вашей модели часто сильно зависит от наличия программных оптимизаций под эти чипы. Вам, вероятно, придётся провести PoC, чтобы понять производительность.

Требования к задержке (latency): В целом менее чувствительные к задержке нагрузки (например, пакетная обработка данных или приложения, не требующие интерактивных откликов UI) могут использовать менее мощные GPU. Это может снизить вычислительные затраты в 3–4 раза (например, при сравнении A100 с A10 на AWS). Приложения, обращённые к пользователю, напротив, часто нуждаются в топовых картах, чтобы обеспечить вовлекающий пользовательский опыт в реальном времени. Оптимизация моделей зачастую необходима, чтобы привести затраты к управляемому диапазону.

Всплески нагрузки (spikiness): Генеративные ИИ-компании часто наблюдают резкие всплески спроса, поскольку технология настолько нова и притягательна. Нередко объём запросов вырастает в 10 раз за день после выпуска нового продукта или стабильно растёт на 50% в неделю. Справляться с такими всплесками зачастую проще на менее производительных GPU, поскольку большее число вычислительных узлов с большей вероятностью доступно по требованию. Часто также имеет смысл обслуживать такой трафик более дешёвыми ресурсами — в ущерб производительности, — если он исходит от менее вовлечённых или менее удерживаемых пользователей.

Оптимизация и планирование моделей

Программные оптимизации могут колоссально влиять на время выполнения моделей — выигрыш в 10 раз не редкость. Однако вам нужно будет определить, какие методы окажутся наиболее эффективными именно с вашей моделью и системой.

Некоторые техники работают с достаточно широким спектром моделей. Использование более коротких представлений с плавающей точкой (т. е. FP16 или FP8 вместо исходного FP32) или квантизация (INT8, INT4, INT2) обеспечивают ускорение, которое часто линейно сокращению числа бит. Иногда это требует модификации модели, но всё чаще доступны технологии, автоматизирующие работу со смешанной или укороченной точностью. Прунинг нейронных сетей сокращает число весов, отбрасывая веса с низкими значениями. Вместе с эффективным перемножением разреженных матриц это может обеспечить существенное ускорение на современных GPU. Ещё один набор техник оптимизации направлен на узкое место пропускной способности памяти (например, за счёт потоковой передачи весов модели).

Другие оптимизации сильно специфичны для конкретной модели. Например, Stable Diffusion добился значительного прогресса в объёме VRAM, необходимом для инференса. Ещё один класс оптимизаций специфичен для оборудования. TensorRT от NVIDIA включает ряд оптимизаций, но будет работать только на оборудовании NVIDIA. И наконец, что не менее важно, планирование ИИ-задач может создавать огромные узкие места по производительности или, наоборот, улучшения. Распределение моделей по GPU так, чтобы минимизировать перекачку (swapping) весов, выбор лучшего GPU под задачу, если доступно несколько, и минимизация простоев за счёт заблаговременной пакетной группировки нагрузок — распространённые техники.

В конечном счёте оптимизация моделей всё ещё немного похожа на чёрную магию, и большинство стартапов, с которыми мы общаемся, работают со сторонними компаниями, помогающими с некоторыми из этих программных аспектов. Зачастую это не традиционные MLops-вендоры, а компании, специализирующиеся на оптимизациях под конкретные генеративные модели (например, OctoML или SegMind).

Как будет эволюционировать стоимость ИИ-инфраструктуры?

За последние несколько лет мы наблюдали экспоненциальный рост как числа параметров моделей, так и вычислительной мощности GPU. Неясно, продолжится ли эта тенденция.

Сегодня широко признано, что существует связь между оптимальным числом параметров и размером обучающего набора данных (подробнее об этом см. работу Chinchilla от Deepmind). Лучшие LLM сегодня обучаются на Common Crawl (коллекция из 4,5 миллиарда веб-страниц, или около 10% всех существующих веб-страниц). Обучающий корпус также включает Wikipedia и собрание книг, хотя оба гораздо меньше (общее число существующих книг оценивается всего примерно в 100 миллионов). Предлагались и другие идеи, такие как транскрибирование видео- или аудиоконтента, но ни одна из них и близко не сопоставима по размеру. Неясно, сможем ли мы получить несинтетический обучающий набор данных, который был бы в 10 раз больше уже использованного.

Производительность GPU продолжит расти, но тоже более медленными темпами. Закон Мура всё ещё в силе, позволяя размещать больше транзисторов и больше ядер, но питание и ввод-вывод (I/O) становятся ограничивающими факторами. Кроме того, многие из лежащих на поверхности возможностей для оптимизации уже сорваны.

Однако ничто из этого не означает, что мы не ожидаем роста спроса на вычислительные мощности. Даже если рост моделей и обучающих наборов замедлится, рост ИИ-индустрии и увеличение числа ИИ-разработчиков будут подпитывать спрос на большее количество и более быстрые GPU. Значительная доля мощностей GPU используется для тестирования разработчиками на этапе разработки модели, и этот спрос масштабируется линейно с численностью персонала. Нет никаких признаков того, что нынешний дефицит GPU спадёт в ближайшем будущем.

Создаст ли эта сохраняющаяся высокая стоимость ИИ-инфраструктуры ров (moat), который сделает невозможным для новых игроков догнать хорошо финансируемых старожилов? Мы пока не знаем ответа на этот вопрос. Стоимость обучения LLM сегодня может выглядеть как ров, но открытые модели, такие как Alpaca или Stable Diffusion, показали, что эти рынки всё ещё на ранней стадии и могут быстро меняться. Со временем структура затрат формирующегося ИИ-софтверного стека (см. наш предыдущий пост) может начать всё больше напоминать традиционную софтверную индустрию.

В конечном счёте это было бы хорошо: история показала, что такое ведёт к живым экосистемам со стремительными инновациями и множеством возможностей для предприимчивых основателей.

Благодарим Moin Nadeem и Shangda Xu за их вклад и советы в процессе написания.

¹ Интуиция здесь в том, что для любого параметра (т. е. веса) в нейронной сети операция инференса (т. е. forward-проход) должна выполнить две операции с плавающей точкой на параметр. Сначала она умножает значение входного узла нейронной сети на параметр. Затем прибавляет результат суммирования к выходному узлу нейронной сети. Параметры в энкодере используются один раз на входной токен, а параметры в декодере — один раз на выходной токен. Если предположить, что модель имеет p параметров, а вход и выход оба имеют длину n токенов, то общее число операций с плавающей точкой составляет n * p. В модели происходит много других операций (например, нормализация, кодирование/декодирование эмбеддингов), но время на их выполнение мало в сравнении.

² Обучение сначала требует forward-прохода через трансформер, как описано выше, за которым следует backward-проход, влекущий четыре дополнительные операции на параметр для расчёта градиента и корректировки веса. Обратите внимание, что расчёт градиента требует сохранения вычисленных значений узлов из forward-прохода. Для GPT-3 о стоимости обучения говорится в Language Models are Few-Shot Learners.

* * *

Высказанные здесь взгляды принадлежат соответствующим сотрудникам AH Capital Management, L.L.C. («a16z»), которые их озвучили, и не являются взглядами a16z или её аффилированных лиц. Определённая информация, содержащаяся здесь, была получена из сторонних источников, в том числе от портфельных компаний фондов под управлением a16z. Хотя информация взята из источников, считающихся надёжными, a16z не проверяла её независимо и не делает заявлений относительно непреходящей точности информации или её пригодности для конкретной ситуации. Кроме того, этот контент может включать рекламу третьих лиц; a16z не проверяла такую рекламу и не одобряет какой-либо содержащийся в ней рекламный контент.

Этот контент предоставляется исключительно в информационных целях и не должен рассматриваться как юридическая, деловая, инвестиционная или налоговая консультация. По этим вопросам вам следует проконсультироваться со своими собственными советниками. Упоминания каких-либо ценных бумаг или цифровых активов приводятся лишь в иллюстративных целях и не являются инвестиционной рекомендацией или предложением предоставить услуги инвестиционного консультирования. Более того, этот контент не направлен и не предназначен для использования какими-либо инвесторами или потенциальными инвесторами и ни при каких обстоятельствах не может служить основанием при принятии решения об инвестировании в какой-либо фонд под управлением a16z. (Предложение инвестировать в фонд a16z будет сделано только посредством меморандума о частном размещении, договора подписки и иной соответствующей документации такого фонда, и его следует читать целиком.) Любые упомянутые, отсылаемые или описываемые инвестиции или портфельные компании не являются репрезентативными для всех инвестиций в инструменты под управлением a16z, и не может быть никаких гарантий, что инвестиции окажутся прибыльными или что иные инвестиции, сделанные в будущем, будут иметь схожие характеристики или результаты. Перечень инвестиций, сделанных фондами под управлением Andreessen Horowitz (за исключением инвестиций, по которым эмитент не дал a16z разрешения на публичное раскрытие, а также необъявленных инвестиций в публично торгуемые цифровые активы), доступен по адресу https://a16z.com/investments/.

Приводимые здесь диаграммы и графики предназначены исключительно для информационных целей и не должны служить основанием при принятии какого-либо инвестиционного решения. Прошлые результаты не являются индикатором будущих результатов. Содержание актуально только на указанную дату. Любые прогнозы, оценки, предсказания, цели, перспективы и/или мнения, выраженные в этих материалах, могут изменяться без уведомления и могут отличаться или противоречить мнениям, выраженным другими. Дополнительную важную информацию см. на https://a16z.com/disclosures.

Guido Appenzeller

— инвестор в Andreessen Horowitz, где он фокусируется на ИИ, инфраструктуре, технологиях с открытым исходным кодом и кремнии (полупроводниках).

Matt Bornstein

— генеральный партнёр в Andreessen Horowitz, сосредоточенный на ИИ и системах данных.

Martin Casado

— генеральный партнёр в Andreessen Horowitz, где он возглавляет инфраструктурное направление фирмы.

Почему нам нужно непрерывное обучение

И ты, агент? Ты установил бэкдор?

Вашим дата-агентам нужен контекст

Топ-100 потребительских Gen AI приложений — 6-е издание

Я создал TetrisBench, где LLM соревнуются в игре в Tetris. Вот что я обнаружил.

Хотите больше про инфраструктуру?

Аналитика и новости о новейших трендах, переформирующих ИИ и инфраструктуру.

Взгляды, выраженные в «постах» (включая подкасты, видео и социальные сети), принадлежат соответствующим сотрудникам a16z, которые их озвучили, и не являются взглядами a16z Capital Management, L.L.C. («a16z») или её соответствующих аффилированных лиц. a16z Capital Management — инвестиционный консультант, зарегистрированный в Комиссии по ценным бумагам и биржам (SEC). Регистрация в качестве инвестиционного консультанта не подразумевает какого-либо особого умения или подготовки. Посты не направлены каким-либо инвесторам или потенциальным инвесторам и не являются предложением продать — или приглашением сделать предложение купить — какие-либо ценные бумаги и не могут использоваться или служить основанием при оценке достоинств какой-либо инвестиции.

Содержание здесь — и доступное на любых связанных платформах распространения и любых публичных онлайн-аккаунтах a16z в социальных сетях, платформах и сайтах (совокупно — «каналы распространения контента») — не должно толковаться или служить основанием каким-либо образом как инвестиционная, юридическая, налоговая или иная консультация. По юридическим, деловым, налоговым и иным связанным вопросам, касающимся любой инвестиции, вам следует проконсультироваться со своими собственными советниками. Любые прогнозы, оценки, предсказания, цели, перспективы и/или мнения, выраженные в этих материалах, могут изменяться без уведомления и могут отличаться или противоречить мнениям, выраженным другими. Любые приводимые здесь или на каналах распространения контента a16z диаграммы предназначены исключительно для информационных целей и не должны служить основанием при принятии какого-либо инвестиционного решения. Определённая информация, содержащаяся здесь, была получена из сторонних источников, в том числе от портфельных компаний фондов под управлением a16z. Хотя информация взята из источников, считающихся надёжными, a16z не проверяла её независимо и не делает заявлений относительно непреходящей точности информации или её пригодности для конкретной ситуации. Кроме того, посты могут включать рекламу третьих лиц; a16z не проверяла такую рекламу и не одобряет какой-либо содержащийся в ней рекламный контент. Всё содержание актуально только на указанную дату.

Ни при каких обстоятельствах любые посты или иная информация, предоставленная на этом веб-сайте — или на связанных каналах распространения контента, — не должны толковаться как предложение, побуждающее к покупке или продаже какой-либо ценной бумаги или доли в каком-либо объединённом инвестиционном инструменте, спонсируемом, обсуждаемом или упоминаемом сотрудниками a16z. Не должны они толковаться и как предложение предоставить услуги инвестиционного консультирования; предложение инвестировать в управляемый a16z объединённый инвестиционный инструмент будет сделано отдельно и только посредством конфиденциальных документов о размещении конкретных объединённых инвестиционных инструментов — которые следует читать целиком и только тем, кто, среди прочих требований, удовлетворяет определённым квалификациям по федеральному законодательству о ценных бумагах. Такие инвесторы, определяемые как аккредитованные инвесторы и квалифицированные покупатели, как правило, считаются способными оценить достоинства и риски предполагаемых инвестиций и финансовые вопросы.

Не может быть никаких гарантий, что инвестиционные цели a16z будут достигнуты или что инвестиционные стратегии окажутся успешными. Любая инвестиция в инструмент под управлением a16z сопряжена с высокой степенью риска, включая риск потери всей вложенной суммы. Любые упомянутые, отсылаемые или описываемые инвестиции или портфельные компании не являются репрезентативными для всех инвестиций в инструменты под управлением a16z, и не может быть никаких гарантий, что инвестиции окажутся прибыльными или что иные инвестиции, сделанные в будущем, будут иметь схожие характеристики или результаты. Перечень инвестиций, сделанных фондами под управлением a16z, доступен здесь: https://a16z.com/investments/. Прошлые результаты инвестиций a16z, объединённых инвестиционных инструментов или инвестиционных стратегий не обязательно являются индикатором будущих результатов. Из этого перечня исключены инвестиции (и определённые публично торгуемые криптовалюты/цифровые активы), по которым эмитент не дал a16z разрешения на публичное раскрытие. Что касается её инвестиций в любой криптовалютный или токен-проект, a16z действует в своих собственных финансовых интересах, не обязательно в интересах других держателей токенов. a16z не играет особой роли ни в одном из этих проектов и не имеет власти над их управлением. a16z не обязуется и далее иметь какое-либо участие в этих проектах, кроме как в качестве инвестора и держателя токенов, и другим держателям токенов не следует ожидать, что она будет или станет иметь какое-либо особое участие, или полагаться на это.

В отношении фондов под управлением a16z, зарегистрированных в Японии, a16z предоставит любому представителю японской общественности копию таких документов, которые требуется сделать публично доступными в соответствии со статьёй 63 Закона Японии о финансовых инструментах и биржах. Для запроса таких документов, пожалуйста, свяжитесь по адресу compliance@a16z.com.

Прочие условия использования сайта см. здесь. Дополнительная важная информация о a16z, включая нашу брошюру Form ADV Part 2A, доступна на веб-сайте SEC: http://www.adviserinfo.sec.gov.