Navigating the High Cost of AI Compute | Andreessen Horowitz

Navigating the High Cost of AI Compute

Как ориентироваться в высокой стоимости вычислений для ИИ

Source: Midjourney

Источник: Midjourney

The generative AI boom is compute-bound. It has the unique property that adding more compute directly results in a better product. Usually, R&D investment is more directly tied to how valuable a product was, and that relationship is markedly sublinear. But this is not currently so with artificial intelligence and, as a result, a predominant factor driving the industry today is simply the cost of training and inference. 

Бум генеративного ИИ ограничен вычислительными мощностями. У него есть уникальное свойство: добавление вычислений напрямую приводит к более качественному продукту. Обычно инвестиции в R&D связаны с ценностью продукта не столь прямо, и эта зависимость заметно сублинейна. Но в случае с искусственным интеллектом сейчас это не так, и в результате доминирующим фактором, определяющим индустрию сегодня, оказывается попросту стоимость обучения и инференса.

While we don’t know the true numbers, we’ve heard from reputable sources that the supply of compute is so constrained, demand outstrips it by a factor of 10(!) So we think it’s fair to say that, right now, access to compute resources—at the lowest total cost—has become a determining factor for the success of AI companies.

Хотя истинные цифры нам неизвестны, мы слышали от заслуживающих доверия источников, что предложение вычислительных мощностей настолько ограничено, что спрос превышает его в 10 раз(!). Поэтому, на наш взгляд, справедливо сказать, что прямо сейчас доступ к вычислительным ресурсам — по наименьшей суммарной стоимости — стал определяющим фактором успеха ИИ-компаний.

In fact, we’ve seen many companies spend more than 80% of their total capital raised on compute resources!

На деле мы видели множество компаний, которые тратили более 80% всего привлечённого капитала на вычислительные ресурсы!

In this post, we try to break down the cost factors for an AI company. The absolute numbers will of course change over time, but we don’t see immediate relief from AI companies being bound by their access to compute resources. So, hopefully, this is a helpful framework for thinking through the landscape. 

В этом посте мы попытаемся разложить на составляющие факторы стоимости для ИИ-компании. Абсолютные цифры, разумеется, со временем изменятся, но мы не видим скорого облегчения ситуации, при которой ИИ-компании ограничены доступом к вычислительным ресурсам. Так что, надеемся, это окажется полезной системой координат для осмысления ландшафта.

Why are AI models so computationally expensive?

Почему ИИ-модели так дороги в вычислительном плане?

There is a wide variety of generative AI models, and inference and training costs depend on the size and type of the model. Fortunately, the most popular models today are mostly transformer-based architectures, which include popular large language models (LLMs) such as GPT-3, GPT-J, or BERT. While the exact number of operations for inference and learning of transformers is model-specific (see this paper), there is a fairly accurate rule of thumb that depends only on the number of parameters (i.e., the weights of the neural networks) of the model and the number of input and output tokens. 

Существует широкое многообразие генеративных ИИ-моделей, и стоимость инференса и обучения зависит от размера и типа модели. К счастью, самые популярные сегодня модели — это в основном архитектуры на базе трансформеров, к которым относятся популярные большие языковые модели (LLM), такие как GPT-3, GPT-J или BERT. Хотя точное число операций для инференса и обучения трансформеров зависит от конкретной модели (см. эту статью), есть достаточно точное эмпирическое правило, которое зависит лишь от числа параметров (т. е. весов нейронной сети) модели и числа входных и выходных токенов.

Tokens are essentially short sequences of a few characters. They correspond to words or parts of words. The best way to get an intuition for tokens is to try out tokenization with publicly available online tokenizers (e.g., OpenAI). For GPT-3, the average length of a token is 4 characters. 

Токены — это, по сути, короткие последовательности из нескольких символов. Они соответствуют словам или частям слов. Лучший способ выработать интуицию относительно токенов — попробовать токенизацию с помощью доступных в сети токенизаторов (например, OpenAI). Для GPT-3 средняя длина токена составляет 4 символа.

The rule of thumb for transformers is that a forward pass (i.e., inference) for a model with p parameters for an input and an output sequence of length n tokens each, takes approximately 2*n*p floating point operations (FLOPs)¹. Training for the same model takes approximately 6*p FLOPs per token (i.e., the additional backward pass requires four more operations²). You can approximate total training cost by multiplying this by the amount of tokens in the training data.

Эмпирическое правило для трансформеров таково: forward-проход (т. е. инференс) для модели с p параметрами при входной и выходной последовательностях длиной по n токенов каждая, требует примерно 2*n*p операций с плавающей точкой (FLOPs)¹. Обучение той же модели требует примерно 6*p FLOPs на токен (т. е. дополнительный backward-проход требует ещё четырёх операций²). Полную стоимость обучения можно приблизительно оценить, умножив это на количество токенов в обучающих данных.

Memory requirements for transformers also depend on model size. For inference, we need the p model parameters to fit into memory. For learning (i.e., back-propagation), we need to store additional intermediate values per parameter between the forward and backward pass. Assuming we use 32-bit floating point numbers, this is an additional 8 bytes per parameter. For training a 175-billion-parameter model, we would need to keep over a terabyte of data in memory — this exceeds any GPU in existence today and requires us to split the model up across cards. Memory requirements for inference and training can be optimized by using floating point values of shorter lengths, with 16-bit becoming common and 8-bit anticipated in the near future.

Требования к памяти у трансформеров также зависят от размера модели. Для инференса нам нужно разместить в памяти p параметров модели. Для обучения (т. е. обратного распространения) нам нужно хранить дополнительные промежуточные значения на каждый параметр между forward- и backward-проходами. Если предположить, что мы используем 32-битные числа с плавающей точкой, это даёт дополнительные 8 байт на параметр. Для обучения модели со 175 миллиардами параметров нам потребовалось бы держать в памяти более терабайта данных — это превосходит любой существующий сегодня GPU и вынуждает нас разбивать модель между картами. Требования к памяти для инференса и обучения можно оптимизировать, используя числа с плавающей точкой меньшей разрядности, при этом 16-битные становятся обычным делом, а 8-битные ожидаются в ближайшем будущем.

The table above has sizes and compute costs for several popular models. GPT-3 has approximately 175 billion parameters, which for an input and output of 1,024 tokens, results in a computational cost of approximately 350 trillion floating point operations (i.e., Teraflops or TFLOPs). Training a model like GPT-3 takes about 3.14*10^23 floating point operations. Other models like Meta’s LLaMA have even higher compute requirements. Training such a model is one of the more computationally intensive tasks mankind has undertaken so far. 

В таблице выше приведены размеры и вычислительные затраты для нескольких популярных моделей. У GPT-3 примерно 175 миллиардов параметров, что при входе и выходе по 1024 токена даёт вычислительные затраты порядка 350 триллионов операций с плавающей точкой (т. е. терафлопов, или TFLOPs). Обучение модели вроде GPT-3 требует около 3,14*10^23 операций с плавающей точкой. У других моделей, таких как LLaMA от Meta, требования к вычислениям ещё выше. Обучение такой модели — одна из самых вычислительно интенсивных задач, за которые когда-либо бралось человечество.

To summarize: AI infrastructure is expensive because the underlying algorithmic problems are extremely computationally hard. The algorithmic complexity of sorting a database table with a million entries is insignificant compared with the complexity of generating a single word with GPT-3. This means you want to pick the smallest model that solves your use case. 

Подведём итог: ИИ-инфраструктура дорога, потому что лежащие в её основе алгоритмические задачи чрезвычайно сложны в вычислительном плане. Алгоритмическая сложность сортировки таблицы базы данных с миллионом записей ничтожна по сравнению со сложностью генерации одного-единственного слова с помощью GPT-3. Это означает, что вам стоит выбирать наименьшую модель, которая решает вашу задачу.

The good news is that, for transformers, we can easily estimate how much compute and memory a model of a certain size will consume. And, so, picking the right hardware becomes the next consideration. 

Хорошая новость в том, что для трансформеров мы легко можем оценить, сколько вычислений и памяти потребит модель того или иного размера. И поэтому следующим вопросом становится выбор подходящего оборудования.

The time and cost argument for GPUs

Аргумент в пользу GPU с точки зрения времени и стоимости

How does computational complexity translate to time? A processor core can typically execute 1-2 instructions per cycle, and processor clock rates have been stable around 3 GHz for the past 15 years due to the end of Dennard Scaling. Executing a single GPT-3 inference operation without exploiting any parallel architecture would take on the order of 350 TFLOPs/(3 GHz*1 FLOP) or 116,000 seconds, or 32 hours. This is wildly impractical; instead we need specialized chips that accelerate this task.

Как вычислительная сложность переводится во время? Ядро процессора обычно может выполнять 1–2 инструкции за такт, а тактовые частоты процессоров стабильно держатся около 3 ГГц последние 15 лет из-за окончания масштабирования Деннарда. Выполнение одной операции инференса GPT-3 без использования какой-либо параллельной архитектуры заняло бы порядка 350 TFLOPs/(3 ГГц*1 FLOP), или 116 000 секунд, или 32 часа. Это совершенно непрактично; вместо этого нам нужны специализированные чипы, ускоряющие эту задачу.

In practice, all AI models today run on cards that use a very large number of specialized cores. For example, an NVIDIA A100 GPU has 512 “tensor cores” that can perform a 4×4 matrix multiplication (which is equivalent to 64 multiplications and additions, or 128 FLOPs) in a single cycle. AI accelerator cards are often referred to as GPUs (graphics processing units), as the architecture was originally developed for desktop gaming. In the future we expect AI to increasingly become a distinct product family. 

На практике все современные ИИ-модели работают на картах, использующих очень большое число специализированных ядер. Например, у GPU NVIDIA A100 есть 512 «тензорных ядер», которые могут выполнить перемножение матриц 4×4 (что эквивалентно 64 умножениям и сложениям, или 128 FLOPs) за один такт. ИИ-ускорители часто называют GPU (graphics processing units, графические процессоры), поскольку эта архитектура изначально разрабатывалась для настольных игр. В будущем мы ожидаем, что ИИ всё больше будет становиться отдельным семейством продуктов.

The A100 has a nominal performance of 312 TFLOPS which in theory would reduce the inference for GPT-3 to about 1 second. However this is an oversimplified calculation for several reasons. First, for most use cases, the bottleneck is not the compute power of the GPU but the ability to get data from the specialized graphics memory to the tensor cores. Second, the 175 billion weights would take up 700GB and won’t fit into the graphics memory of any GPU. Techniques such as partitioning and weight streaming need to be used. And, third, there are a number of optimizations (e.g., using shorter floating point representations, such as FP16, FP8, or sparse matrices) that are being used to accelerate computation. But, overall, the above math gives us an intuition of the overall computation cost of today’s LLMs.

У A100 номинальная производительность 312 TFLOPS, что в теории сократило бы инференс GPT-3 примерно до 1 секунды. Однако это упрощённый расчёт по нескольким причинам. Во-первых, для большинства сценариев узким местом является не вычислительная мощность GPU, а способность доставить данные из специализированной графической памяти к тензорным ядрам. Во-вторых, 175 миллиардов весов заняли бы 700 ГБ и не поместятся в графическую память ни одного GPU. Нужно применять такие техники, как партиционирование и потоковая передача весов. И в-третьих, существует ряд оптимизаций (например, использование более коротких представлений с плавающей точкой, таких как FP16, FP8, или разреженных матриц), применяемых для ускорения вычислений. Но в целом приведённая выше математика даёт нам интуитивное понимание общих вычислительных затрат современных LLM.

Training a transformer model takes about three times as long per token as doing inference. However, given that the training data set is about 300 million times larger than an inference prompt, training takes longer by a factor of 1 billion. On a single GPU, training would take decades; in practice this is done on large compute clusters in dedicated data centers or, more likely, in the cloud. Training is also harder to parallelize than inference, as updated weights have to be exchanged between nodes. Memory and bandwidth between GPUs often becomes a far more important factor, with high-speed interconnects and dedicated fabrics being common. For training very large models, creating a suitable network setup can be the primary challenge. Looking into the future, AI accelerators will have networking capabilities on the card or even on the chip. 

Обучение модели-трансформера занимает примерно втрое больше времени на токен, чем инференс. Однако, учитывая, что обучающий набор данных примерно в 300 миллионов раз больше, чем промпт для инференса, обучение длится дольше в миллиард раз. На одном GPU обучение заняло бы десятилетия; на практике это делается на больших вычислительных кластерах в выделенных дата-центрах или, что более вероятно, в облаке. Обучение также сложнее распараллелить, чем инференс, поскольку обновлённые веса приходится обмениваться между узлами. Память и пропускная способность между GPU часто становятся куда более важным фактором, при этом обычным делом являются высокоскоростные межсоединения и выделенные фабрики. Для обучения очень крупных моделей создание подходящей сетевой конфигурации может оказаться главной трудностью. Заглядывая в будущее, ИИ-ускорители будут иметь сетевые возможности на карте или даже на чипе.

How does this computational complexity translate to cost? A GPT-3 inference, which, as we saw above, takes approximately 1 second on an A100 would have a raw compute cost between $0.0002 and $0.0014 for 1,000 tokens (this compares to OpenAI’s pricing of $0.002/1000 tokens). A user generating 100 inference requests a day would cost in the order of dollars per year. This is a very low price point and makes most use cases of text-based AI by humans financially viable.

Как эта вычислительная сложность переводится в стоимость? Инференс GPT-3, который, как мы видели выше, занимает примерно 1 секунду на A100, имел бы чисто вычислительную стоимость от $0,0002 до $0,0014 за 1000 токенов (для сравнения, цена OpenAI составляет $0,002 за 1000 токенов). Пользователь, генерирующий 100 запросов на инференс в день, обходился бы в порядка нескольких долларов в год. Это очень низкая цена, и она делает большинство сценариев использования текстового ИИ людьми финансово жизнеспособными.

Training GPT-3, on the other hand, is much more expensive. Again calculating only the compute cost for 3.14*10^23 FLOPs at the above rates gives us an estimate of $560,000 on A100 cards for a single training run. In practice, for training we will not get nearly 100% efficiency in the GPU; however we can also use optimizations to reduce the training time. Other estimates of GPT-3 training cost range from $500,000 to $4.6 million, depending on hardware assumptions. Note that this is the cost of a single run and not overall cost. Multiple runs will likely be required and cloud providers will want long-term commitments (more on this below). Training top-of-the-line models remains expensive, but within reach of a well-funded start-up.

Обучение GPT-3, с другой стороны, обходится гораздо дороже. Снова рассчитывая только вычислительную стоимость для 3,14*10^23 FLOPs по приведённым выше ставкам, мы получаем оценку в $560 000 на картах A100 за один прогон обучения. На практике при обучении мы и близко не получим 100% эффективности GPU; однако мы также можем использовать оптимизации для сокращения времени обучения. Другие оценки стоимости обучения GPT-3 варьируются от $500 000 до $4,6 млн, в зависимости от допущений об оборудовании. Обратите внимание, что это стоимость одного прогона, а не общая стоимость. Скорее всего, потребуется несколько прогонов, а облачные провайдеры захотят долгосрочных обязательств (подробнее об этом ниже). Обучение моделей высшего класса остаётся дорогим, но по силам хорошо финансируемому стартапу.

To summarize, generative AI requires massive investments in AI infrastructure today. There is no reason to believe that this will change in the near future. Training a model like GPT-3 is one of the most computationally intensive tasks mankind has ever undertaken. And while GPUs are getting faster, and we find ways to optimize training, the rapid expansion of AI negates both of these effects.

Подводя итог: генеративный ИИ требует сегодня масштабных инвестиций в ИИ-инфраструктуру. Нет оснований полагать, что в ближайшем будущем это изменится. Обучение модели вроде GPT-3 — одна из самых вычислительно интенсивных задач, за которые когда-либо бралось человечество. И хотя GPU становятся быстрее, а мы находим способы оптимизировать обучение, стремительная экспансия ИИ нивелирует оба этих эффекта.

Considerations for AI infrastructure

Соображения по ИИ-инфраструктуре

To this point, we’ve tried to give you some intuition for the scale required to do training and inference of AI models, and what underlying parameters drive them. With that context, we now want to provide some practical guidance on how to decide which AI infrastructure to use.

До этого момента мы пытались дать вам некоторое интуитивное понимание масштаба, необходимого для обучения и инференса ИИ-моделей, и того, какие лежащие в основе параметры их определяют. С учётом этого контекста мы теперь хотим дать несколько практических рекомендаций о том, как решать, какую ИИ-инфраструктуру использовать.

External vs. in-house infrastructure

Внешняя инфраструктура против собственной

Let’s face it: GPUs are cool. Many engineers and engineering-minded founders have a bias toward provisioning their own AI hardware, not only because it gives fine-grained control over model training, but because there’s just something fun about harnessing large amounts of computing power (exhibit A).

Признаем честно: GPU — это круто. Многие инженеры и основатели с инженерным складом ума склонны разворачивать собственное ИИ-оборудование не только потому, что это даёт тонкий контроль над обучением модели, но и потому, что в обуздании огромных вычислительных мощностей есть что-то по-настоящему увлекательное (экспонат А).

The reality, however, is that many startups—especially app companies—don’t need to build their own AI infrastructure on Day 1. Instead, hosted model services like OpenAI or Hugging Face (for language) and Replicate (for image generation) allow founders to search rapidly for product-market fit without the need to manage the underlying infrastructure or models.

Реальность, однако, такова, что многим стартапам — особенно app-компаниям — не нужно строить собственную ИИ-инфраструктуру с первого дня. Вместо этого хостируемые модельные сервисы, такие как OpenAI или Hugging Face (для языка) и Replicate (для генерации изображений), позволяют основателям быстро искать product-market fit без необходимости управлять лежащей в основе инфраструктурой или моделями.

These services have gotten so good that many companies never graduate from them. Developers can achieve meaningful control over model performance through prompt engineering and higher-order fine-tuning abstractions (i.e., fine tuning through API calls). Pricing for these services is consumption-based, so it’s also often cheaper than running separate infrastructure. We’ve seen app companies generating more than $50 million of ARR, and valued over $1 billion, that run hosted model services under the hood.

Эти сервисы стали настолько хороши, что многие компании так и не отказываются от них. Разработчики могут добиться значимого контроля над производительностью модели через prompt engineering и абстракции тонкой настройки более высокого порядка (т. е. fine-tuning через API-вызовы). Цены на эти сервисы основаны на потреблении, поэтому это зачастую и дешевле, чем эксплуатировать отдельную инфраструктуру. Мы видели app-компании, генерирующие более $50 млн ARR и оценённые более чем в $1 млрд, которые под капотом работают на хостируемых модельных сервисах.

On the flip side, some startups—especially those training new foundation models or building vertically integrated AI applications—can’t avoid running their own models directly on GPUs. Either because the model is effectively the product and the team is searching for “model-market fit,” or because fine-grained control over training and/or inference is required to achieve certain capabilities or reduce marginal cost at large scale. Either way, managing the infrastructure can become a source of competitive advantage.

С другой стороны, некоторые стартапы — особенно те, что обучают новые базовые модели или строят вертикально интегрированные ИИ-приложения, — не могут избежать запуска собственных моделей напрямую на GPU. Либо потому, что модель фактически и есть продукт, а команда ищет «model-market fit», либо потому, что тонкий контроль над обучением и/или инференсом необходим для достижения определённых возможностей или снижения предельных затрат на большом масштабе. В любом случае управление инфраструктурой может стать источником конкурентного преимущества.

The cloud vs. data center build out

Облако против строительства собственного дата-центра

In most cases, the cloud is the right place for your AI infrastructure. Less up-front cost, the ability to scale up and down, regional availability, and less distraction from building your own data center are compelling for most startups and larger companies.

В большинстве случаев облако — правильное место для вашей ИИ-инфраструктуры. Меньше первоначальных затрат, возможность масштабироваться вверх и вниз, региональная доступность и меньше отвлечения на строительство собственного дата-центра — всё это убедительно для большинства стартапов и крупных компаний.

But there are a few exceptions to this rule:

Но есть несколько исключений из этого правила:

Если вы работаете в очень большом масштабе, может оказаться экономически более выгодным эксплуатировать собственный дата-центр. Точная точка безубыточности варьируется в зависимости от географического расположения и конфигурации, но обычно для этого требуются расходы на инфраструктуру более $50 млн в год. Вам нужно очень специфическое оборудование, которое вы не можете получить у облачного провайдера. Например, типы GPU, не имеющиеся в широком доступе, а также необычные требования к памяти, хранилищу или сети. Вы не можете найти облако, приемлемое по геополитическим соображениям.

If you do want to build your own data center, there have been comprehensive price/performance analysis of GPUs for your own setup (e.g., Tim Dettmer’s analysis). In addition to the cost and performance of the card itself, hardware selection also depends on power, space, and cooling. For example, two RTX 3080 Ti cards together have similar raw compute capacity to an A100, but respective power consumption is 700W vs. 300W. The 3,500 kWh power difference at market rates of $0.10/kWh over a three-year life cycle increases the cost of the RTX3080 Ti by nearly 2x (approximately $1,000).

Если вы всё же хотите построить собственный дата-центр, существуют обстоятельные анализы соотношения цена/производительность GPU для вашей конфигурации (например, анализ Тима Деттмерса). Помимо стоимости и производительности самой карты, выбор оборудования зависит также от питания, пространства и охлаждения. Например, две карты RTX 3080 Ti вместе имеют сходную с A100 чистую вычислительную мощность, но их соответствующее энергопотребление составляет 700 Вт против 300 Вт. Разница в 3500 кВт·ч при рыночных ценах $0,10/кВт·ч за трёхлетний жизненный цикл увеличивает стоимость RTX3080 Ti почти в 2 раза (примерно на $1000).

All of this said, we expect the vast majority of startups to use cloud computing. 

При всём сказанном мы ожидаем, что подавляющее большинство стартапов будут использовать облачные вычисления.

Comparing the cloud service providers

Сравнение облачных провайдеров

Amazon Web Services (AWS), Microsoft Azure, and Google Cloud Platform (GCP) all offer GPU instances, but new providers are also appearing to focus on AI workloads specifically. Here’s a framework we’ve seen many founders use to choose a cloud provider:

Amazon Web Services (AWS), Microsoft Azure и Google Cloud Platform (GCP) — все предлагают GPU-инстансы, но появляются и новые провайдеры, специально сфокусированные на ИИ-нагрузках. Вот система координат, которую, как мы видели, многие основатели используют для выбора облачного провайдера:

Price: The table below shows pricing for a number of major and smaller specialty clouds as of April 7, 2023. This data is only indicative, as the instances vary considerably in terms of network bandwidth, data egress costs, additional cost from CPU and network, available discounts, and other factors. For example, Google requires an A2 accelerated-optimized instance for an A100 40GB, which can increase cost by 25%.

Цена: В таблице ниже показаны цены ряда крупных и более мелких специализированных облаков по состоянию на 7 апреля 2023 года. Эти данные лишь ориентировочны, поскольку инстансы существенно различаются по пропускной способности сети, стоимости исходящего трафика данных, дополнительным затратам на CPU и сеть, доступным скидкам и другим факторам. Например, Google требует инстанс A2 accelerated-optimized для A100 40GB, что может увеличить стоимость на 25%.

Compute capacity on specific hardware is a commodity. Naively, we would expect fairly uniform prices, but this is not the case. And while substantial feature differences between the clouds exist, they are insufficient to explain that the pricing for an on-demand NVIDIA A100 varies by a factor of almost 4x among providers.

Вычислительные мощности на конкретном оборудовании — это товар широкого потребления. Наивно мы ожидали бы достаточно однородных цен, но это не так. И хотя между облаками существуют значительные различия в функциях, их недостаточно, чтобы объяснить, почему цена на NVIDIA A100 по требованию (on-demand) различается у провайдеров почти в 4 раза.

At the top end of the price scale, the big public clouds charge a premium based on brand reputation, proven reliability, and the need to manage a wide range of workloads. Smaller specialty AI providers offer lower prices, either by running purpose-built data centers (e.g., Coreweave) or arbitraging other clouds (e.g., Lambda Labs).

На верхнем краю ценовой шкалы крупные публичные облака берут наценку, основанную на репутации бренда, доказанной надёжности и необходимости управлять широким спектром нагрузок. Более мелкие специализированные ИИ-провайдеры предлагают более низкие цены — либо за счёт эксплуатации специально спроектированных дата-центров (например, Coreweave), либо за счёт арбитража других облаков (например, Lambda Labs).

Practically speaking, most larger buyers negotiate prices directly with the cloud providers, often committing to some minimum spending requirement as well as minimum time commitments (we have seen 1-3 years). The price differences between clouds shrink somewhat after negotiation, but we’ve seen the ranking in the table above remain relatively stable. It’s also important to note that smaller companies can get aggressive pricing from speciality clouds without large spending commitments.

На практике большинство крупных покупателей договариваются о ценах напрямую с облачными провайдерами, нередко беря на себя обязательства по некоторому минимальному объёму расходов, а также минимальные временные обязательства (мы видели 1–3 года). Разница в ценах между облаками после переговоров несколько сокращается, но, как мы видели, ранжирование в таблице выше остаётся относительно стабильным. Важно также отметить, что небольшие компании могут получить агрессивные цены у специализированных облаков без крупных обязательств по расходам.

Availability: The most powerful GPUs (e.g., Nvidia A100s) have been consistently in short supply for the past 12-plus months. 

Доступность: Самые мощные GPU (например, Nvidia A100) стабильно находятся в дефиците на протяжении последних 12+ месяцев.

It would be logical to think the top three cloud providers have the best availability, given their large purchasing power and pool of resources. But, somewhat surprisingly, many startups haven’t found that to be true. The big clouds have a lot of hardware but also have big customer needs to satisfy—e.g., Azure is the primary host for ChatGPT—and are constantly adding/leasing capacity to meet demand. Meanwhile, Nvidia has committed to making hardware available broadly across the industry, including allocations for new specialty providers. (They do this both to be fair and to reduce their dependence on a few large customers who also compete with them.)

Логично было бы думать, что у тройки крупнейших облачных провайдеров наилучшая доступность, учитывая их большую покупательную способность и пул ресурсов. Но, как ни странно, многие стартапы обнаружили, что это не так. У крупных облаков много оборудования, но также и крупные потребности клиентов, которые нужно удовлетворять, — например, Azure является основным хостом для ChatGPT, — и они постоянно добавляют/арендуют мощности, чтобы удовлетворить спрос. Тем временем Nvidia взяла на себя обязательство делать оборудование широко доступным по всей индустрии, включая выделение объёмов новым специализированным провайдерам. (Они делают это как ради справедливости, так и чтобы снизить свою зависимость от нескольких крупных клиентов, которые к тому же конкурируют с ними.)

As a result, many startups find more available chips, including the cutting-edge Nvidia H100s, at smaller cloud providers. If you’re willing to work with a newer infrastructure company, you may be able to reduce wait times for hardware and possibly save money in the process.

В результате многие стартапы находят больше доступных чипов, включая передовые Nvidia H100, у более мелких облачных провайдеров. Если вы готовы работать с более новой инфраструктурной компанией, возможно, вам удастся сократить время ожидания оборудования и, не исключено, сэкономить деньги в процессе.

Compute delivery model: The large clouds today only offer instances with dedicated GPUs, the reason being that GPU virtualization is still an unsolved problem. Specialized AI clouds offer other models, such as containers or batch jobs, that can handle individual tasks without incurring the start-up and tear-down cost of an instance. If you are comfortable with this model, it can substantially reduce cost.

Модель предоставления вычислений: Крупные облака сегодня предлагают только инстансы с выделенными GPU, причина в том, что виртуализация GPU всё ещё остаётся нерешённой проблемой. Специализированные ИИ-облака предлагают другие модели, такие как контейнеры или пакетные задания (batch jobs), которые могут обрабатывать отдельные задачи без затрат на запуск и завершение инстанса. Если вам комфортна такая модель, она может существенно снизить стоимость.

Network interconnects: For training, specifically, network bandwidth is a major factor in provider selection. Clusters with dedicated fabrics between nodes, such as NVLink, are needed to train certain large models. For image generation, egress traffic fees can also be a major cost driver.

Сетевые межсоединения: Для обучения, в частности, пропускная способность сети является важным фактором при выборе провайдера. Кластеры с выделенными фабриками между узлами, такими как NVLink, необходимы для обучения определённых крупных моделей. Для генерации изображений значимым драйвером затрат могут стать и платежи за исходящий (egress) трафик.

Customer support: Large cloud providers serve a huge pool of customers across thousands of product SKUs. It can be hard to get the attention of customer support, or get a problem fixed, unless you’re a big customer. Many specialized AI clouds, on the other hand, offer fast and responsive support even for small customers. This is partly because they are operating at a smaller scale, but also because their workloads are more homogenous—so they are more incentivized to focus on AI-specific features and bugs.

Поддержка клиентов: Крупные облачные провайдеры обслуживают огромный пул клиентов по тысячам товарных позиций (SKU). Бывает трудно привлечь внимание поддержки или добиться устранения проблемы, если вы не крупный клиент. Многие специализированные ИИ-облака, напротив, предлагают быструю и отзывчивую поддержку даже для небольших клиентов. Отчасти это потому, что они работают в меньшем масштабе, но также и потому, что их нагрузки более однородны — поэтому у них больше стимулов фокусироваться на специфичных для ИИ функциях и багах.

Comparing GPUs

Сравнение GPU

All else being equal, the top-end GPUs will perform best on nearly all workloads. However, as you can see in the table below, the best hardware is also substantially more expensive. Picking the right type of GPU for your specific application can substantially reduce cost and may make the difference between a viable and nonviable business model.

При прочих равных топовые GPU покажут лучшую производительность почти на всех нагрузках. Однако, как видно из таблицы ниже, лучшее оборудование также существенно дороже. Выбор правильного типа GPU под ваше конкретное приложение может существенно снизить затраты и оказаться тем, что отличает жизнеспособную бизнес-модель от нежизнеспособной.

Deciding how far down the list to go—that is, determining the most cost-effective GPU choices for your application—is largely a technical decision that is beyond the scope of this article. But we’ll share below some of the selection criteria we’ve seen are most important:

Решение о том, как далеко спускаться по списку — то есть определение наиболее экономически эффективных вариантов GPU для вашего приложения, — это во многом техническое решение, выходящее за рамки этой статьи. Но ниже мы поделимся некоторыми критериями выбора, которые, как мы видели, наиболее важны:

Training vs. inference: As we saw in the first section above, training a Transformer model requires us to store 8 bytes of data for training in addition to the model weights. This means a typical high-end consumer GPU with 12GB of memory could barely be used to train a 4-billion-parameter model. In practice, training large models is done on clusters of machines with preferably many GPUs per server, lots of VRAM, and high bandwidth connections between the servers (i.e., clusters built using top-end data center GPUs).

Обучение против инференса: Как мы видели в первом разделе выше, обучение модели-трансформера требует хранить дополнительные 8 байт данных для обучения помимо весов модели. Это означает, что типичный высококлассный потребительский GPU с 12 ГБ памяти едва ли можно было бы использовать для обучения модели с 4 миллиардами параметров. На практике обучение крупных моделей выполняется на кластерах машин, предпочтительно с многими GPU на сервер, большим объёмом VRAM и высокоскоростными соединениями между серверами (т. е. на кластерах, построенных на топовых дата-центровых GPU).

Specifically, many models will be most cost effective on the NVIDIA H100, but as of today it is hard to find and usually requires a long-term commitment of more than a year. The NVIDIA A100 runs most model-training today; it’s easier to find but, for large clusters, may also require a long-term commitment.

В частности, многие модели будут наиболее экономически эффективны на NVIDIA H100, но на сегодняшний день её трудно найти, и обычно она требует долгосрочного обязательства более чем на год. NVIDIA A100 обеспечивает большую часть обучения моделей сегодня; её легче найти, но для крупных кластеров она тоже может требовать долгосрочного обязательства.

Memory requirements: Large LLMs have parameter counts that are too high to fit in any card. They need to be split across multiple cards and require a setup similar to training. In other words, you probably need H100s or A100s even for LLM inference. But smaller models (e.g., Stable Diffusion) require much less VRAM. While the A100 is still popular, we have seen startups use the A10, A40, A4000, A5000 and A6000, or even RTX cards. 

Требования к памяти: У больших LLM число параметров слишком велико, чтобы поместиться в какую-либо одну карту. Их нужно разбивать между несколькими картами, и они требуют конфигурации, схожей с обучением. Иными словами, вам, вероятно, нужны H100 или A100 даже для инференса LLM. Но более мелкие модели (например, Stable Diffusion) требуют гораздо меньше VRAM. Хотя A100 всё ещё популярна, мы видели, как стартапы используют A10, A40, A4000, A5000 и A6000 или даже карты RTX.

Hardware support: While the vast majority of workloads in companies that we have talked to run on NVIDIA, a few have started experimenting with other vendors. Most common is the Google TPU, but Intel’s Gaudi 2 appears to be getting some traction, as well. The challenge with these vendors is that performance of your model is often highly dependent on the availability of software optimizations for these chips. You will likely have to do a PoC in order to understand performance.

Поддержка оборудования: Хотя подавляющее большинство нагрузок в компаниях, с которыми мы общались, работают на NVIDIA, некоторые начали экспериментировать с другими вендорами. Наиболее распространён Google TPU, но Intel Gaudi 2, по-видимому, тоже набирает некоторую популярность. Сложность с этими вендорами в том, что производительность вашей модели часто сильно зависит от наличия программных оптимизаций под эти чипы. Вам, вероятно, придётся провести PoC, чтобы понять производительность.

Latency requirements: In general, less latency sensitive workloads (e.g., batch data processing or applications that don’t require interactive UI responses) can use less-powerful GPUs. This can reduce compute cost by as much as 3-4x (e.g., comparing A100s to A10s on AWS). User-facing apps, on the other hand, often need top-end cards to deliver an engaging, real-time user experience. Optimizing models is often necessary to bring costs to a manageable range.

Требования к задержке (latency): В целом менее чувствительные к задержке нагрузки (например, пакетная обработка данных или приложения, не требующие интерактивных откликов UI) могут использовать менее мощные GPU. Это может снизить вычислительные затраты в 3–4 раза (например, при сравнении A100 с A10 на AWS). Приложения, обращённые к пользователю, напротив, часто нуждаются в топовых картах, чтобы обеспечить вовлекающий пользовательский опыт в реальном времени. Оптимизация моделей зачастую необходима, чтобы привести затраты к управляемому диапазону.

Spikiness: Generative AI companies often see dramatic spikes in demand since the technology is so new and exciting. It’s not unusual to see request volumes increase by 10x in a day, based on a new product release, or grow 50% per week consistently. Handling these spikes is often easier on lower-end GPUs, since more compute nodes are likely available on demand. It often makes sense, too, to serve this kind of traffic with lower-cost resources—at the expense of performance—if it comes from less engaged or less retentive users.

Всплески нагрузки (spikiness): Генеративные ИИ-компании часто наблюдают резкие всплески спроса, поскольку технология настолько нова и притягательна. Нередко объём запросов вырастает в 10 раз за день после выпуска нового продукта или стабильно растёт на 50% в неделю. Справляться с такими всплесками зачастую проще на менее производительных GPU, поскольку большее число вычислительных узлов с большей вероятностью доступно по требованию. Часто также имеет смысл обслуживать такой трафик более дешёвыми ресурсами — в ущерб производительности, — если он исходит от менее вовлечённых или менее удерживаемых пользователей.

Optimizing and scheduling models

Оптимизация и планирование моделей

Software optimizations can hugely affect the running time of models—and 10x gains are not uncommon. However, you’ll need to determine which methods will be most effective with your particular model and system.

Программные оптимизации могут колоссально влиять на время выполнения моделей — выигрыш в 10 раз не редкость. Однако вам нужно будет определить, какие методы окажутся наиболее эффективными именно с вашей моделью и системой.

Some techniques work with a fairly broad range of models. Using shorter floating point representations (i.e., FP16 or FP8 vs. the original FP32) or quantization (INT8, INT4, INT2) achieve a speedup that is often linear with the reduction of bits. This sometimes requires modifying the model, but there are, increasingly, technologies available that automate working with mixed or shorter precision. Pruning neural networks reduces the number of weights by ignoring weights with low values. Together with efficient sparse matrix multiplication, this can achieve a substantial speedup on modern GPUs. Another set of optimization techniques addresses the memory bandwidth bottleneck (e.g., by streaming model weights).

Некоторые техники работают с достаточно широким спектром моделей. Использование более коротких представлений с плавающей точкой (т. е. FP16 или FP8 вместо исходного FP32) или квантизация (INT8, INT4, INT2) обеспечивают ускорение, которое часто линейно сокращению числа бит. Иногда это требует модификации модели, но всё чаще доступны технологии, автоматизирующие работу со смешанной или укороченной точностью. Прунинг нейронных сетей сокращает число весов, отбрасывая веса с низкими значениями. Вместе с эффективным перемножением разреженных матриц это может обеспечить существенное ускорение на современных GPU. Ещё один набор техник оптимизации направлен на узкое место пропускной способности памяти (например, за счёт потоковой передачи весов модели).

Other optimizations are highly model-specific. For example, Stable Diffusion has made major advances in the amount of VRAM required for inference. Yet another class of optimizations is hardware-specific. NVIDIA’s TensorRT includes a number of optimizations, but will only work on NVIDIA hardware. Last, but not least, scheduling of AI tasks can create huge performance bottlenecks or improvements. Allocating models to GPUs in a way to minimize swapping of weights, picking the best GPU for a task if multiple ones are available, and minimizing downtime by batching workloads in advance are common techniques.

Другие оптимизации сильно специфичны для конкретной модели. Например, Stable Diffusion добился значительного прогресса в объёме VRAM, необходимом для инференса. Ещё один класс оптимизаций специфичен для оборудования. TensorRT от NVIDIA включает ряд оптимизаций, но будет работать только на оборудовании NVIDIA. И наконец, что не менее важно, планирование ИИ-задач может создавать огромные узкие места по производительности или, наоборот, улучшения. Распределение моделей по GPU так, чтобы минимизировать перекачку (swapping) весов, выбор лучшего GPU под задачу, если доступно несколько, и минимизация простоев за счёт заблаговременной пакетной группировки нагрузок — распространённые техники.

In the end, model optimization is still a bit of a black art, and the majority of startups that we talk to work with third parties to help with some of these software aspects. Often, these are not traditional MLops vendors, but instead are companies that specialize in optimizations for specific generative models (e.g., OctoML or SegMind).

В конечном счёте оптимизация моделей всё ещё немного похожа на чёрную магию, и большинство стартапов, с которыми мы общаемся, работают со сторонними компаниями, помогающими с некоторыми из этих программных аспектов. Зачастую это не традиционные MLops-вендоры, а компании, специализирующиеся на оптимизациях под конкретные генеративные модели (например, OctoML или SegMind).

How will AI infrastructure cost evolve?

Как будет эволюционировать стоимость ИИ-инфраструктуры?

Over the last few years, we have seen exponential growth of both model parameters and GPU compute power. It is unclear if this trend will continue.

За последние несколько лет мы наблюдали экспоненциальный рост как числа параметров моделей, так и вычислительной мощности GPU. Неясно, продолжится ли эта тенденция.

Today, it is widely accepted that there is a relationship between optimal number of parameters and the size of the training data set (see Deepmind’s Chinchilla work for more on this). The best LLMs today are trained on the Common Crawl (a collection of 4.5 billion web pages, or about 10% of all web pages in existence). The training corpus also includes Wikipedia and a collection of books, although both are much smaller (the total number of books in existence is estimated to be only around 100 million). Other ideas, such as transcribing video or audio content, have been suggested, but none of these come close in size. It is not clear if we could obtain a non-synthetic training dataset that is 10x larger than what has already been used.

Сегодня широко признано, что существует связь между оптимальным числом параметров и размером обучающего набора данных (подробнее об этом см. работу Chinchilla от Deepmind). Лучшие LLM сегодня обучаются на Common Crawl (коллекция из 4,5 миллиарда веб-страниц, или около 10% всех существующих веб-страниц). Обучающий корпус также включает Wikipedia и собрание книг, хотя оба гораздо меньше (общее число существующих книг оценивается всего примерно в 100 миллионов). Предлагались и другие идеи, такие как транскрибирование видео- или аудиоконтента, но ни одна из них и близко не сопоставима по размеру. Неясно, сможем ли мы получить несинтетический обучающий набор данных, который был бы в 10 раз больше уже использованного.

GPU performance will continue to increase, but also at a slower rate. Moore’s Law is still intact allowing for more transistors and more cores, but power and I/O are becoming limiting factors. Additionally, many of the low-hanging fruit for optimizations have been picked. 

Производительность GPU продолжит расти, но тоже более медленными темпами. Закон Мура всё ещё в силе, позволяя размещать больше транзисторов и больше ядер, но питание и ввод-вывод (I/O) становятся ограничивающими факторами. Кроме того, многие из лежащих на поверхности возможностей для оптимизации уже сорваны.

However, none of this means we don’t expect an increase in demand for compute capacity. Even if model and training set growth slows, the growth of the AI industry and increase in the number of AI developers will fuel a demand for more and faster GPUs. A large fraction of GPU capacity is used for testing by developers during the development phase of a model, and this demand scales linearly with headcount. There is no sign that the GPU shortage we have today will abate in the near future.

Однако ничто из этого не означает, что мы не ожидаем роста спроса на вычислительные мощности. Даже если рост моделей и обучающих наборов замедлится, рост ИИ-индустрии и увеличение числа ИИ-разработчиков будут подпитывать спрос на большее количество и более быстрые GPU. Значительная доля мощностей GPU используется для тестирования разработчиками на этапе разработки модели, и этот спрос масштабируется линейно с численностью персонала. Нет никаких признаков того, что нынешний дефицит GPU спадёт в ближайшем будущем.

Will this continued high cost of AI infrastructure create a moat that makes it impossible for new entrants to catch up with well-funded incumbents? We don’t know the answer to this question yet. The training cost of an LLM may look like a moat today, but open source models such as Alpaca or Stable Diffusion have shown that these markets are still early and may change quickly. Over time, the cost structure of the emerging AI software stack (see our previous post) may start looking more like the traditional software industry. 

Создаст ли эта сохраняющаяся высокая стоимость ИИ-инфраструктуры ров (moat), который сделает невозможным для новых игроков догнать хорошо финансируемых старожилов? Мы пока не знаем ответа на этот вопрос. Стоимость обучения LLM сегодня может выглядеть как ров, но открытые модели, такие как Alpaca или Stable Diffusion, показали, что эти рынки всё ещё на ранней стадии и могут быстро меняться. Со временем структура затрат формирующегося ИИ-софтверного стека (см. наш предыдущий пост) может начать всё больше напоминать традиционную софтверную индустрию.

Ultimately, this would be a good thing: History has shown that this leads to vibrant ecosystems with rapid innovation and lots of opportunities for entrepreneurial founders.

В конечном счёте это было бы хорошо: история показала, что такое ведёт к живым экосистемам со стремительными инновациями и множеством возможностей для предприимчивых основателей.

Thanks to Moin Nadeem and Shangda Xu for their input and guidance during the writing process.

Благодарим Moin Nadeem и Shangda Xu за их вклад и советы в процессе написания.

¹ The intuition here is that for any parameter (i.e. weight) in a neural network, an inference operation (i.e. forward pass) needs to perform two floating point operations per parameter. First, it multiplies the value of the input node of the neural network with the parameter. Second, it adds the result of the summation to the output node of the neural network. The parameters in the encoder are used once per input token and the parameters in the decoder are used once per output token. If we assume a model has p parameters and input and output both have a length n tokens, total floating point operations are n * p. There are many other operations (e.g. normalization, encoding/decoding the embedding) that happen in a model, but the time it takes to perform them is small in comparison. 

¹ Интуиция здесь в том, что для любого параметра (т. е. веса) в нейронной сети операция инференса (т. е. forward-проход) должна выполнить две операции с плавающей точкой на параметр. Сначала она умножает значение входного узла нейронной сети на параметр. Затем прибавляет результат суммирования к выходному узлу нейронной сети. Параметры в энкодере используются один раз на входной токен, а параметры в декодере — один раз на выходной токен. Если предположить, что модель имеет p параметров, а вход и выход оба имеют длину n токенов, то общее число операций с плавающей точкой составляет n * p. В модели происходит много других операций (например, нормализация, кодирование/декодирование эмбеддингов), но время на их выполнение мало в сравнении.

² Learning first requires a forward pass through the transformer as described above, followed by a backward pass that incurs four additional operations per parameter to calculate the gradient and adjust the weight. Note that calculating the gradient requires preserving the calculated node values from the forward pass. For GPT-3, Language Models are Few-Shot Learners discusses training cost.

² Обучение сначала требует forward-прохода через трансформер, как описано выше, за которым следует backward-проход, влекущий четыре дополнительные операции на параметр для расчёта градиента и корректировки веса. Обратите внимание, что расчёт градиента требует сохранения вычисленных значений узлов из forward-прохода. Для GPT-3 о стоимости обучения говорится в Language Models are Few-Shot Learners.

* * *

* * *

The views expressed here are those of the individual AH Capital Management, L.L.C. (“a16z”) personnel quoted and are not the views of a16z or its affiliates. Certain information contained in here has been obtained from third-party sources, including from portfolio companies of funds managed by a16z. While taken from sources believed to be reliable, a16z has not independently verified such information and makes no representations about the enduring accuracy of the information or its appropriateness for a given situation. In addition, this content may include third-party advertisements; a16z has not reviewed such advertisements and does not endorse any advertising content contained therein.

Высказанные здесь взгляды принадлежат соответствующим сотрудникам AH Capital Management, L.L.C. («a16z»), которые их озвучили, и не являются взглядами a16z или её аффилированных лиц. Определённая информация, содержащаяся здесь, была получена из сторонних источников, в том числе от портфельных компаний фондов под управлением a16z. Хотя информация взята из источников, считающихся надёжными, a16z не проверяла её независимо и не делает заявлений относительно непреходящей точности информации или её пригодности для конкретной ситуации. Кроме того, этот контент может включать рекламу третьих лиц; a16z не проверяла такую рекламу и не одобряет какой-либо содержащийся в ней рекламный контент.

This content is provided for informational purposes only, and should not be relied upon as legal, business, investment, or tax advice. You should consult your own advisers as to those matters. References to any securities or digital assets are for illustrative purposes only, and do not constitute an investment recommendation or offer to provide investment advisory services. Furthermore, this content is not directed at nor intended for use by any investors or prospective investors, and may not under any circumstances be relied upon when making a decision to invest in any fund managed by a16z. (An offering to invest in an a16z fund will be made only by the private placement memorandum, subscription agreement, and other relevant documentation of any such fund and should be read in their entirety.) Any investments or portfolio companies mentioned, referred to, or described are not representative of all investments in vehicles managed by a16z, and there can be no assurance that the investments will be profitable or that other investments made in the future will have similar characteristics or results. A list of investments made by funds managed by Andreessen Horowitz (excluding investments for which the issuer has not provided permission for a16z to disclose publicly as well as unannounced investments in publicly traded digital assets) is available at https://a16z.com/investments/.

Этот контент предоставляется исключительно в информационных целях и не должен рассматриваться как юридическая, деловая, инвестиционная или налоговая консультация. По этим вопросам вам следует проконсультироваться со своими собственными советниками. Упоминания каких-либо ценных бумаг или цифровых активов приводятся лишь в иллюстративных целях и не являются инвестиционной рекомендацией или предложением предоставить услуги инвестиционного консультирования. Более того, этот контент не направлен и не предназначен для использования какими-либо инвесторами или потенциальными инвесторами и ни при каких обстоятельствах не может служить основанием при принятии решения об инвестировании в какой-либо фонд под управлением a16z. (Предложение инвестировать в фонд a16z будет сделано только посредством меморандума о частном размещении, договора подписки и иной соответствующей документации такого фонда, и его следует читать целиком.) Любые упомянутые, отсылаемые или описываемые инвестиции или портфельные компании не являются репрезентативными для всех инвестиций в инструменты под управлением a16z, и не может быть никаких гарантий, что инвестиции окажутся прибыльными или что иные инвестиции, сделанные в будущем, будут иметь схожие характеристики или результаты. Перечень инвестиций, сделанных фондами под управлением Andreessen Horowitz (за исключением инвестиций, по которым эмитент не дал a16z разрешения на публичное раскрытие, а также необъявленных инвестиций в публично торгуемые цифровые активы), доступен по адресу https://a16z.com/investments/.

Charts and graphs provided within are for informational purposes solely and should not be relied upon when making any investment decision. Past performance is not indicative of future results. The content speaks only as of the date indicated. Any projections, estimates, forecasts, targets, prospects, and/or opinions expressed in these materials are subject to change without notice and may differ or be contrary to opinions expressed by others. Please see https://a16z.com/disclosures for additional important information.

Приводимые здесь диаграммы и графики предназначены исключительно для информационных целей и не должны служить основанием при принятии какого-либо инвестиционного решения. Прошлые результаты не являются индикатором будущих результатов. Содержание актуально только на указанную дату. Любые прогнозы, оценки, предсказания, цели, перспективы и/или мнения, выраженные в этих материалах, могут изменяться без уведомления и могут отличаться или противоречить мнениям, выраженным другими. Дополнительную важную информацию см. на https://a16z.com/disclosures.

Guido Appenzeller

Guido Appenzeller

is an investor at Andreessen Horowitz, where he focuses on AI, infrastructure, open source technology, and silicon.

— инвестор в Andreessen Horowitz, где он фокусируется на ИИ, инфраструктуре, технологиях с открытым исходным кодом и кремнии (полупроводниках).

Matt Bornstein

Matt Bornstein

is a general partner at Andreessen Horowitz focused on AI and data systems.

— генеральный партнёр в Andreessen Horowitz, сосредоточенный на ИИ и системах данных.

Martin Casado

Martin Casado

is a general partner at Andreessen Horowitz, where he leads the firm’s infrastructure practice.

— генеральный партнёр в Andreessen Horowitz, где он возглавляет инфраструктурное направление фирмы.

Why We Need Continual Learning

Почему нам нужно непрерывное обучение

Et Tu, Agent? Did You Install the Backdoor?

И ты, агент? Ты установил бэкдор?

Your Data Agents Need Context

Вашим дата-агентам нужен контекст

The Top 100 Gen AI Consumer Apps — 6th Edition

Топ-100 потребительских Gen AI приложений — 6-е издание

I Built TetrisBench, Where LLMs Compete at Playing Tetris. Here’s What I Found.

Я создал TetrisBench, где LLM соревнуются в игре в Tetris. Вот что я обнаружил.

Want More Infra?

Хотите больше про инфраструктуру?

Analysis and news covering the latest trends reshaping AI and infrastructure.

Аналитика и новости о новейших трендах, переформирующих ИИ и инфраструктуру.

Views expressed in “posts” (including podcasts, videos, and social media) are those of the individual a16z personnel quoted therein and are not the views of a16z Capital Management, L.L.C. (“a16z”) or its respective affiliates. a16z Capital Management is an investment adviser registered with the Securities and Exchange Commission. Registration as an investment adviser does not imply any special skill or training. The posts are not directed to any investors or potential investors, and do not constitute an offer to sell — or a solicitation of an offer to buy — any securities, and may not be used or relied upon in evaluating the merits of any investment.

Взгляды, выраженные в «постах» (включая подкасты, видео и социальные сети), принадлежат соответствующим сотрудникам a16z, которые их озвучили, и не являются взглядами a16z Capital Management, L.L.C. («a16z») или её соответствующих аффилированных лиц. a16z Capital Management — инвестиционный консультант, зарегистрированный в Комиссии по ценным бумагам и биржам (SEC). Регистрация в качестве инвестиционного консультанта не подразумевает какого-либо особого умения или подготовки. Посты не направлены каким-либо инвесторам или потенциальным инвесторам и не являются предложением продать — или приглашением сделать предложение купить — какие-либо ценные бумаги и не могут использоваться или служить основанием при оценке достоинств какой-либо инвестиции.

The contents in here — and available on any associated distribution platforms and any public a16z online social media accounts, platforms, and sites (collectively, “content distribution outlets”) — should not be construed as or relied upon in any manner as investment, legal, tax, or other advice. You should consult your own advisers as to legal, business, tax, and other related matters concerning any investment. Any projections, estimates, forecasts, targets, prospects and/or opinions expressed in these materials are subject to change without notice and may differ or be contrary to opinions expressed by others. Any charts provided here or on a16z content distribution outlets are for informational purposes only, and should not be relied upon when making any investment decision. Certain information contained in here has been obtained from third-party sources, including from portfolio companies of funds managed by a16z. While taken from sources believed to be reliable, a16z has not independently verified such information and makes no representations about the enduring accuracy of the information or its appropriateness for a given situation. In addition, posts may include third-party advertisements; a16z has not reviewed such advertisements and does not endorse any advertising content contained therein. All content speaks only as of the date indicated.

Содержание здесь — и доступное на любых связанных платформах распространения и любых публичных онлайн-аккаунтах a16z в социальных сетях, платформах и сайтах (совокупно — «каналы распространения контента») — не должно толковаться или служить основанием каким-либо образом как инвестиционная, юридическая, налоговая или иная консультация. По юридическим, деловым, налоговым и иным связанным вопросам, касающимся любой инвестиции, вам следует проконсультироваться со своими собственными советниками. Любые прогнозы, оценки, предсказания, цели, перспективы и/или мнения, выраженные в этих материалах, могут изменяться без уведомления и могут отличаться или противоречить мнениям, выраженным другими. Любые приводимые здесь или на каналах распространения контента a16z диаграммы предназначены исключительно для информационных целей и не должны служить основанием при принятии какого-либо инвестиционного решения. Определённая информация, содержащаяся здесь, была получена из сторонних источников, в том числе от портфельных компаний фондов под управлением a16z. Хотя информация взята из источников, считающихся надёжными, a16z не проверяла её независимо и не делает заявлений относительно непреходящей точности информации или её пригодности для конкретной ситуации. Кроме того, посты могут включать рекламу третьих лиц; a16z не проверяла такую рекламу и не одобряет какой-либо содержащийся в ней рекламный контент. Всё содержание актуально только на указанную дату.

Under no circumstances should any posts or other information provided on this website — or on associated content distribution outlets — be construed as an offer soliciting the purchase or sale of any security or interest in any pooled investment vehicle sponsored, discussed, or mentioned by a16z personnel. Nor should it be construed as an offer to provide investment advisory services; an offer to invest in an a16z-managed pooled investment vehicle will be made separately and only by means of the confidential offering documents of the specific pooled investment vehicles — which should be read in their entirety, and only to those who, among other requirements, meet certain qualifications under federal securities laws. Such investors, defined as accredited investors and qualified purchasers, are generally deemed capable of evaluating the merits and risks of prospective investments and financial matters.

Ни при каких обстоятельствах любые посты или иная информация, предоставленная на этом веб-сайте — или на связанных каналах распространения контента, — не должны толковаться как предложение, побуждающее к покупке или продаже какой-либо ценной бумаги или доли в каком-либо объединённом инвестиционном инструменте, спонсируемом, обсуждаемом или упоминаемом сотрудниками a16z. Не должны они толковаться и как предложение предоставить услуги инвестиционного консультирования; предложение инвестировать в управляемый a16z объединённый инвестиционный инструмент будет сделано отдельно и только посредством конфиденциальных документов о размещении конкретных объединённых инвестиционных инструментов — которые следует читать целиком и только тем, кто, среди прочих требований, удовлетворяет определённым квалификациям по федеральному законодательству о ценных бумагах. Такие инвесторы, определяемые как аккредитованные инвесторы и квалифицированные покупатели, как правило, считаются способными оценить достоинства и риски предполагаемых инвестиций и финансовые вопросы.

There can be no assurances that a16z’s investment objectives will be achieved or investment strategies will be successful. Any investment in a vehicle managed by a16z involves a high degree of risk including the risk that the entire amount invested is lost. Any investments or portfolio companies mentioned, referred to, or described are not representative of all investments in vehicles managed by a16z and there can be no assurance that the investments will be profitable or that other investments made in the future will have similar characteristics or results. A list of investments made by funds managed by a16z is available here: https://a16z.com/investments/. Past results of a16z’s investments, pooled investment vehicles, or investment strategies are not necessarily indicative of future results. Excluded from this list are investments (and certain publicly traded cryptocurrencies/ digital assets) for which the issuer has not provided permission for a16z to disclose publicly. As for its investments in any cryptocurrency or token project, a16z is acting in its own financial interest, not necessarily in the interests of other token holders. a16z has no special role in any of these projects or power over their management. a16z does not undertake to continue to have any involvement in these projects other than as an investor and token holder, and other token holders should not expect that it will or rely on it to have any particular involvement.

Не может быть никаких гарантий, что инвестиционные цели a16z будут достигнуты или что инвестиционные стратегии окажутся успешными. Любая инвестиция в инструмент под управлением a16z сопряжена с высокой степенью риска, включая риск потери всей вложенной суммы. Любые упомянутые, отсылаемые или описываемые инвестиции или портфельные компании не являются репрезентативными для всех инвестиций в инструменты под управлением a16z, и не может быть никаких гарантий, что инвестиции окажутся прибыльными или что иные инвестиции, сделанные в будущем, будут иметь схожие характеристики или результаты. Перечень инвестиций, сделанных фондами под управлением a16z, доступен здесь: https://a16z.com/investments/. Прошлые результаты инвестиций a16z, объединённых инвестиционных инструментов или инвестиционных стратегий не обязательно являются индикатором будущих результатов. Из этого перечня исключены инвестиции (и определённые публично торгуемые криптовалюты/цифровые активы), по которым эмитент не дал a16z разрешения на публичное раскрытие. Что касается её инвестиций в любой криптовалютный или токен-проект, a16z действует в своих собственных финансовых интересах, не обязательно в интересах других держателей токенов. a16z не играет особой роли ни в одном из этих проектов и не имеет власти над их управлением. a16z не обязуется и далее иметь какое-либо участие в этих проектах, кроме как в качестве инвестора и держателя токенов, и другим держателям токенов не следует ожидать, что она будет или станет иметь какое-либо особое участие, или полагаться на это.

With respect to funds managed by a16z that are registered in Japan, a16z will provide to any member of the Japanese public a copy of such documents as are required to be made publicly available pursuant to Article 63 of the Financial Instruments and Exchange Act of Japan. Please contact compliance@a16z.com to request such documents.

В отношении фондов под управлением a16z, зарегистрированных в Японии, a16z предоставит любому представителю японской общественности копию таких документов, которые требуется сделать публично доступными в соответствии со статьёй 63 Закона Японии о финансовых инструментах и биржах. Для запроса таких документов, пожалуйста, свяжитесь по адресу compliance@a16z.com.

For other site terms of use, please go here. Additional important information about a16z, including our Form ADV Part 2A Brochure, is available at the SEC’s website: http://www.adviserinfo.sec.gov.

Прочие условия использования сайта см. здесь. Дополнительная важная информация о a16z, включая нашу брошюру Form ADV Part 2A, доступна на веб-сайте SEC: http://www.adviserinfo.sec.gov.