Hello, Claude? Are You There?
Tomasz Tunguz рассуждает о нарастающем дефиците вычислительных ресурсов для ИИ: не хватает не только GPU, но и электроэнергии, дата-центров, памяти и процессоров. Если облегчения не предвидится ещё шесть кварталов, цены на инференс вырастут, а субсидии станет сложнее обосновать. Предприятиям придётся рационировать рабочие нагрузки, решая, каким командам давать доступ к frontier-моделям, а каким — нет. Нормой станет распределение квот на инференс между отделами. Ограничения подтолкнут компании к оптимизации, переходу на open source и использованию компактных моделей для большинства задач.
What happens when your AI doesn’t answer?
Что происходит, когда ваш ИИ не отвечает?
Everything is in short supply. It’s no longer just GPUs. It’s power. Data centers. Memory. CPUs.
Всего не хватает. Дефицит больше не ограничивается GPU — не хватает электроэнергии, дата-центров, памяти, процессоров.
If there’s no relief for six more quarters, perhaps it’s time to plan for a world where inference isn’t freely available on-demand.
Если облегчения не предвидится ещё шесть кварталов, возможно, пора планировать мир, в котором инференс не доступен свободно по запросу.
Inference prices, which have been static, will rise. Subsidies will be harder to justify.
Цены на инференс, которые до сих пор оставались стабильными, вырастут. Субсидии станет всё сложнее обосновать.
Enterprises will need to rationalize workloads, deciding which teams receive state-of-the-art models & which don’t. Not every CRM update requires a trillion-parameter frontier model.
Предприятиям придётся рационализировать рабочие нагрузки, решая, какие команды получают доступ к передовым моделям, а какие — нет. Не каждое обновление CRM требует frontier-модели с триллионом параметров.
Inference rationing normalizes. Marketing receives this much, sales receives that much, software engineers probably receive a lot more.
Рационирование инференса становится нормой. Маркетинг получает столько-то, продажи — столько-то, а разработчики, вероятно, значительно больше.
Constraint will be the mother of invention. Companies will optimize what they have, adopt open source where they can, and likely move to smaller models for many workloads.
Ограничения станут двигателем изобретательности. Компании будут оптимизировать имеющиеся ресурсы, переходить на open source, где это возможно, и, скорее всего, использовать компактные модели для большинства задач.