Hello, Claude? Are You There?
Tomasz Tunguz рассуждает о нарастающем дефиците вычислительных ресурсов для ИИ: не хватает не только GPU, но и электроэнергии, дата-центров, памяти и процессоров. Если облегчения не предвидится ещё шесть кварталов, цены на инференс вырастут, а субсидии станет сложнее обосновать. Предприятиям придётся рационировать рабочие нагрузки, решая, каким командам давать доступ к frontier-моделям, а каким — нет. Нормой станет распределение квот на инференс между отделами. Ограничения подтолкнут компании к оптимизации, переходу на open source и использованию компактных моделей для большинства задач.
What happens when your AI doesn’t answer?
Everything is in short supply. It’s no longer just GPUs. It’s power. Data centers. Memory. CPUs.
If there’s no relief for six more quarters, perhaps it’s time to plan for a world where inference isn’t freely available on-demand.
Inference prices, which have been static, will rise. Subsidies will be harder to justify.
Enterprises will need to rationalize workloads, deciding which teams receive state-of-the-art models & which don’t. Not every CRM update requires a trillion-parameter frontier model.
Inference rationing normalizes. Marketing receives this much, sales receives that much, software engineers probably receive a lot more.
Constraint will be the mother of invention. Companies will optimize what they have, adopt open source where they can, and likely move to smaller models for many workloads.