Hello, Claude? Are You There?
Tomasz Tunguz рассуждает о нарастающем дефиците вычислительных ресурсов для ИИ: не хватает не только GPU, но и электроэнергии, дата-центров, памяти и процессоров. Если облегчения не предвидится ещё шесть кварталов, цены на инференс вырастут, а субсидии станет сложнее обосновать. Предприятиям придётся рационировать рабочие нагрузки, решая, каким командам давать доступ к frontier-моделям, а каким — нет. Нормой станет распределение квот на инференс между отделами. Ограничения подтолкнут компании к оптимизации, переходу на open source и использованию компактных моделей для большинства задач.
Что происходит, когда ваш ИИ не отвечает?
Всего не хватает. Дефицит больше не ограничивается GPU — не хватает электроэнергии, дата-центров, памяти, процессоров.
Если облегчения не предвидится ещё шесть кварталов, возможно, пора планировать мир, в котором инференс не доступен свободно по запросу.
Цены на инференс, которые до сих пор оставались стабильными, вырастут. Субсидии станет всё сложнее обосновать.
Предприятиям придётся рационализировать рабочие нагрузки, решая, какие команды получают доступ к передовым моделям, а какие — нет. Не каждое обновление CRM требует frontier-модели с триллионом параметров.
Рационирование инференса становится нормой. Маркетинг получает столько-то, продажи — столько-то, а разработчики, вероятно, значительно больше.
Ограничения станут двигателем изобретательности. Компании будут оптимизировать имеющиеся ресурсы, переходить на open source, где это возможно, и, скорее всего, использовать компактные модели для большинства задач.