What Would AI Email Cost?
Tomasz Tunguz оценивает стоимость полностью AI-управляемой электронной почты. При использовании передовых моделей расходы составляют от $22 до $130 в месяц, а SaaS-продукт с целевой маржой 75% обошёлся бы пользователю примерно в $500 в год — вдвое дороже корпоративного тарифа Google. Уменьшить затраты в 10–20 раз помогут компактные модели, а локальный запуск на GPU пользователя сводит стоимость инференса к нулю. Автор считает, что ближайшие 12–24 месяца в AI-софте будут определяться оптимизацией: какие компоненты можно выполнять детерминированно, а где нужна полноценная модель. Базовые эвристики позволяют снизить общую стоимость в 100 раз, и при дефиците GPU такая сегментация инференса неизбежна.
Во вчерашнем посте (который агент отправил по электронной почте в виде сырого наброска!) я писал о будущем AI-почты. Сколько это будущее будет стоить?
При использовании передовых моделей это обходится от $22 до $130 в месяц. Готовы ли вы за это платить? На работе, полагаю, многие — да. Возьмём средний вариант: $26 в месяц чистых затрат.
Софтверная компания, стремящаяся к валовой марже 75%, установила бы цену около $350 в год за такой продукт — без учёта хостинга и обслуживания. Так что назовём это $500 в год по прайсу со скидкой 15% при масштабе.
Корпоративный тариф Google стоит $11–18 в месяц. Полностью агентное решение обойдётся примерно вдвое дороже.
Модели поменьше помогают. Они снижают стоимость в 10–20 раз, но можно добиться большего.
Запуская модели локально, мы роняем стоимость до нуля: всю работу выполняет GPU пользователя.
Именно такая оптимизация затрат — которую я здесь проделал в грубом виде — будет определять ближайшие 12–24 месяца AI-софта: какие компоненты можно выполнять детерминированно, как почтовые фильтры, которые по сути просто правила. А следующий шаг — подбор модели под конкретную задачу.
С помощью базовых эвристик и приёмов мы можем снизить общую стоимость в 100 раз. Учитывая колоссальный дефицит GPU, такая сегментация инференса неизбежна.