What Would AI Email Cost?
Tomasz Tunguz оценивает стоимость полностью AI-управляемой электронной почты. При использовании передовых моделей расходы составляют от $22 до $130 в месяц, а SaaS-продукт с целевой маржой 75% обошёлся бы пользователю примерно в $500 в год — вдвое дороже корпоративного тарифа Google. Уменьшить затраты в 10–20 раз помогут компактные модели, а локальный запуск на GPU пользователя сводит стоимость инференса к нулю. Автор считает, что ближайшие 12–24 месяца в AI-софте будут определяться оптимизацией: какие компоненты можно выполнять детерминированно, а где нужна полноценная модель. Базовые эвристики позволяют снизить общую стоимость в 100 раз, и при дефиците GPU такая сегментация инференса неизбежна.
In yesterday’s post (which an agent pushed in raw outline form via email!), I wrote about the future of AI email. What does that future cost?
Во вчерашнем посте (который агент отправил по электронной почте в виде сырого наброска!) я писал о будущем AI-почты. Сколько это будущее будет стоить?
If you are using state-of-the-art model ranging, it costs between $22 to $130 per month. Would you pay for that? At work, I imagine, many would. Let’s take the middle case of $26/month raw cost.
При использовании передовых моделей это обходится от $22 до $130 в месяц. Готовы ли вы за это платить? На работе, полагаю, многие — да. Возьмём средний вариант: $26 в месяц чистых затрат.
A software company seeking 75% gross margin would charge about $350 per year for that product excluding hosting & serving costs. So let’s call it a $500 per year list with a 15% discount at scale.
Софтверная компания, стремящаяся к валовой марже 75%, установила бы цену около $350 в год за такой продукт — без учёта хостинга и обслуживания. Так что назовём это $500 в год по прайсу со скидкой 15% при масштабе.
A Google Enterprise plan is $11-18/month. A fully agentic solution would then cost about twice as much.
Корпоративный тариф Google стоит $11–18 в месяц. Полностью агентное решение обойдётся примерно вдвое дороже.
Smaller models help. They cut cost by 10 to 20x, but we can do better.
Модели поменьше помогают. Они снижают стоимость в 10–20 раз, но можно добиться большего.
By running the models locally, when the cost plummets to zero : users’ GPU does the work.
Запуская модели локально, мы роняем стоимость до нуля: всю работу выполняет GPU пользователя.
It’s this type of cost optimization that I have done crudely here that I think will define the next 12 to 24 months of AI software : determining which components can be executed deterministically, like the email filters, which are just rules. And the next is matching the model to the workload.
Именно такая оптимизация затрат — которую я здесь проделал в грубом виде — будет определять ближайшие 12–24 месяца AI-софта: какие компоненты можно выполнять детерминированно, как почтовые фильтры, которые по сути просто правила. А следующий шаг — подбор модели под конкретную задачу.
With some basic heuristics and techniques we can drop the overall cost by 100x. Given the tremendous shortage of GPUs, this segmentation of inference is inevitable.
С помощью базовых эвристик и приёмов мы можем снизить общую стоимость в 100 раз. Учитывая колоссальный дефицит GPU, такая сегментация инференса неизбежна.