Posts
Автор пять недель использовал локальные модели, чтобы понять, какую долю своей повседневной работы можно выполнить без облачных моделей с триллионом параметров. Ответ — половину. Из 1,4 тыс. задач примерно половина успешно решается на локальной модели 35B. Категории Email & Inbound, планирование, суммаризация и админ-задачи составляют 618 задач (41,8%). Market Research и инженерные задачи делятся примерно 50/50 между простыми (поиск данных, исправление скриптов) и сложными (синтез из множества источников, архитектурные решения), что в сумме доводит долю до 50%.
As demand for AI inference explodes, I’ll be asking a lot more of my little computer.
How much more?
Over the past five weeks, I’ve been using local models to see how much of my daily work I can accomplish without the trillion parameter models in the cloud. The answer is half.
If you classify these 1.4k tasks by category, half can succeed on a local 35B model. Email & Inbound, Scheduling, Summarization, & Admin total 618 tasks (41.8%). Market Research & Engineering split roughly 50/50 between simple tasks (data lookups, script fixes) and complex ones (multi-source synthesis, architectural decisions). That gets us to 50%.