Posts
Автор пять недель использовал локальные модели, чтобы понять, какую долю своей повседневной работы можно выполнить без облачных моделей с триллионом параметров. Ответ — половину. Из 1,4 тыс. задач примерно половина успешно решается на локальной модели 35B. Категории Email & Inbound, планирование, суммаризация и админ-задачи составляют 618 задач (41,8%). Market Research и инженерные задачи делятся примерно 50/50 между простыми (поиск данных, исправление скриптов) и сложными (синтез из множества источников, архитектурные решения), что в сумме доводит долю до 50%.
As demand for AI inference explodes, I’ll be asking a lot more of my little computer.
По мере того как спрос на AI-инференс стремительно растёт, я буду требовать гораздо большего от своего маленького компьютера.
How much more?
Насколько большего?
Over the past five weeks, I’ve been using local models to see how much of my daily work I can accomplish without the trillion parameter models in the cloud. The answer is half.
За последние пять недель я использовал локальные модели, чтобы понять, какую часть своей повседневной работы я могу выполнить без облачных моделей с триллионом параметров. Ответ — половину.
If you classify these 1.4k tasks by category, half can succeed on a local 35B model. Email & Inbound, Scheduling, Summarization, & Admin total 618 tasks (41.8%). Market Research & Engineering split roughly 50/50 between simple tasks (data lookups, script fixes) and complex ones (multi-source synthesis, architectural decisions). That gets us to 50%.
Если классифицировать эти 1,4 тыс. задач по категориям, половина может быть успешно решена на локальной модели 35B. Email & Inbound, планирование, суммаризация и админ-задачи в сумме дают 618 задач (41,8%). Market Research и инженерные задачи делятся примерно 50/50 между простыми (поиск данных, исправление скриптов) и сложными (синтез из множества источников, архитектурные решения). Это доводит нас до 50%.