Posts
Автор пять недель использовал локальные модели, чтобы понять, какую долю своей повседневной работы можно выполнить без облачных моделей с триллионом параметров. Ответ — половину. Из 1,4 тыс. задач примерно половина успешно решается на локальной модели 35B. Категории Email & Inbound, планирование, суммаризация и админ-задачи составляют 618 задач (41,8%). Market Research и инженерные задачи делятся примерно 50/50 между простыми (поиск данных, исправление скриптов) и сложными (синтез из множества источников, архитектурные решения), что в сумме доводит долю до 50%.
По мере того как спрос на AI-инференс стремительно растёт, я буду требовать гораздо большего от своего маленького компьютера.
Насколько большего?
За последние пять недель я использовал локальные модели, чтобы понять, какую часть своей повседневной работы я могу выполнить без облачных моделей с триллионом параметров. Ответ — половину.
Если классифицировать эти 1,4 тыс. задач по категориям, половина может быть успешно решена на локальной модели 35B. Email & Inbound, планирование, суммаризация и админ-задачи в сумме дают 618 задач (41,8%). Market Research и инженерные задачи делятся примерно 50/50 между простыми (поиск данных, исправление скриптов) и сложными (синтез из множества источников, архитектурные решения). Это доводит нас до 50%.