You Are Responsible for Your Agent
Автор размышляет о том, что произойдёт, когда новые сотрудники начнут приносить на работу собственных AI-агентов, обученных за годы учёбы. Это напоминает эпоху BYOD 2009 года, но с принципиальным отличием: телефон не мог подписывать контракты, а агент может. Amazon уже столкнулся с последствиями: AI-ассистент для написания кода стал причиной инцидента, приведшего к потере $6.3 млн заказов, падению объёма заказов в Северной Америке на 99% и четырём инцидентам высшей категории за неделю, после чего компания ввела 90-дневный мораторий и обязательную проверку кода двумя людьми. Юридически прикрыться галлюцинациями не получится: закон штата Юта (AI Policy Act) прямо запрещает ссылаться на действия GenAI как на смягчающее обстоятельство, а готовящийся TRUMP AMERICA AI Act создаст пути для исков против разработчиков AI. Исследования показывают, что AI-сгенерированный код порождает на 70% больше проблем, чем человеческий. Вывод: как за собаку или устройство, за своего агента отвечаете вы — а вместе с сотрудником ответственность ложится и на компанию.
«Что произойдёт, когда новый сотрудник принесёт на работу своего агента?»
Этот вопрос недавно задал один руководитель. Представьте себе ситуацию через несколько лет: студент заканчивает университет, обучив за годы учёбы собственного агента. Тот знает всё, что усвоил студент, каждую статью, каждую решённую задачу. И в первый же рабочий день человек приносит его с собой.
Это как Bring Your Own Device образца 2009 года. Вышел iPhone — и корпоративные Blackberry1 стали никому не нужны. IT-отделам пришлось спешно подстраиваться.
Но «несанкционированный» телефон не мог подписывать контракты. А «несанкционированный» агент — может.
Amazon только что прочувствовал это на своём масштабе. $6,3 миллиона потерянных заказов. Падение объёма заказов по Северной Америке на 99%. Четыре инцидента высшей категории за одну неделю.23
AI-ассистент Amazon для написания кода поспособствовал как минимум одному крупному production-инциденту. Реакция: 90-дневный «safety reset» с обязательной проверкой всех изменений кода двумя людьми.
Во внутренней служебной записке признали то, что и так понимают все:
«Лучшие практики и меры предосторожности при использовании генеративного AI пока окончательно не сформировались».3
Спрятаться за галлюцинациями компаниям не удастся. Utah AI Policy Act4 закрывает эту лазейку:
«Утверждение о том, что нарушающее высказывание сделал или нарушающее действие совершил инструмент GenAI, не является правомерным средством защиты».
Более новые и крупные модели умнее и надёжнее.5 Но они дают сбои неожиданным образом. Между размером модели и тем, как со временем меняется характер её отказов, никакой зависимости нет. AI-сгенерированный код порождает на 70% больше проблем, чем код, написанный человеком.6
TRUMP AMERICA AI Act создал бы явные пути привлечения к ответственности — позволив генеральному прокурору США, генеральным прокурорам штатов и частным истцам подавать иски к разработчикам AI за дефекты проектирования и необоснованно опасные продукты.7
Личный агент этого новичка? За его ошибки отвечает компания. Подписанные им контракты, развёрнутый им код — всё это падает на компанию.
Как за собаку или за устройство, вы отвечаете за своего агента.
BlackBerry ↩︎ Atlassian — Understanding Incident Severity Levels ↩︎ CNBC — Amazon convenes ‘deep dive’ internal meeting to address outages ↩︎ ↩︎ Utah AI Policy Act (S.B. 149) ↩︎ Peto’s Paradox for AI Agents ↩︎ CodeRabbit — State of AI vs Human Code Generation ↩︎ Jones Walker — The TRUMP AMERICA AI Act ↩︎