You Are Responsible for Your Agent
Автор размышляет о том, что произойдёт, когда новые сотрудники начнут приносить на работу собственных AI-агентов, обученных за годы учёбы. Это напоминает эпоху BYOD 2009 года, но с принципиальным отличием: телефон не мог подписывать контракты, а агент может. Amazon уже столкнулся с последствиями: AI-ассистент для написания кода стал причиной инцидента, приведшего к потере $6.3 млн заказов, падению объёма заказов в Северной Америке на 99% и четырём инцидентам высшей категории за неделю, после чего компания ввела 90-дневный мораторий и обязательную проверку кода двумя людьми. Юридически прикрыться галлюцинациями не получится: закон штата Юта (AI Policy Act) прямо запрещает ссылаться на действия GenAI как на смягчающее обстоятельство, а готовящийся TRUMP AMERICA AI Act создаст пути для исков против разработчиков AI. Исследования показывают, что AI-сгенерированный код порождает на 70% больше проблем, чем человеческий. Вывод: как за собаку или устройство, за своего агента отвечаете вы — а вместе с сотрудником ответственность ложится и на компанию.
“What happens when a new employee brings their agent to work?”
«Что произойдёт, когда новый сотрудник принесёт на работу своего агента?»
An executive asked this recently. Imagine a few years from now : a student graduates, having trained their own agent through university. It knows everything they’ve learned, every paper, every problem solved. Day one, they bring it to work.
Этот вопрос недавно задал один руководитель. Представьте себе ситуацию через несколько лет: студент заканчивает университет, обучив за годы учёбы собственного агента. Тот знает всё, что усвоил студент, каждую статью, каждую решённую задачу. И в первый же рабочий день человек приносит его с собой.
It’s like bring your own device circa 2009. The iPhone launched & nobody wanted corporate Blackberries1 anymore. IT scrambled to adapt.
Это как Bring Your Own Device образца 2009 года. Вышел iPhone — и корпоративные Blackberry1 стали никому не нужны. IT-отделам пришлось спешно подстраиваться.
But a rogue phone couldn’t sign contracts. A rogue agent can.
Но «несанкционированный» телефон не мог подписывать контракты. А «несанкционированный» агент — может.
Amazon just learned this at scale. $6.3 million in lost orders. 99% order volume drop across North America. Four severity one incidents in one week.23
Amazon только что прочувствовал это на своём масштабе. $6,3 миллиона потерянных заказов. Падение объёма заказов по Северной Америке на 99%. Четыре инцидента высшей категории за одну неделю.23
Amazon’s AI coding assistant contributed to at least one major production incident. The response : a 90-day safety reset with mandatory two-person review for all code changes.
AI-ассистент Amazon для написания кода поспособствовал как минимум одному крупному production-инциденту. Реакция: 90-дневный «safety reset» с обязательной проверкой всех изменений кода двумя людьми.
An internal memo admitted what everyone implicitly knows :
Во внутренней служебной записке признали то, что и так понимают все:
“Best practices and safeguards around generative AI usage haven’t been fully established yet.”3
«Лучшие практики и меры предосторожности при использовании генеративного AI пока окончательно не сформировались».3
Companies can’t hide behind hallucinations. Utah’s AI Policy Act4 eliminates the hallucination defense :
Спрятаться за галлюцинациями компаниям не удастся. Utah AI Policy Act4 закрывает эту лазейку:
“It is not an affirmative defense to assert that the GenAI tool made the violative statement or undertook the violative act.”
«Утверждение о том, что нарушающее высказывание сделал или нарушающее действие совершил инструмент GenAI, не является правомерным средством защиты».
Newer and larger models are smarter and more reliable.5 But they fail unexpectedly. There is no relationship between size and how failures change over time. AI-generated code creates 70% more issues than human code.6
Более новые и крупные модели умнее и надёжнее.5 Но они дают сбои неожиданным образом. Между размером модели и тем, как со временем меняется характер её отказов, никакой зависимости нет. AI-сгенерированный код порождает на 70% больше проблем, чем код, написанный человеком.6
The TRUMP AMERICA AI Act would create explicit liability pathways - allowing the US Attorney General, state AGs, & private plaintiffs to sue AI developers for defective design & unreasonably dangerous products.7
TRUMP AMERICA AI Act создал бы явные пути привлечения к ответственности — позволив генеральному прокурору США, генеральным прокурорам штатов и частным истцам подавать иски к разработчикам AI за дефекты проектирования и необоснованно опасные продукты.7
That new hire’s personal agent? The company bears liability for its mistakes. The contracts it signs, the code it deploys, all of it lands on the company.
Личный агент этого новичка? За его ошибки отвечает компания. Подписанные им контракты, развёрнутый им код — всё это падает на компанию.
Like a dog or a device, you are responsible for your agent.
Как за собаку или за устройство, вы отвечаете за своего агента.
CNBC - Amazon convenes ‘deep dive’ internal meeting to address outages ↩︎ ↩︎
BlackBerry ↩︎ Atlassian — Understanding Incident Severity Levels ↩︎ CNBC — Amazon convenes ‘deep dive’ internal meeting to address outages ↩︎ ↩︎ Utah AI Policy Act (S.B. 149) ↩︎ Peto’s Paradox for AI Agents ↩︎ CodeRabbit — State of AI vs Human Code Generation ↩︎ Jones Walker — The TRUMP AMERICA AI Act ↩︎