What just happened, what is happening next
Итан Моллик подводит итоги нескольких месяцев развития ИИ к моменту выхода своей книги «Co-Intelligence». Лучшие оценки показывают, что способности больших языковых моделей удваиваются каждые 5–14 месяцев, и мы до сих пор не знаем полного потенциала даже существующих фронтирных моделей (Claude 3, GPT-4, Gemini). Тщательный промптинг позволяет ИИ решать задачи, которые казались невозможными: например, программист Виктор Таэлин поставил $10 000 на то, что GPT никогда не решат «задачу A::B», но люди справились за день одними лишь промптами. Появляются строгие исследования «сверхчеловеческой» эффективности: в рандомизированном контролируемом исследовании GPT-4 повышал шанс переубедить человека на 87% по сравнению с человеком-оппонентом, а в журнале JAMA Internal Medicine ИИ превзошёл врачей в клинических рассуждениях по реальным случаям. Третья тема — агенты вроде Devin, действующие автономно; Моллик попросил Devin предлагать на Reddit постройку сайтов, и агент сам решил брать за это плату. Если новое поколение моделей окажется намного сильнее нынешних, эти три тренда — неясные верхние пределы способностей, сверхчеловеческие навыки и автономные агенты — приобретут огромное значение, вплоть до виртуальных сотрудников и массовых мошенничеств.
Что только что произошло и что будет дальше
Круг задач, которые ИИ выполняет хорошо, стремительно расширяется
Текущие наилучшие оценки темпов улучшения больших языковых моделей показывают, что их способности удваиваются каждые 5–14 месяцев. Этот невероятно быстрый темп был у меня на уме, когда в конце декабря я вносил последние штрихи в свою книгу (доступна в любом крупном книжном магазине, а теперь, со статусом бестселлера, видимо, продаётся со скидкой 33% на Amazon). Поскольку я знал, что она выйдет в апреле, я писал её так, чтобы она оставалась относительно вневременной, но мне всё же пришлось сделать пару прогнозов о том, куда движется будущее. К счастью, думаю, я предсказал верно, и в результате книга всё ещё отражает текущее состояние дел. Но это не значит, что за последние четыре месяца ничего не изменилось. Поэтому я хотел пройтись по последним месяцам в сфере ИИ и оценить, что мы узнали о том, на что способны модели ИИ, и особенно — что ИИ, возможно, сможет делать в скором будущем.
Мы всё ещё не знаем полного набора возможностей нынешних фронтирных моделей
К моменту, когда я закончил книгу, существовала одна фронтирная модель — GPT-4. Теперь у нас три модели класса GPT-4, примерно сопоставимых по способностям, но со своими уникальными сильными и слабыми сторонами: Claude 3, GPT-4 и Gemini от Google (что сбивает с толку, Gemini 1.0 Advanced и Gemini 1.5 Pro обе относятся к классу GPT-4, а вот Gemini 1.0 Pro — нет). Хотя выход первых моделей, явно превосходящих GPT-4, ожидается в ближайшие месяцы, одно мы усвоили точно: мы и близко не исчерпали возможности даже уже существующих ИИ.
На самом деле часто очень трудно понять, чего эти модели не могут, потому что большинство людей прекращают эксперименты, как только подход не срабатывает. А ведь грамотный промптинг нередко способен заставить ИИ сделать то, что казалось невозможным. Например, в эти выходные программист Victor Taelin заключил пари. Он утверждал, что «GPT НИКОГДА не решат задачу A::B», потому что они не способны научиться рассуждать над новой информацией. Он предложил $10 000 любому, кто сможет заставить ИИ решить задачу с картинки ниже (он назвал её «безмозглым вопросом, который большинство детей должны уметь прочитать, понять и решить за минуту», хотя я не уверен, что всё так просто, но вам стоит попробовать).
Несколько человек в тот же день придумали, как заставить ИИ решить эту задачу, используя одни лишь промпты. У меня был похожий опыт: я не смог заставить ИИ решить кроссворд New York Times, и после того как я поделился своим убеждением, что это сложная задача, профессор Arvind Narayanan показал, что это под силу GPT-4.
На самом деле даже создатели LLM толком не знают, на что способны эти системы. Вот, например, трёхстраничный промпт, который мы разработали и который превращает GPT-4 или Claude 3 в симулятор переговоров — с оценками и встроенными уроками (вскоре у нас выйдет ещё много образовательных промптов в новой статье, но этот, как и наши прежние промпты, вы можете найти в нашей библиотеке промптов, выпущенной под лицензией Creative Commons, или попробовать в виде GPT). Мы демонстрировали этот и похожие промпты сотрудникам крупных ИИ-лабораторий, которые не подозревали, что их собственные модели способны на такие сложные взаимодействия по одному лишь промпту.
Это, разумеется, не означает, что системы способны на любую человеческую задачу, — лишь то, что трудно доказать на простых экспериментах, будто они чего-то не умеют хорошо. При этом нет единственно верного способа промптить ИИ (исследователи продолжают открывать новые приёмы и подходы), так что попытка показать, что ИИ что-то умеет, зависит от сочетания искусства, навыка и мотивации. И это даже без учёта дополнительного фактора — использования инструментов: когда вы даёте ИИ доступ к таким вещам, как поиск Google, системы способны превзойти людей в проверке фактов — в области, где ИИ без инструментов славятся своей слабостью.
Всё больше признаков «сверхчеловеческой эффективности» в человеческих задачах
Действительно, за последние несколько месяцев начали появляться более тщательные работы, указывающие на то, что ИИ способны превосходить человека в очень человеческих задачах — явление, которое некоторые исследователи называют «сверхчеловеческой эффективностью». Справедливости ради, не вполне ясно, что такое «сверхчеловеческая» эффективность применительно к ИИ (лучше среднего человека? лучше лучшего человека?), но это по крайней мере указывает на возможности, которые начинают оказывать радикальное воздействие.
Как известно, Sam Altman упомянул, что в ближайшем будущем ИИ может оказаться способным к сверхчеловеческому убеждению. Новые исследования намекают, что он, возможно, уже прав.
В рандомизированном, контролируемом, предварительно зарегистрированном исследовании GPT-4 лучше людей умел менять мнение собеседника в ходе дискуссии — по крайней мере, когда ему давали доступ к личной информации о человеке, с которым он спорит (люди, получившие ту же информацию, убедительнее не становились). Эффект был значительным: ИИ повышал вероятность того, что человек изменит своё мнение, на 87% по сравнению с человеком-оппонентом. Возможно, именно поэтому вторая работа обнаружила, что GPT-4 справляется со знаменито сложной разговорной задачей — спором с конспирологами. Это контролируемое исследование показало, что трёхраундовая дискуссия, в которой GPT-4 отстаивает противоположную сторону, устойчиво снижает веру в теории заговора. Что ещё удивительнее, эффект сохраняется со временем — даже у убеждённых сторонников.
Снижение конспирологических убеждений, возможно, и есть хорошее применение убеждающей силы ИИ, но высокий уровень убедительности ИИ также вызывает опасения по поводу того, к чему ИИ могут склонить людей. Как писал Altman, чрезвычайно убедительные боты «могут привести к весьма странным последствиям» — и это, пожалуй, преуменьшение. Я подозреваю, что как минимум произойдут крупные перемены в мире маркетинга. В конце концов, теперь не составляет труда сделать торговый автомат, который втянет вас в беседу и будет весьма убедителен.
Убеждение — не единственная область, где ИИ соперничает с человеком. В книге я обсуждаю применение LLM в бизнесе, юриспруденции и медицине, и доказательства ценности ИИ в этих сферах продолжают накапливаться. ИИ, похоже, выполняет самые разные специализированные задачи, которым его не обязательно специально обучали, на очень высоком уровне. Claude 3, например, прошёл этот тест, который был специально разработан, чтобы быть особенно трудным для ИИ. Для людей он тоже по-настоящему сложен. Доктора наук с доступом к интернету и неограниченным временем верно отвечали лишь на 34% вопросов вне своей специальности и обычно набирали 65–75% по вопросам в своей области. А Claude 3 набирает 60% в целом.
Эти результаты возникают и за пределами тестов, в реальных условиях. Новое исследование в JAMA Internal Medicine обнаружило, что ИИ лучше врачей справлялся с обработкой медицинских данных и клиническими рассуждениями по реальным случаям пациентов. Это, конечно, не означает, что ИИ может заменить врачей, но указывает на кое-что иное, очень важное. Цитируя одного из авторов работы, исследование показывает, что «LLM способны имитировать некоторые из мощных процессов, которые мы используем для постановки диагнозов, — процессов, которые буквально до прошлого года мы, врачи, считали присущими лишь нам».
Думаю, на этот вывод стоит обратить внимание, потому что вы будете встречать его во многих местах: то, что год назад мы считали исключительно человеческим, в ближайшие годы будут делать машины, причём нередко на «сверхчеловеческом» уровне. Нам нужно быть готовыми к тому, что это произойдёт, и при этом следить за предвзятостями и слабостями этих систем, которые могут скрываться за их кажущимися впечатляющими способностями (например, у GPT-4 есть множество предвзятостей, когда его просят оценить кандидатов при найме). Профессии, которые начнут готовиться к этому будущему (в качестве примера мне нравится это рефлексивное исследование профессоров науки о данных), будут чувствовать себя лучше тех, кто игнорирует грядущие перемены.
Агенты и всё, что за ними
Агенты — это системы ИИ, наделённые способностью планировать и использовать инструменты, что позволяет им действовать автономно. Я упоминаю их в книге, но не ожидал, что они будут развиваться так стремительно, как это произошло. Агенты вроде Devin — «разработчика ПО» — и их опенсорсные аналоги намекают, что мы ближе к новой парадигме использования ИИ, чем я думал ещё несколько месяцев назад.
Я всё больше склоняюсь к мысли, что агенты, возможно, окажутся ключом к интеграции ИИ в организации — по крайней мере, в краткосрочной перспективе. Организации зачастую неохотно дают своим сотрудникам полномочия использовать ИИ, но агенты органичнее вписываются в существующую структуру организаций. Поскольку вы поручаете им задачи, как людям, они могут работать как «ИИ-подрядчики», которым делегируют работу. Агенты также представляют собой первый отход от моделей чат-бота и копилота во взаимодействии с ИИ. Есть что-то притягательное в том, чтобы поручить задачу агенту вроде Devin и затем больше о ней не беспокоиться, зная, что он за неё взялся и напишет вам, если возникнут вопросы.
Но та человекоподобная манера, в которой вы взаимодействуете с агентами, тоже намекает на более крупные перемены впереди. Я попросил ИИ-агента Devin зайти на Reddit и предложить людям создание сайтов. В течение следующей пары часов он это делал, решая по ходу множество проблем, в том числе ориентируясь в сложных социальных правилах публикации на форуме Reddit.
Вот что он опубликовал… можно увидеть, что он выдал себя за человека и спонтанно решил брать плату за свою работу! Агент уже начинал отвечать некоторым авторам постов и придумывал способы им помочь, когда я снял публикацию (я опасался, что он и правда начнёт выставлять людям счета).
Уточню: я понимаю, что Devin на самом деле не смог бы выполнить все задачи, за которые брался. Система ошибается и часто застревает. Она пока далека от человеческого уровня. Пределы Devin в конечном счёте — это возможности моделей класса GPT-4, которые им управляют. Если развитие ИИ остановится на этом уровне, агенты будут полезны, но ограничены в своей способности действовать по-настоящему автономно. Один из важнейших вопросов о нынешнем состоянии ИИ — станет ли следующее поколение моделей существенно лучше нынешних. Подозреваю, что ответ мы узнаем скоро.
Если новые ИИ окажутся намного лучше нынешних, то три обозначенные мной линии — неясные верхние пределы способностей, «сверхчеловеческие» навыки в некоторых областях и автономные агенты — начнут иметь огромное значение. Предприниматели смогут развёртывать агентов в роли виртуальных сотрудников, создавая крупные компании при немногих реальных людях. Преступники смогут использовать агентов для массовых мошенничеств, полагаясь на их способность убеждать жертв при низких издержках. И это лишь начало. Если эти тенденции сохранятся, сверхчеловечески убедительные торговые автоматы окажутся одним из наименее странных последствий ИИ.
