Four Singularities for Research

Четыре сингулярности для исследований

Подъём ИИ создаёт одновременно кризис и возможности

Как профессор бизнес-школы, я прекрасно знаю об исследовании, показывающем, что профессора бизнес-школ входят в топ-25 профессий (из 1016), задачи которых сильнее всего пересекаются с возможностями ИИ. Но пересечение не обязательно означает замещение — оно означает встряску и перемены. Я много писал о том, как большая часть моей работы как профессора — роль преподавателя — меняется под влиянием ИИ, но мало писал о том, как трансформируется другая большая часть моей работы — академические исследования1. Я думаю, эти перемены будут не менее глубокими, а возможно, они даже необходимы.

Ещё до ChatGPT в академической среде происходило нечто тревожное. Хотя учёные публиковали всё больше работ, темп инноваций, по всей видимости, стремительно замедлялся. Более того, в одной статье было показано, что исследования теряют импульс во всех областях — от сельского хозяйства до онкологии. Чтобы продвигать передний край знаний, нужно всё больше исследователей, а скорость инноваций падает примерно на 50% каждые 13 лет. Причины этого не вполне ясны и, вероятно, многослойны, но это указывает на уже разворачивающийся кризис, к которому ИИ не имеет отношения. На самом деле возможно, что ИИ поможет решить эту проблему — но не раньше, чем создаст свои собственные.

Я считаю, что ИИ скоро принесёт научным исследованиям ещё много кризисов… вернее, не кризисов — сингулярностей. Я имею в виду не «ту самую» Сингулярность — гипотетический момент, когда люди построят машину умнее себя и жизнь изменится навсегда, — а более узкую её версию. Узкая сингулярность — это будущая точка в человеческих делах, где ИИ так сильно изменил отрасль или область, что мы не можем в полной мере представить, как выглядит мир по ту сторону. Я думаю, академические исследования столкнутся как минимум с четырьмя такими узкими сингулярностями. Каждая из них способна настолько изменить природу научной работы, что либо перезапустит замедляющийся двигатель инноваций, либо создаст кризис, который ещё больше его остановит. Ранние признаки уже здесь, нам лишь предстоит решить, что мы будем делать по ту сторону.

Сингулярность №1: как мы пишем и публикуем

Во многих академических областях исследования продвигаются мучительно медленно. У меня были статьи, путь которых от первых набросков до публикации в журнале занял почти десятилетие. Журналы высшего уровня устроены под этот темп и поэтому совершенно не готовы к потоку академических статей, который высвобождает ИИ. Дело в том, что многие исследователи используют ИИ для написания статей, ускоряя ключевую часть процесса и сбивая сигналы, на которые опираются рецензенты при оценке работы.

Часть этой помощи ИИ невероятно неуклюжа и неэтична — например, поток статей с очевидно написанными LLM фрагментами или кошмарными изображениями, созданными ИИ. Но при правильном применении ИИ-письмо может быть крайне полезным. В конце концов, многие учёные блестящи в своей области, но не обязательно являются выдающимися писателями или коммуникаторами. А модели уровня GPT-4 на удивление хороши в научном письме: введения, которые они производят, по данным как минимум одного небольшого исследования, не уступают человеческим. Если ИИ может помочь с процессом письма, это позволит учёным сосредоточиться на том, что они делают лучше всего, ускоряя исследования за счёт передачи трудоёмких задач ИИ. Разумеется, мы не можем знать, как тщательно исследователи проверяют написанное ИИ, поэтому с потоком новых статей рецензирование становится всё важнее…

…и одновременно всё более автоматизированным. На крупной AI-конференции уже до 17% текста всех рецензий было написано ИИ. Для науки это, возможно, плохая новость, зато хорошая для тех, кто написал свои статьи с помощью ИИ и получил ИИ-рецензента, потому что ИИ-рецензенты предпочитают статьи, написанные ИИ.

И всё же, возможно, не стоит отметать идею ИИ-рецензирования. Недавние эксперименты показывают, что ИИ-рецензии оказываются на удивление хорошими: 82,4% учёных считают ИИ-рецензии более полезными, чем хотя бы некоторые из полученных ими человеческих, а другая работа предполагает, что ИИ неплохо справляется с поиском ошибок, хотя пока и не так хорошо, как люди. Независимо от того, насколько хорош ИИ, система научных публикаций не создавалась для того, чтобы поддерживать ИИ-авторов, пишущих с расчётом на ИИ-рецензии для ИИ-мнений по статьям, которые потом резюмируются ИИ. Эта система сломается.

А ведь это ещё до того, как ИИ начнёт помогать людям создавать сами статьи, а не только писать тексты. Чтобы продемонстрировать потенциал, я собрал небольшой GPT, который исследует любой датасет, выдвигая гипотезы и проверяя их всё более изощрёнными способами. Если вы его попробуете (бесплатные датасеты есть здесь, если хотите поэкспериментировать), то увидите, что ИИ способен на впечатляющую работу с данными, но его же можно использовать как инструмент автоматизации плохой науки, без устали p-hack-ая датасет, пока не получится нужный результат. Нам придётся подумать, как решать эти проблемы добросовестности на многих уровнях.

Итак, как нам пройти через эту сингулярность? Нужно переосмыслить саму природу научных публикаций и прийти к нескольким выводам:

Как будут выглядеть научные публикации и рецензирование в будущем? Как нам справляться с потоком ИИ-контента? Как моделировать позитивное использование ИИ, ускоряющее темп исследований, и одновременно сдерживать вредные практики?

Сингулярность №2: как мы исследуем

LLM трансформируют и то, как реально проводятся исследования. Это, вероятно, самая обсуждаемая потенциальная сингулярность, поэтому я не буду пытаться раскрыть её исчерпывающе, но последствия весьма масштабны. И, чтобы было ясно, велики и риски: мы знаем, что ИИ предвзят способами, которые мы не вполне понимаем (хотя зачастую он менее предвзят, чем люди, выполняющие ту же работу), он, очевидно, склонен к галлюцинациям и ошибкам. Нужно гораздо больше исследований, чтобы понять надёжность разных ИИ в разных условиях. С этой оговоркой свидетельства указывают на то, что ИИ действительно может помогать в исследованиях многими способами. ИИ, например, весьма полезен в анализе текстов. Кроме того, работать с ним больше похоже на работу с человеком — помощником-исследователем, чем с языком программирования, а значит, выиграть могут больше учёных, потому что им не нужно осваивать узкоспециализированные навыки для работы с ИИ. Это расширяет набор исследовательских техник, доступных многим академикам.

Но LLM умеют и то, с чем человеку-ассистенту пришлось бы тяжело. Например, большие контекстные окна, позволяющие ИИ удерживать в памяти сотни тысяч слов одновременно, открывают довольно поразительные возможности для анализа. Я дал Gemini Pro 20 статей и книг, составлявших мою академическую работу до 2022 года, — более 1000 страниц PDF. Он смог извлечь точные цитаты и найти сквозные темы по всем им, лишь с небольшими ошибками. Такое обобщение работы за всю карьеру обычно занимает многие-многие часы труда.

Но ИИ создаёт ещё более странные возможности для исследований в социальных науках: при определённых условиях он способен с высокой точностью симулировать людей. Симулированные ИИ-испытуемые ведут себя как настоящие, позволяя исследователям воспроизводить знаменитые эксперименты — например, опыты Милгрэма о подчинении или результаты личностных тестов в 50 странах. А чтобы добавить этим экспериментам дополнительный уровень странности, отдельные ИИ-агенты с заданными личностями и целями могут взаимодействовать и учиться друг у друга в симулированных средах. Например, симулированные врачи в симулированной больнице с симулированными пациентами научились лучше диагностировать болезни. Из подобных контрфактических симуляций мы, возможно, узнаем многое, хотя, конечно, ИИ-агенты — не люди, и ИИ-симуляции требуют осторожной интерпретации.

Пожалуй, самый интересный (и разрушительный) способ применения LLM в науке — поручить ИИ-системам автономно открывать новое. Специализированные LLM продемонстрировали способность генерировать новые математические знания при минимальном участии человека. А ранние работы показывают, что LLM могут выдвигать новые гипотезы в социальных науках, разрабатывать план их проверки и затем фактически проводить тесты с помощью симуляций. Это породит новую форму полностью автоматизированной социальной науки, ведомой исключительно машинами. Но и это менее амбициозно, чем серия экспериментов, в которых GPT-4 получил доступ к химической базе данных и возможность писать ПО для управления лабораторным оборудованием. Это позволило ИИ самому планировать и проводить реальные химические эксперименты. Учёные были в восторге от потенциала, но и в полной мере осознавали возможные опасности.

В ближайшем будущем ИИ может действительно заниматься наукой, меняя природу исследований способами, которые мы не можем предсказать. Чтобы направлять эти стремительные перемены, нам нужно ответить на несколько вопросов:

Какие методы ИИ допустимо использовать? Какие чреваты плохой наукой, предвзятостью или опасными результатами? Что автономным агентам должно быть позволено исследовать? Как их отслеживать и при необходимости останавливать?

Сингулярность №3: что значат наши исследования

Между миром исследований и публикой часто зияет большая пропасть. Статьи, важные внутри академической области, могут казаться бессмысленными тем, кто за её пределами, не говоря уже о широкой аудитории. И всё же, проведя в академии два десятилетия, я считаю, что огромное количество академических исследований обладает ценностью во внешнем мире — ценностью, которую не осознают даже многие учёные. ИИ может помочь навести мост между академией и реальным миром. Например, вот небольшой GPT, который рассказывает, чем академическая статья может быть важна именно вам. Я дал ему одну из своих статей, и он отлично объяснил её следствия (а заодно резюмировал ключевые результаты).

Не менее интересно и то, что ИИ может помочь самим исследователям объяснять свои работы друг другу, находя возможности для междисциплинарного сотрудничества и помогая справляться с потоком исследований, который высвободили Сингулярности 1 и 2. Мы знаем, что ИИ способен проводить масштабные обзоры литературы и находить связи между неожиданными работами, а также выявлять ошибки и пробелы, которые можно заполнить. ИИ, способный соединять исследователей с текущими работами и дискуссиями, может стать ценным инструментом, перезапускающим двигатель инноваций. Но чтобы найти лучший мир по ту сторону этой сингулярности, нам нужно переосмыслить границы между областями знаний и между академией и публикой.

Сингулярность №4: что мы исследуем

Сегодня мы всё ещё многого не понимаем в последствиях LLM и в том, почему они так хороши в симуляции человеческого мышления, на самом деле не мысля. Более практично — мы также не знаем, какие задачи LLM выполняют хорошо, а какие плохо. Даже исследователи, создающие их, не осведомлены об их полном наборе возможностей, и идут масштабные споры о том, насколько LLM занимаются «оригинальным мышлением», а насколько — выдают обратно то, что выучили при обучении. Однако ранние исследования показывают одну вещь: LLM станут значимым явлением в реальном мире, обгоняя людей во всё большем числе настоящих профессий.

С самого момента выхода ChatGPT-3.5 я (и многие мои коллеги) были подавлены последствиями LLM и быстро переориентировали наш исследовательский фокус на ИИ. Но нас пока недостаточно. Если ИИ действительно является технологией общего назначения — одной из тех редких инноваций, что затронут большую часть нашей культуры, экономики и общества, — то нам нужна экстренная мобилизация, чтобы понять её последствия, направить её развитие, смягчить её риски и помочь каждому получить от неё пользу. Поскольку влияние междисциплинарно, нам нужны исследователи из множества областей. Это волнующее время, но если академики не воспользуются моментом, это сделают другие. У нас уникальная возможность подняться на высоту этих сингулярностей, и если мы это сделаем, мир от этого станет лучше.

Поделиться

Нет более опасной аудитории, чем коллеги-академики, поэтому всё, что я собираюсь написать, я предваряю оговоркой: между академическими областями, институтами, должностями и национальными контекстами есть огромный разброс. Не всё, о чём я пишу, применимо к вашей области — а может, и вовсе ничего!