Four Singularities for Research

Four Singularities for Research

Четыре сингулярности для исследований

The rise of AI is creating both crisis and opportunity

Подъём ИИ создаёт одновременно кризис и возможности

As a business school professor, I am keenly aware of the research showing that business school professors are among the top 25 jobs (out of 1,016) whose tasks overlap most with AI. But overlap doesn’t necessarily mean replacement, it means disruption and change. I have written extensively about how a big part of my job as a professor - my role as an educator - is changing with AI, but I haven’t written as much about how the other big part of my job, academic research, is being transformed1. I think that change will be every bit as profound, and it may even be necessary.

Как профессор бизнес-школы, я прекрасно знаю об исследовании, показывающем, что профессора бизнес-школ входят в топ-25 профессий (из 1016), задачи которых сильнее всего пересекаются с возможностями ИИ. Но пересечение не обязательно означает замещение — оно означает встряску и перемены. Я много писал о том, как большая часть моей работы как профессора — роль преподавателя — меняется под влиянием ИИ, но мало писал о том, как трансформируется другая большая часть моей работы — академические исследования1. Я думаю, эти перемены будут не менее глубокими, а возможно, они даже необходимы.

Even before ChatGPT, something alarming was happening in academia. Though academics published ever more work, the pace of innovation appeared to be slowing rapidly. In fact, one paper found that research was losing steam in every field, from agriculture to cancer research. More researchers are required to advance the state of the art, and the speed of innovation appears to be dropping by 50% every 13 years. The reasons for this are not entirely clear, and are likely complex, but it suggests a crisis already occurring, one that AI had no role in. In fact, it is possible that AI may help address this issue, but not before creating issues of its own.

Ещё до ChatGPT в академической среде происходило нечто тревожное. Хотя учёные публиковали всё больше работ, темп инноваций, по всей видимости, стремительно замедлялся. Более того, в одной статье было показано, что исследования теряют импульс во всех областях — от сельского хозяйства до онкологии. Чтобы продвигать передний край знаний, нужно всё больше исследователей, а скорость инноваций падает примерно на 50% каждые 13 лет. Причины этого не вполне ясны и, вероятно, многослойны, но это указывает на уже разворачивающийся кризис, к которому ИИ не имеет отношения. На самом деле возможно, что ИИ поможет решить эту проблему — но не раньше, чем создаст свои собственные.

I think AI is about to bring on many more crises in scientific research… well, not crises - singularities. I don’t mean The Singularity, the hypothetical moment that humans build a machine smarter than themselves and life changes forever, but rather a narrower version. A narrow singularity is a future point in human affairs where AI has so altered a field or industry that we cannot fully imagine what the world on the other side of that singularity looks like. I think academic research is facing at least four of these narrow singularities. Each has the potential to so alter the nature of academic research that it could either restart the slowing engine of innovation or else create a crisis to derail it further. The early signs are already here, we just need to decide what we will do on the other side.

Я считаю, что ИИ скоро принесёт научным исследованиям ещё много кризисов… вернее, не кризисов — сингулярностей. Я имею в виду не «ту самую» Сингулярность — гипотетический момент, когда люди построят машину умнее себя и жизнь изменится навсегда, — а более узкую её версию. Узкая сингулярность — это будущая точка в человеческих делах, где ИИ так сильно изменил отрасль или область, что мы не можем в полной мере представить, как выглядит мир по ту сторону. Я думаю, академические исследования столкнутся как минимум с четырьмя такими узкими сингулярностями. Каждая из них способна настолько изменить природу научной работы, что либо перезапустит замедляющийся двигатель инноваций, либо создаст кризис, который ещё больше его остановит. Ранние признаки уже здесь, нам лишь предстоит решить, что мы будем делать по ту сторону.

Singularity #1: How we write and publish

Сингулярность №1: как мы пишем и публикуем

In many academic fields, academic research is grindingly slow. I have had papers that took nearly a decade from when I first started working on them until they were published in a journal. Top quality journals are built for this pace, and so are very ill-prepared for the flood of academic articles that AI is unleashing. That is because many researchers are using AI for writing articles, speeding up a key part of the research process and confusing the signals reviewers look for when evaluating work.

Во многих академических областях исследования продвигаются мучительно медленно. У меня были статьи, путь которых от первых набросков до публикации в журнале занял почти десятилетие. Журналы высшего уровня устроены под этот темп и поэтому совершенно не готовы к потоку академических статей, который высвобождает ИИ. Дело в том, что многие исследователи используют ИИ для написания статей, ускоряя ключевую часть процесса и сбивая сигналы, на которые опираются рецензенты при оценке работы.

Some of this AI help is incredibly clumsy and unethical, like the flood of papers with obvious LLM-written sections or horrifying AI-created images. But AI writing can actually be extremely helpful when used correctly. After all, many scientists excel at their field of interest, but they may not be excellent writers or communicators. Yet GPT-4 class models are actually quite good at scientific writing, producing introductions that are, in at least one small study, the equal of humans. If AI can help with the writing process, it could allow scientists to focus on what they do best, speeding up the research process by having the AI help with time-consuming tasks. Of course, we have no way of knowing whether researchers are properly checking the writing from the AI, so, with a flood of new articles, peer review becomes ever more important…

Часть этой помощи ИИ невероятно неуклюжа и неэтична — например, поток статей с очевидно написанными LLM фрагментами или кошмарными изображениями, созданными ИИ. Но при правильном применении ИИ-письмо может быть крайне полезным. В конце концов, многие учёные блестящи в своей области, но не обязательно являются выдающимися писателями или коммуникаторами. А модели уровня GPT-4 на удивление хороши в научном письме: введения, которые они производят, по данным как минимум одного небольшого исследования, не уступают человеческим. Если ИИ может помочь с процессом письма, это позволит учёным сосредоточиться на том, что они делают лучше всего, ускоряя исследования за счёт передачи трудоёмких задач ИИ. Разумеется, мы не можем знать, как тщательно исследователи проверяют написанное ИИ, поэтому с потоком новых статей рецензирование становится всё важнее…

…and also more automated. Already, at a major AI conference, up to 17% of the text of all peer reviews was written by AIs. While this might be bad news for science, it is good news for the people who wrote their papers using AI and got an AI peer reviewer, because AI peer reviewers prefer AI-written papers.

…и одновременно всё более автоматизированным. На крупной AI-конференции уже до 17% текста всех рецензий было написано ИИ. Для науки это, возможно, плохая новость, зато хорошая для тех, кто написал свои статьи с помощью ИИ и получил ИИ-рецензента, потому что ИИ-рецензенты предпочитают статьи, написанные ИИ.

And yet, we may not want to dismiss the idea of AI helping with peer review. Recent experiments suggest AI peer reviews tend to be surprisingly good, with 82.4% of scientists finding AI peer reviews more useful than at least some of the human reviews they received from on a paper, and other work suggests AI is reasonably good at spotting errors, though not as good as humans, yet. Regardless of how good AI gets, the scientific publishing system was not made to support AI writers writing to AI reviews for AI opinions for papers later summarized by AI. The system is going to break.

И всё же, возможно, не стоит отметать идею ИИ-рецензирования. Недавние эксперименты показывают, что ИИ-рецензии оказываются на удивление хорошими: 82,4% учёных считают ИИ-рецензии более полезными, чем хотя бы некоторые из полученных ими человеческих, а другая работа предполагает, что ИИ неплохо справляется с поиском ошибок, хотя пока и не так хорошо, как люди. Независимо от того, насколько хорош ИИ, система научных публикаций не создавалась для того, чтобы поддерживать ИИ-авторов, пишущих с расчётом на ИИ-рецензии для ИИ-мнений по статьям, которые потом резюмируются ИИ. Эта система сломается.

And that is even before AI starts helping people create papers, rather than assisting on writing alone. To demonstrate the potential, I put together a little GPT that will explore any dataset, generating hypotheses and testing them in increasingly sophisticated ways. If you try it (free datasets are here if you want to experiment) you will find that AI can do some impressive data work, but it also can be used as a tool for automating bad research, tirelessly p-hacking a dataset until results are achieved. We are going to need to think about how to address these issues of integrity at many levels.

А ведь это ещё до того, как ИИ начнёт помогать людям создавать сами статьи, а не только писать тексты. Чтобы продемонстрировать потенциал, я собрал небольшой GPT, который исследует любой датасет, выдвигая гипотезы и проверяя их всё более изощрёнными способами. Если вы его попробуете (бесплатные датасеты есть здесь, если хотите поэкспериментировать), то увидите, что ИИ способен на впечатляющую работу с данными, но его же можно использовать как инструмент автоматизации плохой науки, без устали p-hack-ая датасет, пока не получится нужный результат. Нам придётся подумать, как решать эти проблемы добросовестности на многих уровнях.

So, how do we come out the other side of this singularity? We need to reconsider the very nature of scientific publishing and reach some conclusions:

Итак, как нам пройти через эту сингулярность? Нужно переосмыслить саму природу научных публикаций и прийти к нескольким выводам:

Как будут выглядеть научные публикации и рецензирование в будущем? Как нам справляться с потоком ИИ-контента? Как моделировать позитивное использование ИИ, ускоряющее темп исследований, и одновременно сдерживать вредные практики?

Singularity #2: How we research

Сингулярность №2: как мы исследуем

LLMs are also transforming how research is actually done. This is probably the most discussed potential singularity, so I will not try to cover it exhaustively, but the implications are quite large. And to be clear, so are the risks: we know AI is biased in ways that we don’t fully understand (though it is often less biased than humans doing the same work), it obviously is prone to hallucination and errors. Much more research is needed to get a sense of the reliability of different AIs under different circumstances. With this caveat in mind, the evidence suggests that AI can, indeed, help with research in many ways. AI is quite useful at text analysis, for example. Plus, working with it is more like working with a human research assistant than a programming language, meaning that more researchers can benefit because they don’t need to learn specialized skills to work with AI. This expands the set of research techniques available for many academics.

LLM трансформируют и то, как реально проводятся исследования. Это, вероятно, самая обсуждаемая потенциальная сингулярность, поэтому я не буду пытаться раскрыть её исчерпывающе, но последствия весьма масштабны. И, чтобы было ясно, велики и риски: мы знаем, что ИИ предвзят способами, которые мы не вполне понимаем (хотя зачастую он менее предвзят, чем люди, выполняющие ту же работу), он, очевидно, склонен к галлюцинациям и ошибкам. Нужно гораздо больше исследований, чтобы понять надёжность разных ИИ в разных условиях. С этой оговоркой свидетельства указывают на то, что ИИ действительно может помогать в исследованиях многими способами. ИИ, например, весьма полезен в анализе текстов. Кроме того, работать с ним больше похоже на работу с человеком — помощником-исследователем, чем с языком программирования, а значит, выиграть могут больше учёных, потому что им не нужно осваивать узкоспециализированные навыки для работы с ИИ. Это расширяет набор исследовательских техник, доступных многим академикам.

But LLMs can also do things that human research assistants would struggle with. For example, large context windows, which let the AI hold hundreds of thousands of words in memory at the same time, enable pretty remarkable feats of analysis. I gave Gemini Pro the 20 papers and books that made up my academic work prior to 2022, over 1000+ pages of PDFs. It was able to extract direct quotes and find themes across all of them with only quite minor errors. This process of summarizing an entire career’s worth of writing typically takes many, many hours of work.

Но LLM умеют и то, с чем человеку-ассистенту пришлось бы тяжело. Например, большие контекстные окна, позволяющие ИИ удерживать в памяти сотни тысяч слов одновременно, открывают довольно поразительные возможности для анализа. Я дал Gemini Pro 20 статей и книг, составлявших мою академическую работу до 2022 года, — более 1000 страниц PDF. Он смог извлечь точные цитаты и найти сквозные темы по всем им, лишь с небольшими ошибками. Такое обобщение работы за всю карьеру обычно занимает многие-многие часы труда.

But AI creates even weirder possibilities for social science research, in that it can, under some circumstances, simulate human beings with high levels of accuracy. Simulated AI subjects act like human ones, allowing researchers to replicate famous experiments like the Milgram obedience studies or the results of personality tests across 50 countries. And to add an extra dimension of weirdness to these experiments, individual AI agents, assigned personalities and goals, can interact and learn with each other in simulated environments. For example, simulated doctors in a simulated hospital with simulated patients learned how to better diagnose diseases. We may be able to discover a lot from these types of counterfactual simulations, though, of course, AI agents aren’t humans and AI simulations need to be interpreted carefully.

Но ИИ создаёт ещё более странные возможности для исследований в социальных науках: при определённых условиях он способен с высокой точностью симулировать людей. Симулированные ИИ-испытуемые ведут себя как настоящие, позволяя исследователям воспроизводить знаменитые эксперименты — например, опыты Милгрэма о подчинении или результаты личностных тестов в 50 странах. А чтобы добавить этим экспериментам дополнительный уровень странности, отдельные ИИ-агенты с заданными личностями и целями могут взаимодействовать и учиться друг у друга в симулированных средах. Например, симулированные врачи в симулированной больнице с симулированными пациентами научились лучше диагностировать болезни. Из подобных контрфактических симуляций мы, возможно, узнаем многое, хотя, конечно, ИИ-агенты — не люди, и ИИ-симуляции требуют осторожной интерпретации.

Perhaps the most interesting (and disruptive) way to use LLMs in science is to have AI systems autonomously try to discover new things. Specialized LLMs have shown the ability to generate new mathematical knowledge with minimal human guidance. And some early work suggests that LLMs can generate new hypotheses in the social sciences, develop a plan to test those hypotheses, and then actually conduct the tests using simulations. This would create a new form of fully automated social science conducted entirely by machines. But even this is less ambitious than a set of experiments that gave GPT-4 access to a chemical database and the ability to write software to control lab equipment. This allowed the AI to plan and conduct actual chemistry experiments on its own. The scientists were thrilled by the potential, but also fully aware of the potential dangers.

Пожалуй, самый интересный (и разрушительный) способ применения LLM в науке — поручить ИИ-системам автономно открывать новое. Специализированные LLM продемонстрировали способность генерировать новые математические знания при минимальном участии человека. А ранние работы показывают, что LLM могут выдвигать новые гипотезы в социальных науках, разрабатывать план их проверки и затем фактически проводить тесты с помощью симуляций. Это породит новую форму полностью автоматизированной социальной науки, ведомой исключительно машинами. Но и это менее амбициозно, чем серия экспериментов, в которых GPT-4 получил доступ к химической базе данных и возможность писать ПО для управления лабораторным оборудованием. Это позволило ИИ самому планировать и проводить реальные химические эксперименты. Учёные были в восторге от потенциала, но и в полной мере осознавали возможные опасности.

In the near future, AIs may actually conduct science, changing the nature of research in ways we can’t predict. To guide this rapid change, we need to answer a few questions:

В ближайшем будущем ИИ может действительно заниматься наукой, меняя природу исследований способами, которые мы не можем предсказать. Чтобы направлять эти стремительные перемены, нам нужно ответить на несколько вопросов:

Какие методы ИИ допустимо использовать? Какие чреваты плохой наукой, предвзятостью или опасными результатами? Что автономным агентам должно быть позволено исследовать? Как их отслеживать и при необходимости останавливать?

Singularity #3: What our research means

Сингулярность №3: что значат наши исследования

There is often a big gap between the research world and the public. Papers that are important in an academic field may seem meaningless to those outside of it, let alone to the wider world. And yet, having been in academia for two decades, I believe that a tremendous amount of academic research that has value in the outside world, value that even many academics don’t recognize. AI can help create that bridge between academia and the real world. For example, here is a little GPT that tells you why an academic paper might matter to you. I gave it one of my papers, and it did an excellent job explaining the implications (and summarizing the key results).

Между миром исследований и публикой часто зияет большая пропасть. Статьи, важные внутри академической области, могут казаться бессмысленными тем, кто за её пределами, не говоря уже о широкой аудитории. И всё же, проведя в академии два десятилетия, я считаю, что огромное количество академических исследований обладает ценностью во внешнем мире — ценностью, которую не осознают даже многие учёные. ИИ может помочь навести мост между академией и реальным миром. Например, вот небольшой GPT, который рассказывает, чем академическая статья может быть важна именно вам. Я дал ему одну из своих статей, и он отлично объяснил её следствия (а заодно резюмировал ключевые результаты).

Just as interesting is the promise that AI might help researchers explain work to each other, finding opportunities for multi-disciplinary cooperation and helping handle the flood of research Singularities 1 and 2 have unleashed. We know that AI can conduct massive literature reviews and find connections between unexpected work, as well as locating errors and gaps that can be filled. An AI that can connect researchers to ongoing research and discussions can be a valuable tool to restart the engine of innovation. But we need to reconsider the boundaries between fields, and between academia and the public, in order to find a better world on the other side of this singularity.

Не менее интересно и то, что ИИ может помочь самим исследователям объяснять свои работы друг другу, находя возможности для междисциплинарного сотрудничества и помогая справляться с потоком исследований, который высвободили Сингулярности 1 и 2. Мы знаем, что ИИ способен проводить масштабные обзоры литературы и находить связи между неожиданными работами, а также выявлять ошибки и пробелы, которые можно заполнить. ИИ, способный соединять исследователей с текущими работами и дискуссиями, может стать ценным инструментом, перезапускающим двигатель инноваций. Но чтобы найти лучший мир по ту сторону этой сингулярности, нам нужно переосмыслить границы между областями знаний и между академией и публикой.

Singularity #4: What we research

Сингулярность №4: что мы исследуем

Today, we still do not understand a lot about the implications of LLMs and why they are so good at simulating human thought without actually thinking themselves. More practically, we also don’t know what tasks LLMs do well or badly at. Even the researchers who create them are not aware of their full set of capabilities, and there is large-scale debate over how much LLMs are doing “original thinking” versus spitting back what they learned when trained. The one thing the early research is showing, however, is that LLMs are going to be a big deal in the real world, outperforming humans at an increasing number of real jobs.

Сегодня мы всё ещё многого не понимаем в последствиях LLM и в том, почему они так хороши в симуляции человеческого мышления, на самом деле не мысля. Более практично — мы также не знаем, какие задачи LLM выполняют хорошо, а какие плохо. Даже исследователи, создающие их, не осведомлены об их полном наборе возможностей, и идут масштабные споры о том, насколько LLM занимаются «оригинальным мышлением», а насколько — выдают обратно то, что выучили при обучении. Однако ранние исследования показывают одну вещь: LLM станут значимым явлением в реальном мире, обгоняя людей во всё большем числе настоящих профессий.

From the moment ChatGPT-3.5 came out, I (and many of my colleagues) were overwhelmed by the implications of LLMs, and rapidly pivoted our research focus to AIs. But there aren’t enough of us, yet. If AI is, indeed, a General Purpose Technology, one of those rare innovations that will impact much of our culture, economy, and society, then we need a crash effort to understand its implications, shape its development, mitigate its risks, and help everyone gain its benefits. Because the impacts are multidisciplinary, we need researchers from many fields to join in. This is an exciting time, but if academics don’t seize the moment to do this, others will. We have a unique opportunity to rise to the challenge of our singularities, and, if we do, the world will be better for it.

С самого момента выхода ChatGPT-3.5 я (и многие мои коллеги) были подавлены последствиями LLM и быстро переориентировали наш исследовательский фокус на ИИ. Но нас пока недостаточно. Если ИИ действительно является технологией общего назначения — одной из тех редких инноваций, что затронут большую часть нашей культуры, экономики и общества, — то нам нужна экстренная мобилизация, чтобы понять её последствия, направить её развитие, смягчить её риски и помочь каждому получить от неё пользу. Поскольку влияние междисциплинарно, нам нужны исследователи из множества областей. Это волнующее время, но если академики не воспользуются моментом, это сделают другие. У нас уникальная возможность подняться на высоту этих сингулярностей, и если мы это сделаем, мир от этого станет лучше.

Share

Поделиться

There is no more dangerous audience to write for than fellow academics, so I want to caveat all of what I am about to write with the disclaimer that there is wide variance in academic fields, academic institutions, academic jobs, and national contexts. Not everything I write about will apply to your field, maybe nothing will!

Нет более опасной аудитории, чем коллеги-академики, поэтому всё, что я собираюсь написать, я предваряю оговоркой: между академическими областями, институтами, должностями и национальными контекстами есть огромный разброс. Не всё, о чём я пишу, применимо к вашей области — а может, и вовсе ничего!