Magic for English Majors
Итан Моллик утверждает, что в мире, «населённом» ИИ, гуманитарии получают неожиданное преимущество: работа с большими языковыми моделями вроде ChatGPT напоминает не строгое программирование, а сотворение заклинаний, где возможности системы открываются методом проб и ошибок. Промпты — это, по сути, «программы в прозе», и чтобы добиться уникальных результатов, нужно глубоко знать культурное наследие, на котором обучены модели. На примере генерации изображений он показывает, что хотя обучающая база содержит миллионы разнообразных стилей (в том числе база LAION на 12 млн изображений), люди в основном создают однотипное — «Звёздные войны», знаменитостей, Человека-паука и мраморные статуи; знание истории искусства резко расширяет возможности и делает использование более ответственным. То же касается текста: лучшие «кодеры» ChatGPT — хорошие редакторы, знающие множество стилей и авторов (от New Yorker до Джона Макфи) и умеющие управлять нарративом, чтобы заставить ИИ думать нужным образом. Вывод Моллика: у того, что знают эти модели, нет карты, поэтому нужны люди с глубокими и широкими знаниями в необычных областях, чтобы исследовать пределы ИИ — «это не совсем магия, но почти».
Magic for English Majors
Магия для гуманитариев
Programming in prose in an AI-haunted world
Программирование в прозе в мире, населённом ИИ
I always thought reading science fiction would prepare us for the future, but fantasy novels might be better suited to understanding our suddenly AI-haunted world.
Я всегда думал, что чтение научной фантастики подготовит нас к будущему, но фэнтези-романы, пожалуй, лучше подходят для понимания нашего мира, внезапно населённого ИИ.
There are now advanced and useful systems whose exact operations remain mysterious, even to those who built them. While one can understand the technical aspects of building Large Language Models like ChatGPT, the precise capabilities and limitations of these AIs are often only uncovered through trial and error. And having both conducted academic studies and developed magic spells for fictional fantasy games, working with ChatGPT often feels more like the latter.
Теперь существуют продвинутые и полезные системы, точная работа которых остаётся загадкой даже для тех, кто их создал. Хотя можно понять технические аспекты создания больших языковых моделей вроде ChatGPT, точные возможности и ограничения этих ИИ часто выясняются лишь методом проб и ошибок. И, занимаясь как академическими исследованиями, так и разработкой магических заклинаний для вымышленных фэнтези-игр, я нахожу, что работа с ChatGPT куда чаще напоминает второе.
Consider that ChatGPT outputs are created by prompts invoking webs of tenuous connections, basically programs in prose form. And since the way that the AI makes these connections are not always clear, creating good prompts requires exploring the AI with language (here are some hints to get started in your explorations). Once discovered, new invocations are often kept secret to gain an advantage in a job, or else shared online through secretive chat groups. But the magic analogy goes beyond secret knowledge and esoteric schools: There are certain words that ChatGPT cannot seem to remember or understand (ask it what Skydragon means). There are glyphs that other AIs cannot see. Still other AIs seem to have invented their own languages by which you can invoke them. You can bind autonomous vehicles in circles of salt. As science fiction author Arthur C. Clarke’s Third Law states: “Any sufficiently advanced technology is indistinguishable from magic.”
Подумайте: результаты ChatGPT создаются промптами, которые задействуют сети зыбких связей, — по сути, это программы в форме прозы. И поскольку то, как ИИ выстраивает эти связи, не всегда понятно, создание хороших промптов требует исследования ИИ с помощью языка (вот несколько подсказок , чтобы начать ваши изыскания). После того как новые заклинания найдены, их часто держат в секрете, чтобы получить преимущество в работе, либо делятся ими онлайн в закрытых чат-группах. Но аналогия с магией выходит за пределы тайного знания и эзотерических школ: есть определённые слова , которые ChatGPT, похоже, не может запомнить или понять (спросите его, что значит Skydragon). Есть символы , которые другие ИИ не способны увидеть. А ещё другие ИИ, кажется, изобрели собственные языки, на которых их можно призывать. Беспилотные автомобили можно сковать кругами из соли. Как гласит Третий закон писателя-фантаста Артура Кларка: «Любая достаточно развитая технология неотличима от магии».
AI isn’t magic, of course, but what this weirdness practically means is that these new tools, which are trained on vast swathes of humanity’s cultural heritage, can often best be wielded by people who have a knowledge of that heritage. To get the AI to do unique things, you need to understand parts of culture more deeply than everyone else using the same AI systems. So now, in many ways, humanities majors can produce some of the most interesting “code.”
ИИ, конечно, не магия, но на практике эта странность означает, что новые инструменты, обученные на огромных пластах культурного наследия человечества, зачастую лучше всего даются людям, которые это наследие знают. Чтобы заставить ИИ делать уникальные вещи, нужно понимать отдельные части культуры глубже, чем все остальные, кто пользуется теми же системами ИИ. Так что теперь во многих смыслах гуманитарии способны создавать едва ли не самый интересный «код».
Invoking Images
Призыв изображений
Nowhere is this intersection between art and computer science more clear than in image generation. Take a look at this map below. It shows you, roughly, what is in the 12M images that make up a key database used by AI image generators: paintings and watercolors, architecture and photographs, fashion and historical images. Creating something interesting with AI requires you to invoke these connections to create a novel image.
Нигде это пересечение искусства и информатики не проявляется так ясно, как в генерации изображений. Взгляните на эту карту ниже. Она примерно показывает, что содержится в 12 млн изображений, составляющих ключевую базу данных, которую используют ИИ-генераторы картинок: картины и акварели, архитектура и фотографии, мода и исторические изображения. Чтобы создать что-то интересное с помощью ИИ, нужно задействовать эти связи и получить новый образ.
Now look at a second map. This is what people are actually creating with AI art tools. I labelled some of the clusters, but you can explore it yourself. You will notice that the actual range of used artistic space is much smaller. There is a lot of Star Wars, a lot of celebrities, some anime, cyberpunk, a lot of superheros (especially Spider-Man), and, weirdly, a LOT of marble statues of celebrities. Given a machine that can make anything, we still default to what we know well.
Теперь посмотрите на вторую карту. Это то, что люди на самом деле создают с помощью инструментов ИИ-арта. Я подписал некоторые кластеры, но вы можете изучить её сами. Вы заметите, что реально используемое художественное пространство гораздо уже. Много «Звёздных войн», много знаменитостей, немного аниме, киберпанка, много супергероев (особенно Человека-паука) и, как ни странно, ОЧЕНЬ много мраморных статуй знаменитостей. Получив машину, способную создать что угодно, мы всё равно скатываемся к тому, что хорошо знаем.
But we can do so much more interesting things! The AI can do a marble statue of Spider-Man, but it can also do a pretty amazing Ukiyoe woodblock Spider-Man, or Spider-Man in the style of Alphonse Mucha, or even images entirely unrelated to Spider-Man (gasp). But you need to know what to ask for. The result has been a weird revival of interest in art history among people who use AI systems, with large spreadsheets of art styles being shared for prospective AI artists. But the more you know about the history of art, and aware of art styles in general, the more powerful these systems become.
Но мы можем делать куда более интересные вещи! ИИ может изобразить мраморную статую Человека-паука, но он также может выдать совершенно потрясающего Человека-паука в виде гравюры укиё-э, или Человека-паука в стиле Альфонса Мухи, или даже изображения, вообще не связанные с Человеком-пауком (вот это да). Но нужно знать, о чём просить. Результатом стало странное возрождение интереса к истории искусства среди тех, кто пользуется системами ИИ: для будущих ИИ-художников распространяются большие таблицы с художественными стилями. И чем больше вы знаете об истории искусства и разбираетесь в стилях в целом, тем мощнее становятся эти системы.
Understanding history and context also lowers the chance of unknowingly abusing these systems, which often have the ability to ape the style of living, working artists. An awareness of history also helps the user to see that these models that have built-in biases due to their training on Internet data (if you ask it to create a picture of an entrepreneur, for example, you will likely see more pictures featuring men than women, unless you specify “female entrepreneur”), and they are also trained on existing art on the internet in ways that are not transparent and potentially questionable. So a deeper understanding of art and its history can result not just in better images, but also more responsible ones.
Понимание истории и контекста также снижает риск невольного злоупотребления этими системами, которые нередко способны подражать стилю ныне живущих, работающих художников. Знание истории помогает пользователю увидеть и то, что у этих моделей есть встроенные предубеждения из-за обучения на интернет-данных (если, например, попросить создать изображение предпринимателя, вы, скорее всего, увидите больше мужчин, чем женщин, если только не указать «женщина-предприниматель»), а ещё они обучаются на существующем в интернете искусстве способами, которые непрозрачны и потенциально сомнительны. Так что более глубокое понимание искусства и его истории приводит не только к лучшим изображениям, но и к более ответственным.
Conjuring in English
Заклинания на английском
This brings us back to ChatGPT. To get the best writing out of the AI, you need to provide prompts, just like you do with generative art AI. And, even though using ChatGPT often seems like you are having a conversation, you really are not. What you are trying to do is prompt the system to do things by giving it instructions in English. The best coders of ChatGPT for writing have have a solid understanding of the prose they want to create (“end on an ominous note,” “make the tone increasingly frantic”). They are good editors of others, so they can provide instructions back to the AI (“make the second paragraph more vivid.”). They can easily run experiments with audiences and styles by knowing many examples of both (“Make this like something in the New Yorker,” “do this in the style of John McPhee”). And they can manipulate narrative to get the AI to think in the way they want - ChatGPT won’t produce an interview between George Washington and Terry Gross, because that would be fictional. But if you convince it that George Washington has a time machine…
Это возвращает нас к ChatGPT. Чтобы получить от ИИ лучшие тексты, нужно давать промпты — точно так же, как и с генеративным ИИ для искусства. И, хотя использование ChatGPT часто выглядит как разговор, на самом деле это не так. То, что вы пытаетесь сделать, — это побудить систему к действиям, давая ей инструкции на английском. Лучшие «кодеры» ChatGPT для письма хорошо понимают, какую прозу хотят получить («закончи на зловещей ноте», «сделай тон всё более лихорадочным»). Они умеют хорошо редактировать чужие тексты, а значит, могут давать ИИ обратные указания («сделай второй абзац более ярким»). Они легко ставят эксперименты с аудиториями и стилями, зная множество примеров и того, и другого («сделай это в духе New Yorker», «напиши это в стиле Джона Макфи»). И они умеют управлять нарративом, чтобы заставить ИИ думать так, как им нужно: ChatGPT не выдаст интервью между Джорджем Вашингтоном и Терри Гросс, потому что это было бы вымыслом. Но если убедить его, что у Джорджа Вашингтона есть машина времени…
But it isn’t just producing prose that requires English skills. Getting ChatGPT to do anything involves narratives. You can instruct the AI to act in a different way by prompting it to think of itself as a coach, or a novelist, or a frustrated playwright. This can lead to radically different outcomes (You can see hundreds of persona suggestions here). Or you can convince the AI to act in unexpected ways by telling it compelling stories that override its limits. There has long been hints that coding computers might be more closely related to learning a foreign language than many expect, but the connection is more explicit now.
Но не только создание прозы требует владения языком. Заставить ChatGPT сделать что угодно — это всегда нарративы. Можно поручить ИИ вести себя иначе, предложив ему вообразить себя тренером, романистом или разочарованным драматургом. Это может приводить к радикально разным результатам (здесь можно увидеть сотни вариантов персон). Или же можно убедить ИИ действовать неожиданными способами, рассказывая ему убедительные истории, которые обходят его ограничения. Уже давно есть намёки на то, что программирование компьютеров может быть теснее связано с изучением иностранного языка, чем многие думают, но теперь эта связь стала ещё очевиднее.
Our new AIs have been trained on a huge amount of our cultural history, and they are using it to provide us with text and images in response to our queries. But there is no index or map to what they know, and where they might be most helpful. Thus, we need people who have deep or broad knowledge of unusual fields to use AI in ways that others cannot, developing unique and valuable prompts and testing the limits of how they work. We need to explore together to discover how these tools can be used well, and when they might fail us. It isn’t quite magic, but it is close.
Наши новые ИИ обучены на огромном объёме нашей культурной истории и используют её, чтобы выдавать нам тексты и изображения в ответ на запросы. Но нет ни указателя, ни карты того, что они знают и где могут быть наиболее полезны. Поэтому нам нужны люди с глубокими или широкими знаниями в необычных областях, чтобы использовать ИИ так, как другие не могут, — разрабатывая уникальные и ценные промпты и проверяя пределы их работы. Нам нужно исследовать вместе, чтобы понять, как эти инструменты можно использовать хорошо и когда они могут нас подвести. Это не совсем магия, но близко к ней.