What happens when AI reads a book 🤖📖

What happens when AI reads a book 🤖📖

Что происходит, когда ИИ читает книгу 🤖📖

And some prompts that might be useful when it does.

И несколько промптов, которые могут пригодиться в этом случае.

This may not be surprising, but it is hard to overemphasize the importance of books in human history. Books have influenced culture, religion, politics, innovation, and even the shape of our cities — the spread of the printing press explained “at least 18% and as much as 68% of European city growth between 1500 and 1600.” Seemingly small improvements in the technology of books, can have an outsized impact on how they are used (as I was just reminded of after reading a 350 page tome on the importance of the index). Thus, changing how we interact with books changes how humanity learns, remembers, and innovates.

Возможно, это не станет сюрпризом, но трудно переоценить значение книг в истории человечества. Книги повлияли на культуру, религию, политику, инновации и даже на облик наших городов — распространение печатного станка объясняет «не менее 18% и до 68% роста европейских городов в период с 1500 по 1600 год». Казалось бы, незначительные улучшения книжных технологий могут оказать непропорционально большое влияние на то, как книги используются (об этом мне только что напомнило прочтение 350-страничного труда о значении предметного указателя). Таким образом, изменение нашего взаимодействия с книгами меняет то, как человечество учится, запоминает и создаёт инновации.

So might AI, the technology of the moment, change the way we interact with books? To test this we would need both an AI with a memory large enough to hold a book, and an author who knows their own book well enough to judge the AIs results. Dear reader, we have both. Anthropic’s Claude1, one of the three major foundational Large Language Models, now has enough memory to hold a short book (technically it has a context window of 100,000 tokens, which is around 70,000 words), and I happen to have written a short book on entrepreneurship (29,868 words) a couple years ago. I pasted the latter into the former, and ran some experiments.

Так может ли ИИ — технология момента — изменить наше взаимодействие с книгами? Чтобы это проверить, нам нужны и ИИ с памятью, достаточной для целой книги, и автор, знающий свою книгу настолько хорошо, чтобы оценить результаты ИИ. Дорогой читатель, у нас есть и то, и другое. Claude от Anthropic1, одна из трёх основных базовых LLM, теперь обладает достаточной памятью, чтобы вместить небольшую книгу (технически контекстное окно составляет 100 000 токенов, что соответствует примерно 70 000 слов), а я как раз написал пару лет назад небольшую книгу о предпринимательстве (29 868 слов). Я вставил второе в первое и провёл несколько экспериментов.

AI as reader and editor

ИИ как читатель и редактор

Every author knows, and dreads, what most people want AI to do with books - summarize them. They want to distill down pages of thoughtful prose, carefully considered language, and specific phrases into a few pithy points. So, can AI do this? Yes. And surprisingly well. Further, it has enough “sense” of context that you can ask for expansions - tell me the examples and research the book gives to support each point. And it does that, too.

Каждый автор знает — и боится — того, что большинство людей хочет от ИИ в отношении книг: пересказа. Они хотят сжать страницы вдумчивой прозы, тщательно подобранных слов и точных формулировок до нескольких ёмких тезисов. Так может ли ИИ это сделать? Да. И на удивление хорошо. Более того, у него достаточно «чувства» контекста, чтобы можно было попросить развернуть ответ — расскажи мне о примерах и исследованиях, которые книга приводит в поддержку каждого тезиса. И он это делает тоже.

But does it “know” what it is reading? Most of my readers probably realize that AI does a very good job of faking understanding. In fact, it does such a good job that there is substantial debate among researchers over whether AI has developed a generalized sense of the meaning of human language or whether that is an illusion. We won’t deal with such a weighty topic directly, but I did carefully check to see whether the material being produced contained “hallucinations” or made-up facts. In this case, I didn’t see any. So, I asked a harder question: give me examples of metaphors in the book. Metaphor is challenging for even human readers, it involves finding a use of figurative language without any clear markers (unlike a simile, there are no “likes” or “as”).

Но «понимает» ли он то, что читает? Большинство моих читателей, вероятно, осознают, что ИИ очень убедительно имитирует понимание. Настолько убедительно, что среди исследователей ведутся серьёзные дебаты о том, развил ли ИИ обобщённое чувство смысла человеческого языка или это лишь иллюзия. Мы не будем напрямую разбирать столь весомую тему, но я внимательно проверил, содержит ли сгенерированный материал «галлюцинации» или выдуманные факты. В данном случае я их не обнаружил. Тогда я задал более сложный вопрос: приведи примеры метафор из книги. Метафора — задача, трудная даже для читателей-людей: нужно найти использование образного языка без явных маркеров (в отличие от сравнения, здесь нет слов «как» или «подобно»).

And the results are impressive, though there are minor errors (a repeat of one metaphor, perhaps the baseball metaphor is too narrow). What about the style and patterns of writing? Are there any phrases or verbal tics that repeat throughout the book?

Результаты впечатляют, хотя есть мелкие ошибки (повтор одной метафоры, возможно, бейсбольная метафора слишком узка). А что насчёт стиля и закономерностей письма? Есть ли фразы или речевые привычки, которые повторяются на протяжении всей книги?

Again, no clear hallucinations, and a pretty impressive job (though I am starting to feel bad about my writing). Which, of course, leads us to our next topic. Can it work as an editor? As an editor, offer both several broad suggestions, and several specific ones, about how the book could be made more accessible and like a pop science bestseller and also: create a better transition between chapters 2 and 3. give me the original and your changes, and why you made them

Опять же никаких явных галлюцинаций и довольно впечатляющая работа (хотя мне начинает становиться неловко за своё письмо). Что, разумеется, подводит нас к следующей теме. Может ли ИИ работать редактором? Как редактор, предложи несколько общих и несколько конкретных рекомендаций о том, как сделать книгу более доступной и похожей на научно-популярный бестселлер, а также: создай лучший переход между главами 2 и 3. Покажи мне оригинал и твои изменения, а также объясни, почему ты их внёс

In general, this isn’t bad… but it also isn’t great. Nothing is particularly wrong with the advice, but it also not deeply insightful. Similarly, the rewritten prose is fine, but also not especially compelling. All of this highlights something that has become clear about the current state of AI: if you are a very good writer or editor, you are better than current AI (though you can still benefit from AI help in many areas). If you are only okay at particular tasks, perhaps AI might outperform you. As AI technology advances, a lot depends on whether skilled humans continue to do better than the best AIs.

В целом это неплохо… но и не отлично. В советах нет ничего откровенно неправильного, но и глубокой проницательности тоже нет. Аналогично, переписанная проза нормальная, но не особенно убедительная. Всё это подчёркивает то, что стало очевидным в отношении текущего состояния ИИ: если вы очень хороший писатель или редактор, вы лучше нынешнего ИИ (хотя всё равно можете извлечь пользу из помощи ИИ во многих областях). Если же вы лишь неплохо справляетесь с определёнными задачами, возможно, ИИ сможет вас превзойти. По мере развития технологий ИИ многое будет зависеть от того, продолжат ли квалифицированные люди превосходить лучшие модели ИИ.

A practical use: Help for instructors

Практическое применение: помощь преподавателям

Given that the AI has an impressive ability to understand text, one use case for this knowledge is to help teachers who often assign books to classes. Given the entire text of the book, can AI help an instructor create more meaningful learning as a result?

Учитывая впечатляющую способность ИИ понимать текст, одним из вариантов использования этого навыка является помощь преподавателям, которые часто задают книги для чтения в классе. Имея перед собой полный текст книги, может ли ИИ помочь преподавателю обеспечить более осмысленное обучение?

I think the answer is yes. To see why, I started with having the AI create a quiz, using a variation of a prompt we discuss in our paper: You are a quiz creator of highly diagnostic quizzes. You will make good low-stakes tests and diagnostics. You will make 5 quiz questions on the book suitable for college students. The questions should be highly relevant and go beyond just facts. Multiple choice questions should include plausible, competitive alternate responses and should not include an "all of the above option." At the end of the quiz, you will provide an answer key and explain the right answer. (We designed this for GPT-4/Bing, but it works well for Claude, too). In general, most questions were good, but there were also potential problems, and they were not the usual hallucinations that sometimes creep into other AI answers. For example, one flawed question was:

Думаю, ответ — да. Чтобы понять почему, я начал с того, что попросил ИИ создать тест, используя вариацию промпта, который мы обсуждаем в нашей статье: Ты — создатель высокодиагностичных тестов. Ты будешь составлять хорошие тесты с низкими ставками и диагностические задания. Составь 5 вопросов по книге, подходящих для студентов колледжа. Вопросы должны быть максимально релевантны и выходить за рамки простых фактов. Варианты ответов в вопросах с множественным выбором должны быть правдоподобными, конкурентоспособными и не включать вариант «все вышеперечисленное».  В конце теста предоставь ключ с ответами и объясни правильный ответ. (Мы разрабатывали этот промпт для GPT-4/Bing, но он хорошо работает и для Claude.) В целом большинство вопросов были хорошими, но встречались и проблемы — причём не типичные галлюцинации, которые иногда проникают в ответы других ИИ. Например, один ошибочный вопрос звучал так:

According to the book, which groups of founders are MOST likely to succeed?
a. Young founders
b. Solo founders
c. Founding teams of strangers
d. Family members founding together

Согласно книге, какие группы основателей НАИБОЛЕЕ вероятно добьются успеха?a. Молодые основателиb. Основатели-одиночкиc. Команды основателей из незнакомцевd. Члены семьи, основывающие бизнес вместе

Answer: d The book found that family members founding together had the highest success rates of any type of founding team.

Ответ: d. В книге обнаружено, что члены семьи, основывающие бизнес вместе, имели самый высокий показатель успеха среди всех типов команд основателей.

Why was this wrong? While older founder do outperform younger founders, and family members outperformed all other relationships among founding team members, there was no direct comparison in the book between solo founders, younger founders, and family members. So while the AI did not hallucinate entirely novel facts, it didn’t get the subtlety of the situation. But, when I pointed out this error, the AI actually did much better in spotting the problem and citing the relevant text. (Further evidence that you don’t want to use a single prompt, but rather interact with the AI repeatedly, to get the best results)

Почему это было неверно? Хотя более зрелые основатели действительно превосходят молодых, а члены семьи превосходили все остальные типы отношений среди членов команды основателей, в книге не было прямого сравнения между основателями-одиночками, молодыми основателями и членами семьи. Так что ИИ не выдумал совершенно новые факты, но не уловил нюанс ситуации. Однако когда я указал на эту ошибку, ИИ справился гораздо лучше — он точнее выявил проблему и процитировал соответствующий текст. (Ещё одно подтверждение того, что не стоит ограничиваться одним промптом — для лучших результатов нужно взаимодействовать с ИИ многократно.)

But the AI did much better at a wide range of other educational tasks based around the book: write a case study in the style of a Harvard Business School case that would require students to use the lessons of the book and provide the instructor’s guide to the case resulted in an interesting in-class exercise that I could see using.

Зато ИИ гораздо лучше справился с широким спектром других образовательных задач на основе книги: напиши кейс в стиле Harvard Business School, который потребовал бы от студентов применить уроки книги и предоставь методическое руководство для преподавателя к этому кейсу — всё это вылилось в интересное упражнение для занятий, которое я вполне мог бы использовать.

It did other things well - creating lesson plans, glossaries, and other useful educational aids on demand. It also faked a very good book report (remember, AI cheating is already ubiquitous, it is only going to get more so). But I was particularly interested in its ability to apply knowledge from the book in novel contexts and ways: Explain the main themes of the book to me at four different levels: first grader, 8th grader, college student, PhD student resulted in good summaries. For the first grader, for example: “Many people think starting a company means you have to be young, wear a hoodie and work super hard. But the author says that's not true - there are lots of different kinds of great founders. And great ideas can come from anywhere, not just on computers. As long as you experiment and learn, you can start a business your own way.”

Он хорошо справился и с другими задачами — созданием планов уроков, глоссариев и других полезных учебных пособий по запросу. Также он убедительно написал отчёт по книге (напомню, что читерство с помощью ИИ уже повсеместно и будет только нарастать). Но особенно меня заинтересовала его способность применять знания из книги в новых контекстах и неожиданных ситуациях: объясни основные темы книги на четырёх разных уровнях: для первоклассника, восьмиклассника, студента колледжа, аспиранта — результатом стали хорошие резюме. Например, для первоклассника: «Многие думают, что для создания компании нужно быть молодым, носить худи и очень много работать. Но автор говорит, что это не так — великие основатели бывают самыми разными. И отличные идеи могут прийти откуда угодно, не только из мира компьютеров. Главное — экспериментировать и учиться, и тогда можно построить бизнес по-своему».

I also tried explain how the book might be useful to dairy farmer in Wisconsin, a ninja living in ancient Japan, an experienced venture capitalist, and Glormtok an orcish barbarian from the fantasy steppes (sorry, I couldn’t help myself). This resulted in lessons that actually encapsulated what the book was about: “The ninja's clan likely has deep-rooted beliefs about what makes a capable warrior, but these myths may blind them to new approaches. Adopting a more skeptical, evidence-driven stance towards clan traditions could allow the ninja to innovate tactics and weapons, gaining an advantage over enemies and rivals beholden to outdated dogma.”

Я также попробовал: объясни, как книга может быть полезна молочному фермеру из Висконсина, ниндзя из древней Японии, опытному венчурному капиталисту и Глормтоку — орку-варвару из фэнтезийных степей (простите, не удержался). Результатом стали уроки, которые действительно передавали суть книги: «Клан ниндзя, вероятно, имеет глубоко укоренившиеся представления о том, что делает воина способным, но эти мифы могут ослеплять их перед новыми подходами. Принятие более скептической, основанной на фактах позиции по отношению к клановым традициям позволило бы ниндзя внедрять инновации в тактику и вооружение, получая преимущество над врагами и соперниками, цепляющимися за устаревшие догмы».

Teachers will find a lot of use in getting the AI to help them with making book-based assignments meaningful and useful.

Преподаватели найдут массу применений ИИ для того, чтобы сделать задания на основе книг более осмысленными и полезными.

AI and Books

ИИ и книги

After these experiments, I have come to believe how we relate to books is likely to change as a result of AI. Search engines changed how we found information, but they never had a sense of the underlying content they indexed, and thus were limited in usefulness across vast volumes of data. Thus, they never altered how we used books in a deep way. They might help us find a keyword in a book, but we still had to read the actual text to know what the book said.

После этих экспериментов я пришёл к убеждению, что наше отношение к книгам, вероятно, изменится благодаря ИИ. Поисковые системы изменили способ поиска информации, но они никогда не обладали пониманием содержания, которое индексировали, и потому были ограничены в полезности при работе с большими объёмами данных. Поэтому они никогда не меняли глубинным образом наше отношение к книгам. Они могли помочь найти ключевое слово в книге, но нам всё равно приходилось читать сам текст, чтобы узнать, о чём книга.

Now, AIs have, or at least have the appearance of having, an understanding of the context and meaning of a piece of text. This radically changes how we approach books as sources of information and reference - we can ask the AI to extract meaning for us, and get reasonable results. These changes are exciting in some cases (there are amazing chances for scholarship assisted by AI), but threatening in others (why read the book when you can just ask an AI to read it?).

Теперь ИИ обладает — или, по крайней мере, создаёт видимость обладания — пониманием контекста и смысла текста. Это радикально меняет наш подход к книгам как источникам информации и справочным материалам: мы можем попросить ИИ извлечь для нас смысл и получить разумные результаты. Эти изменения в одних случаях вдохновляют (открываются потрясающие возможности для научных исследований с помощью ИИ), а в других — пугают (зачем читать книгу, если можно просто попросить ИИ прочитать её за вас?).

More broadly, larger context windows means AI is soon going to “remember” a lot more information than we have come to expect, and do to so far more accurately. With more accurate, detailed access to human knowledge provided by these larger context windows, AIs will begin to change how we understand and relate to our own written heritage in massive ways. We can get access to the collective library of humanity in a way that makes the information stored there more useful and applicable, but also elevates a non-human presence as the mediator between us and our knowledge. It is a trade-off we will need to manage carefully.

В более широком смысле расширение контекстных окон означает, что ИИ скоро будет «помнить» гораздо больше информации, чем мы привыкли ожидать, и делать это значительно точнее. Благодаря более точному и детальному доступу к человеческим знаниям, обеспечиваемому большими контекстными окнами, ИИ начнёт кардинально менять наше понимание и отношение к собственному письменному наследию. Мы сможем получить доступ к коллективной библиотеке человечества так, что хранящаяся в ней информация станет более полезной и применимой, но при этом нечеловеческий посредник возвысится до роли связующего звена между нами и нашими знаниями. Это компромисс, которым нужно будет управлять осторожно.

Share

Поделиться

As an AI, Anthropic’s Claude is around the same capability level as GPT-3.5 (generic ChatGPT), which means it is much less powerful than GPT-4 (ChatGPT Plus/Microsoft Bing in Creative Mode). Thus, the results are not going to be of the quality level of the most powerful AI of the moment. On the other hand, Claude is really “friendly” and easy to work with.

Claude от Anthropic как ИИ находится примерно на том же уровне возможностей, что и GPT-3.5 (обычный ChatGPT), а значит, он значительно уступает GPT-4 (ChatGPT Plus / Microsoft Bing в креативном режиме). Таким образом, результаты не будут соответствовать уровню качества самого мощного ИИ на данный момент. С другой стороны, Claude действительно «дружелюбен» и с ним легко работать.