What happens when AI reads a book 🤖📖

Что происходит, когда ИИ читает книгу 🤖📖

И несколько промптов, которые могут пригодиться в этом случае.

Возможно, это не станет сюрпризом, но трудно переоценить значение книг в истории человечества. Книги повлияли на культуру, религию, политику, инновации и даже на облик наших городов — распространение печатного станка объясняет «не менее 18% и до 68% роста европейских городов в период с 1500 по 1600 год». Казалось бы, незначительные улучшения книжных технологий могут оказать непропорционально большое влияние на то, как книги используются (об этом мне только что напомнило прочтение 350-страничного труда о значении предметного указателя). Таким образом, изменение нашего взаимодействия с книгами меняет то, как человечество учится, запоминает и создаёт инновации.

Так может ли ИИ — технология момента — изменить наше взаимодействие с книгами? Чтобы это проверить, нам нужны и ИИ с памятью, достаточной для целой книги, и автор, знающий свою книгу настолько хорошо, чтобы оценить результаты ИИ. Дорогой читатель, у нас есть и то, и другое. Claude от Anthropic1, одна из трёх основных базовых LLM, теперь обладает достаточной памятью, чтобы вместить небольшую книгу (технически контекстное окно составляет 100 000 токенов, что соответствует примерно 70 000 слов), а я как раз написал пару лет назад небольшую книгу о предпринимательстве (29 868 слов). Я вставил второе в первое и провёл несколько экспериментов.

ИИ как читатель и редактор

Каждый автор знает — и боится — того, что большинство людей хочет от ИИ в отношении книг: пересказа. Они хотят сжать страницы вдумчивой прозы, тщательно подобранных слов и точных формулировок до нескольких ёмких тезисов. Так может ли ИИ это сделать? Да. И на удивление хорошо. Более того, у него достаточно «чувства» контекста, чтобы можно было попросить развернуть ответ — расскажи мне о примерах и исследованиях, которые книга приводит в поддержку каждого тезиса. И он это делает тоже.

Но «понимает» ли он то, что читает? Большинство моих читателей, вероятно, осознают, что ИИ очень убедительно имитирует понимание. Настолько убедительно, что среди исследователей ведутся серьёзные дебаты о том, развил ли ИИ обобщённое чувство смысла человеческого языка или это лишь иллюзия. Мы не будем напрямую разбирать столь весомую тему, но я внимательно проверил, содержит ли сгенерированный материал «галлюцинации» или выдуманные факты. В данном случае я их не обнаружил. Тогда я задал более сложный вопрос: приведи примеры метафор из книги. Метафора — задача, трудная даже для читателей-людей: нужно найти использование образного языка без явных маркеров (в отличие от сравнения, здесь нет слов «как» или «подобно»).

Результаты впечатляют, хотя есть мелкие ошибки (повтор одной метафоры, возможно, бейсбольная метафора слишком узка). А что насчёт стиля и закономерностей письма? Есть ли фразы или речевые привычки, которые повторяются на протяжении всей книги?

Опять же никаких явных галлюцинаций и довольно впечатляющая работа (хотя мне начинает становиться неловко за своё письмо). Что, разумеется, подводит нас к следующей теме. Может ли ИИ работать редактором? Как редактор, предложи несколько общих и несколько конкретных рекомендаций о том, как сделать книгу более доступной и похожей на научно-популярный бестселлер, а также: создай лучший переход между главами 2 и 3. Покажи мне оригинал и твои изменения, а также объясни, почему ты их внёс

В целом это неплохо… но и не отлично. В советах нет ничего откровенно неправильного, но и глубокой проницательности тоже нет. Аналогично, переписанная проза нормальная, но не особенно убедительная. Всё это подчёркивает то, что стало очевидным в отношении текущего состояния ИИ: если вы очень хороший писатель или редактор, вы лучше нынешнего ИИ (хотя всё равно можете извлечь пользу из помощи ИИ во многих областях). Если же вы лишь неплохо справляетесь с определёнными задачами, возможно, ИИ сможет вас превзойти. По мере развития технологий ИИ многое будет зависеть от того, продолжат ли квалифицированные люди превосходить лучшие модели ИИ.

Практическое применение: помощь преподавателям

Учитывая впечатляющую способность ИИ понимать текст, одним из вариантов использования этого навыка является помощь преподавателям, которые часто задают книги для чтения в классе. Имея перед собой полный текст книги, может ли ИИ помочь преподавателю обеспечить более осмысленное обучение?

Думаю, ответ — да. Чтобы понять почему, я начал с того, что попросил ИИ создать тест, используя вариацию промпта, который мы обсуждаем в нашей статье: Ты — создатель высокодиагностичных тестов. Ты будешь составлять хорошие тесты с низкими ставками и диагностические задания. Составь 5 вопросов по книге, подходящих для студентов колледжа. Вопросы должны быть максимально релевантны и выходить за рамки простых фактов. Варианты ответов в вопросах с множественным выбором должны быть правдоподобными, конкурентоспособными и не включать вариант «все вышеперечисленное».  В конце теста предоставь ключ с ответами и объясни правильный ответ. (Мы разрабатывали этот промпт для GPT-4/Bing, но он хорошо работает и для Claude.) В целом большинство вопросов были хорошими, но встречались и проблемы — причём не типичные галлюцинации, которые иногда проникают в ответы других ИИ. Например, один ошибочный вопрос звучал так:

Согласно книге, какие группы основателей НАИБОЛЕЕ вероятно добьются успеха?a. Молодые основателиb. Основатели-одиночкиc. Команды основателей из незнакомцевd. Члены семьи, основывающие бизнес вместе

Ответ: d. В книге обнаружено, что члены семьи, основывающие бизнес вместе, имели самый высокий показатель успеха среди всех типов команд основателей.

Почему это было неверно? Хотя более зрелые основатели действительно превосходят молодых, а члены семьи превосходили все остальные типы отношений среди членов команды основателей, в книге не было прямого сравнения между основателями-одиночками, молодыми основателями и членами семьи. Так что ИИ не выдумал совершенно новые факты, но не уловил нюанс ситуации. Однако когда я указал на эту ошибку, ИИ справился гораздо лучше — он точнее выявил проблему и процитировал соответствующий текст. (Ещё одно подтверждение того, что не стоит ограничиваться одним промптом — для лучших результатов нужно взаимодействовать с ИИ многократно.)

Зато ИИ гораздо лучше справился с широким спектром других образовательных задач на основе книги: напиши кейс в стиле Harvard Business School, который потребовал бы от студентов применить уроки книги и предоставь методическое руководство для преподавателя к этому кейсу — всё это вылилось в интересное упражнение для занятий, которое я вполне мог бы использовать.

Он хорошо справился и с другими задачами — созданием планов уроков, глоссариев и других полезных учебных пособий по запросу. Также он убедительно написал отчёт по книге (напомню, что читерство с помощью ИИ уже повсеместно и будет только нарастать). Но особенно меня заинтересовала его способность применять знания из книги в новых контекстах и неожиданных ситуациях: объясни основные темы книги на четырёх разных уровнях: для первоклассника, восьмиклассника, студента колледжа, аспиранта — результатом стали хорошие резюме. Например, для первоклассника: «Многие думают, что для создания компании нужно быть молодым, носить худи и очень много работать. Но автор говорит, что это не так — великие основатели бывают самыми разными. И отличные идеи могут прийти откуда угодно, не только из мира компьютеров. Главное — экспериментировать и учиться, и тогда можно построить бизнес по-своему».

Я также попробовал: объясни, как книга может быть полезна молочному фермеру из Висконсина, ниндзя из древней Японии, опытному венчурному капиталисту и Глормтоку — орку-варвару из фэнтезийных степей (простите, не удержался). Результатом стали уроки, которые действительно передавали суть книги: «Клан ниндзя, вероятно, имеет глубоко укоренившиеся представления о том, что делает воина способным, но эти мифы могут ослеплять их перед новыми подходами. Принятие более скептической, основанной на фактах позиции по отношению к клановым традициям позволило бы ниндзя внедрять инновации в тактику и вооружение, получая преимущество над врагами и соперниками, цепляющимися за устаревшие догмы».

Преподаватели найдут массу применений ИИ для того, чтобы сделать задания на основе книг более осмысленными и полезными.

ИИ и книги

После этих экспериментов я пришёл к убеждению, что наше отношение к книгам, вероятно, изменится благодаря ИИ. Поисковые системы изменили способ поиска информации, но они никогда не обладали пониманием содержания, которое индексировали, и потому были ограничены в полезности при работе с большими объёмами данных. Поэтому они никогда не меняли глубинным образом наше отношение к книгам. Они могли помочь найти ключевое слово в книге, но нам всё равно приходилось читать сам текст, чтобы узнать, о чём книга.

Теперь ИИ обладает — или, по крайней мере, создаёт видимость обладания — пониманием контекста и смысла текста. Это радикально меняет наш подход к книгам как источникам информации и справочным материалам: мы можем попросить ИИ извлечь для нас смысл и получить разумные результаты. Эти изменения в одних случаях вдохновляют (открываются потрясающие возможности для научных исследований с помощью ИИ), а в других — пугают (зачем читать книгу, если можно просто попросить ИИ прочитать её за вас?).

В более широком смысле расширение контекстных окон означает, что ИИ скоро будет «помнить» гораздо больше информации, чем мы привыкли ожидать, и делать это значительно точнее. Благодаря более точному и детальному доступу к человеческим знаниям, обеспечиваемому большими контекстными окнами, ИИ начнёт кардинально менять наше понимание и отношение к собственному письменному наследию. Мы сможем получить доступ к коллективной библиотеке человечества так, что хранящаяся в ней информация станет более полезной и применимой, но при этом нечеловеческий посредник возвысится до роли связующего звена между нами и нашими знаниями. Это компромисс, которым нужно будет управлять осторожно.

Поделиться

Claude от Anthropic как ИИ находится примерно на том же уровне возможностей, что и GPT-3.5 (обычный ChatGPT), а значит, он значительно уступает GPT-4 (ChatGPT Plus / Microsoft Bing в креативном режиме). Таким образом, результаты не будут соответствовать уровню качества самого мощного ИИ на данный момент. С другой стороны, Claude действительно «дружелюбен» и с ним легко работать.