Innovation through prompting
Итан Моллик рассуждает о том, как промпты для LLM становятся «программами на естественном языке», позволяя нетехническим экспертам создавать инновации в самых разных областях. В новой статье его команда показывает на примере образования, как ИИ открывает возможности для интерактивных учебных симуляций и упражнений, недоступных до появления генеративного ИИ. Автор выделяет четыре уровня работы с промптами: использование готовых, кастомизация, создание «чертежей» (промптов, генерирующих промпты), и просто постановка задачи перед ИИ-агентом вроде Devin на базе GPT-4. Удешевление моделей, включая выход открытого Llama 3 от Meta, превосходящего ChatGPT-3.5, делает LLM удобной базой для инноваций. Главный вывод: технология полезна только тогда, когда ею пользуются, а ключ к позитивной трансформации образования — обмен работающими решениями между педагогами.
Innovation through prompting
Инновации через промптинг
Democratizing educational technology... and more
Демократизация образовательных технологий… и не только
If you have been reading my Substack (or my new book, which made the New York Times bestseller list!), you know that one of the things I find most exciting about AI is its potential for expanding the number of people able to produce and share useful innovations. I am particularly interested in how prompts can work as a sort of “program in prose” that can be tailored to many different industries and fields, and which can be created by non-technical experts.
Если вы читаете мой Substack (или мою новую книгу, которая попала в список бестселлеров New York Times!), то знаете, что одна из самых увлекательных для меня сторон ИИ — это его потенциал расширить круг людей, способных создавать и распространять полезные инновации. Меня особенно интересует, как промпты могут работать как своего рода «программа на прозе», которую можно адаптировать под самые разные индустрии и сферы и которую могут создавать нетехнические эксперты.
This works because LLMs are extremely powerful tools that are remarkably easy to use, and whose capabilities can be wielded by anyone who can write or speak. And, while there are reasons to build more complex technological solutions, simple prompts given to a GPT-4 class chatbot can allow non-programmers to accomplish impressive things. Plus, while barriers to access remain, it helps that you can use LLMs on a mobile phone, and that powerful models are rapidly getting cheaper to use (the big news last week was the release of Llama 3, the open source AI from Meta that is already better than ChatGPT-3.5, and which will dramatically lower the prices for advanced AI access). This makes LLMs a good base on which to innovate.
Это работает потому, что LLM — чрезвычайно мощные инструменты, которые при этом удивительно просты в использовании, и их возможностями может воспользоваться любой, кто умеет писать или говорить. И хотя есть причины строить более сложные технологические решения, простые промпты, поданные чат-боту класса GPT-4, позволяют непрограммистам добиваться впечатляющих результатов. Кроме того, несмотря на сохраняющиеся барьеры доступа, помогает то, что LLM можно использовать на мобильном телефоне, а мощные модели стремительно дешевеют (главной новостью прошлой недели стал выход Llama 3 — открытого ИИ от Meta, который уже превосходит ChatGPT-3.5 и резко снизит цены на доступ к продвинутому ИИ). Это делает LLM удачной базой для инноваций.
But what does democratizing innovation with AI prompts actually look like? We have a new paper out today that tries to show one potential path. It specifically focuses on education, but I think the lessons are broadly applicable.
Но как на самом деле выглядит демократизация инноваций с помощью промптов ИИ? Сегодня у нас вышла новая статья, в которой мы пытаемся показать один из возможных путей. Она посвящена именно образованию, но я думаю, что выводы применимы широко.
We took a context we know well, interactive teaching tools and pedagogy, and created research-based exercises that would have been difficult or impossible to do before the advent of generative AI. For example, the ability to generate a compelling educational simulation, with appropriate teaching support, using just a few paragraphs of text is an entirely new capability that AI has enabled. We have piloted a range of similar AI experiences in recent months, and they show considerable promise. While more experiments are needed on their effectiveness, these new tools expand the capabilities available to educators.
Мы взяли хорошо знакомый нам контекст — интерактивные инструменты обучения и педагогику — и создали основанные на исследованиях упражнения, которые до появления генеративного ИИ были бы трудно осуществимы или невозможны. Например, возможность сгенерировать увлекательную образовательную симуляцию с соответствующим методическим сопровождением, имея всего несколько абзацев текста, — это совершенно новая способность, которую дал ИИ. В последние месяцы мы пилотировали целый ряд подобных ИИ-практик, и они показывают значительный потенциал. Хотя необходимы дополнительные эксперименты для оценки их эффективности, эти новые инструменты расширяют возможности педагогов.
While I won’t discuss it here, in the paper we cover how to assign AI projects to students, as well as the ethical concerns, risks, and AI literacy issues that instructors need to consider. But, for this post, I want to concentrate on the exercises themselves, and specifically how they can help us understand the steps we can take in making AI prompts broadly useful. There is not just one way to use prompts in innovative ways, instead there multiple approaches that can work.
Хотя я не буду обсуждать это здесь, в статье мы рассказываем, как давать студентам задания, связанные с ИИ, а также об этических вопросах, рисках и проблемах AI-грамотности, которые должен учитывать преподаватель. Но в этом посте я хочу сосредоточиться на самих упражнениях и конкретно на том, как они помогают понять, какие шаги мы можем предпринять, чтобы сделать промпты ИИ широко полезными. Не существует одного-единственного способа использовать промпты для инноваций — наоборот, работают несколько подходов.
Level 1: Use a pre-made prompt
Уровень 1. Использовать готовый промпт
Just like instructors often share lesson plans, or members of organizations might share tips for success, people can also share prompts. This is a useful starting point for would-be-innovators; someone else has done the work of creating and testing a prompt for you. By using other people’s prompts, you can see what an AI system can (or can’t) do.
Подобно тому как преподаватели часто делятся планами уроков, а сотрудники организации — советами по успешной работе, люди могут делиться и промптами. Это удобная отправная точка для тех, кто хочет внедрять инновации: кто-то другой уже проделал работу по созданию и тестированию промпта за вас. Используя чужие промпты, вы можете увидеть, на что ИИ-система способна (или не способна).
For example, here is a goal-play prompt you can try (GPT, Gemini Advanced link, and the paper has the full text of all the prompts). In a goal play, the AI sets up a scenario in which the student knows something the character in the simulation does not and guides the character using what they know, generally a framework they have to apply. In this case, students must apply a goal-setting framework to help a fictional character set goals. For fun, I decided to help out poor Hamlet, Prince of Denmark.
Например, вот промпт для goal-play, который вы можете попробовать (GPT, ссылка для Gemini Advanced, а в статье есть полный текст всех промптов). В формате goal-play ИИ выстраивает сценарий, в котором студент знает то, чего не знает персонаж симуляции, и направляет персонажа, опираясь на эти знания — как правило, на определённую методическую рамку, которую нужно применить. В данном случае студенты должны применить методику постановки целей, чтобы помочь вымышленному персонажу. Развлечения ради я решил помочь несчастному Гамлету, принцу датскому.
This alternate version of Hamlet might be a good scenario for students to practice goal-setting, but literature instructors are probably rolling their eyes. The scenario simplifies a complex Shakespeare play into a mere transactional situation (and doesn’t even use iambic pentameter). An exercise that is great in one setting can be terrible in another. That is why using someone else’s prompts is often a starting place for your own innovation, rather than an end point. Your environment and needs will often push you to create something to fill the voids that pre-made prompts cannot. And that’s a good thing! Prompting is not as hard as people think, and doing it well starts with experimentation.
Эта альтернативная версия Гамлета может стать неплохим сценарием для отработки навыков целеполагания, но преподаватели литературы наверняка закатят глаза. Сценарий упрощает сложную пьесу Шекспира до сугубо транзакционной ситуации (и даже не использует ямбический пентаметр). Упражнение, прекрасное в одном контексте, может быть провальным в другом. Именно поэтому использование чужих промптов чаще оказывается стартовой точкой для собственных инноваций, а не финалом. Ваша среда и потребности часто будут подталкивать вас к созданию чего-то, что закроет пробелы, которые готовые промпты заполнить не могут. И это хорошо! Промптинг не так сложен, как принято считать, а делать его хорошо начинают с экспериментов.
Level 2: Customize or build a prompt
Уровень 2. Кастомизировать или создать промпт
One way to experiment with advanced uses is to start with a pre-made prompt. In the paper, we provide annotated versions of all of the prompts we developed, so that you can see how you might need to customize one for yourself.
Один из способов поэкспериментировать с более продвинутыми приёмами — начать с готового промпта. В статье мы приводим аннотированные версии всех разработанных нами промптов, чтобы вы могли увидеть, как именно нужно подстраивать их под себя.
Ultimately, you may need to create a new prompt from scratch to accomplish your goals. As I have discussed, prompting is not an exact science, but you may be surprised about how effective prose instructions are. Still, any prompt requires testing and revision, so we developed a set of tests and remediation steps that might be useful to anyone trying to build their own prompts from scratch. Trial and error is going to be necessary to make something that works consistently.
В конечном счёте, чтобы достичь своих целей, вам может понадобиться создать новый промпт с нуля. Как я уже обсуждал, промптинг — не точная наука, но вы можете удивиться тому, насколько эффективны инструкции в виде обычного текста. Тем не менее любой промпт требует тестирования и доработки, поэтому мы разработали набор тестов и шагов по исправлению, которые могут пригодиться всем, кто пробует создавать свои промпты с нуля. Без проб и ошибок не обойтись, если хотите получить нечто, работающее стабильно.
Once you have created a new prompt, you should consider how to share it (our prompt library is here). In fact, if you want to encourage innovation, organizations need to consider, from the start, how they will create communities of practice around AI tools that also enable prompt sharing.
Создав новый промпт, подумайте о том, как им поделиться (наша библиотека промптов здесь). Более того, если организации хотят стимулировать инновации, им следует с самого начала продумывать, как они будут формировать сообщества практики вокруг ИИ-инструментов, чтобы было удобно обмениваться промптами.
Level 3: Create tools that make tools
Уровень 3. Создавать инструменты, которые создают инструменты
The next level of innovating through prompting is to help other people create their own innovations based on your knowledge. To do this, you need to develop tooling - prompts that can make prompts. This allows people to share not just a specific prompt, but their skill in prompt crafting. We call these kinds of prompts blueprints, and here is one that creates tutors (GPT, Gemini Advanced). You can take the text it creates and use it as a prompt to create a solid AI tutor tailored to a specific topic. This works much better than many generic tutor prompts because it is so focused and can be more easily tested by an expert instructor.
Следующий уровень инноваций через промптинг — помогать другим людям создавать собственные инновации на основе вашего опыта. Для этого нужно разрабатывать инструментарий — промпты, которые создают промпты. Это позволяет делиться не просто конкретным промптом, а самим навыком его проектирования. Мы называем такие промпты «чертежами» (blueprints); вот пример чертежа, который создаёт тьюторов (GPT, Gemini Advanced). Полученный текст можно использовать как промпт для создания качественного ИИ-тьютора, заточенного под конкретную тему. Это работает гораздо лучше, чем многие универсальные тьюторские промпты, потому что результат максимально сфокусирован и легче проверяется опытным преподавателем.
OpenAI’s GPT maker tool is an example of a blueprint, but we think much more tailored blueprints will be useful for many educators and organizations. They can help people build the prompts they need for specific situations.
Инструмент OpenAI GPT maker — пример такого «чертежа», но мы считаем, что более узкоспециализированные чертежи окажутся полезны многим педагогам и организациям. Они помогают людям собирать те промпты, которые им нужны под конкретные задачи.
Level 4: Just tell the AI what you want.
Уровень 4. Просто сказать ИИ, что вы хотите
I suspect that many of the previous levels of prompt development will eventually become obsolete for most people. While there will still be value in creating prompts, increasingly AIs will just prompt themselves to solve your problem based on your goals.
Я подозреваю, что многие предыдущие уровни работы с промптами для большинства людей со временем устареют. Хотя ценность создания промптов сохранится, всё чаще ИИ будет сам составлять себе промпты, чтобы решить вашу задачу на основе ваших целей.
Here is an example of me using Devin, an early AI agent powered by GPT-4. Rather than creating the perfect prompt, I can simply tell Devin “create and deploy a website that teaches 11th grade American history students about the 1st red scare, make it interactive. look up appropriate AP standards for what should be taught. make sure this is really good and students can use it easily”
Вот пример того, как я использую Devin — раннего ИИ-агента на базе GPT-4. Вместо того чтобы составлять идеальный промпт, я могу просто сказать Devin: «создай и задеплой сайт, который обучает 11-классников американской истории про First Red Scare, сделай его интерактивным. Поищи подходящие стандарты AP относительно того, что должно преподаваться. Убедись, что он действительно качественный и студентам им удобно пользоваться».
It took it from there, doing research on AP standards, gathering information, and launching a website, as you can see. While I certainly wouldn’t trust Devin in its current state to produce accurate and hallucination-free results, you can see how the future might just be letting the AI do things, and sharing the results that work well.
Дальше он всё сделал сам: изучил стандарты AP, собрал материалы и запустил сайт — как вы и видите. Хотя в нынешнем виде я бы точно не стал доверять Devin производство точных и свободных от галлюцинаций результатов, можно представить, что будущее — это просто давать ИИ возможность делать дела и делиться удачными результатами.
Sharing what we learn
Делимся тем, что узнали
The lesson of innovation is that technology is only really useful when it is used. This might seem like a tautology, but it isn’t. When a new technology is introduced, people adapt it to solve the needs they have at hand, rather than simply following what the manufacturer of the technology intended. This leads to a lot of unexpected uses as the new technology is pushed to solve all sorts of novel problems. Right now, AI is in the hands of millions of educators, and they can use it to solve their own problems, in their own classrooms.
Урок инноваций в том, что технология по-настоящему полезна только тогда, когда ею пользуются. Это может показаться тавтологией, но это не так. Когда появляется новая технология, люди адаптируют её под решение своих текущих задач, а не просто следуют тому, что задумывал её создатель. Это приводит к множеству неожиданных применений по мере того, как новую технологию направляют на самые разные новые проблемы. Сейчас ИИ в руках миллионов педагогов, и они могут использовать его для решения собственных задач в собственных классах.
Once an exclusive privilege of million-dollar budgets and expert teams, education technology now rests in the hands of educators. While it's important to remain vigilant for potential hallucinations, errors, and biases, AI enables teachers to craft personalized prompts tailored to their local contexts, significantly bolstering their resources in the pursuit of quality education. But the only way to make sure that this revolution is positive and inclusive is to share what works.
То, что когда-то было исключительной привилегией миллионных бюджетов и команд экспертов, — образовательные технологии — теперь оказалось в руках самих педагогов. Хотя важно сохранять бдительность в отношении возможных галлюцинаций, ошибок и предвзятостей, ИИ позволяет учителям создавать персонализированные промпты под локальные контексты, существенно усиливая их арсенал в стремлении к качественному образованию. Но единственный способ сделать так, чтобы эта революция была позитивной и инклюзивной, — делиться тем, что работает.
Innovation requires cooperation. Nobody knows exactly where AI is useful, and where it is not, in advance. I have yet to see robust communities of educators (or many other professions) coming together to share what they create. Policymakers and institutional leaders can help make that happen. In the meantime, we hope that our prompts and blueprints can serve as the basis for ethical experimentation. Just make sure to share what you learn!
Инновации требуют кооперации. Никто заранее не знает, где именно ИИ полезен, а где нет. Я пока не вижу полноценных сообществ педагогов (как и многих других профессионалов), которые объединялись бы, чтобы делиться созданным. Помочь этому могут регуляторы и руководители институтов. А пока мы надеемся, что наши промпты и «чертежи» послужат основой для этичных экспериментов. Только не забудьте делиться тем, чему научились!
