Strategies for an Accelerating Future
Итан Моллик описывает два больших скачка в развитии больших языковых моделей, произошедших за одну неделю, и их практические последствия. Первый — память: Google Gemini 1.5 получил контекстное окно более чем на миллион токенов и способен удерживать около 750 000 слов с почти идеальной точностью (Google обещает скоро довести окно до 10 млн токенов, или почти 17 000 страниц). Второй — скорость: компания Groq разработала «железо», дающее почти мгновенные ответы от моделей класса GPT-3.5. Моллик научил своих студентов MBA и бакалавриата строить промпты и собирать собственные GPT в рамках задания «Невозможная вещь», и многие из них стали мировыми экспертами по применению ИИ в своей нише. Он предлагает лидерам организаций задать себе четыре вопроса: что из полезного перестало быть ценным, какую невозможную вещь теперь можно сделать, что можно демократизировать для широкого рынка и что можно вывести в премиум-сегмент или персонализировать. Главный вывод: стоит строить не только под сегодняшние возможности ИИ, но и под то, что станет возможным через полгода, ведь темп изменений вряд ли замедлится.
Strategies for an Accelerating Future
Стратегии для ускоряющегося будущего
Four questions to ask your organization.
Четыре вопроса, которые стоит задать своей организации.
I didn’t expect to have to update my views on the state-of-the-art in AI so soon after writing about Google’s Gemini Advanced, the first real competitor to GPT-4, but there have been two big leaps in Large Language Models this week with real practical implications.
Я не ожидал, что мне придётся обновлять свои представления о передовом крае ИИ так скоро после того, как написал о Gemini Advanced от Google — первом реальном конкуренте GPT-4, — но на этой неделе в больших языковых моделях произошло два крупных скачка с реальными практическими последствиями.
The first has to do with memory: there is a new version of Google’s Gemini (right after the release of the previous one!), which has a context window of over a million tokens. The context window is the information that the AI can have in memory at one time, and most chatbots have been frustratingly limited, holding a couple dozen pages, at most. This is why it is very hard to use ChatGPT to write long programs or documents; it starts to forget the start of the project as its context window fills up.
Первый связан с памятью: вышла новая версия Google Gemini (сразу же после выпуска предыдущей!), у которой контекстное окно превышает миллион токенов. Контекстное окно — это информация, которую ИИ может одновременно держать в памяти, и большинство чат-ботов были удручающе ограничены, удерживая в лучшем случае пару десятков страниц. Именно поэтому очень трудно использовать ChatGPT для написания длинных программ или документов: по мере заполнения контекстного окна он начинает забывать начало проекта.
But now Gemini 1.5 can hold something like 750,000 words in memory, with near-perfect recall. I fed it all my published academic work prior to 2022 — over 1,000 pages of PDFs spread across 20 papers and books — and Gemini was able to summarize the themes in my work and quote accurately from among the papers. There were no major hallucinations, only minor errors where it attributed a correct quote to the wrong PDF file, or mixed up the order of two phrases in a document. You can see how the advent of massive context windows gives AI superhuman recall and new use cases. If I asked a researcher to read through all my papers and summarize major themes, including illustrative quotes, it would take days. The AI did it in less than a minute. And Google has announced that context windows will soon reach 10 million tokens, or nearly 17,000 pages.
Но теперь Gemini 1.5 может удерживать в памяти порядка 750 000 слов с почти идеальной точностью воспроизведения. Я загрузил в него все свои опубликованные до 2022 года научные работы — более 1000 страниц PDF, распределённых по 20 статьям и книгам, — и Gemini сумел резюмировать темы моих работ и точно цитировать отдельные статьи. Серьёзных галлюцинаций не было, лишь мелкие ошибки: он приписывал верную цитату не тому PDF-файлу или путал порядок двух фраз в документе. Видно, как появление огромных контекстных окон даёт ИИ сверхчеловеческую память и новые сценарии использования. Если бы я попросил исследователя прочитать все мои статьи и резюмировать основные темы, включая показательные цитаты, на это ушли бы дни. ИИ сделал это менее чем за минуту. А Google объявил, что контекстные окна вскоре достигнут 10 миллионов токенов, или почти 17 000 страниц.
The second big advance is speed. You may have been frustrated by the relatively slow speed of ChatGPT, but one AI company, Groq (no relation to Elon Musk’s Grok), has developed hardware that gives almost instantaneous responses from GPT-3.5 class models, bridging the gap between question and answer in the blink of an eye. You can try it yourself. This shows that AI need not always involve waiting for replies.
Второе крупное достижение — скорость. Возможно, вас раздражала относительно медленная работа ChatGPT, но одна ИИ-компания, Groq (не имеющая отношения к Grok Илона Маска), разработала «железо», дающее практически мгновенные ответы от моделей класса GPT-3.5, преодолевая разрыв между вопросом и ответом в мгновение ока. Можете попробовать сами. Это показывает, что ИИ не обязательно всегда заставляет ждать ответа.
Speed and memory are both vital to making AIs more usable and powerful in the real world. Imagine feeding AI hundreds of pages of instructions on how to do something, and then having it quickly do exactly that. In an experiment, I gave the AI a 352-page rulebook for an obscure game, and it was able to make sense of the scattered documentation and actually figure out how to correctly play. Plus, Google demonstrated exactly this capability in their Gemini 1.5 documentation. Researchers gave the five hundred or so available pages of reference material on a language with 200 speakers (and so with no real online presence) to Gemini and to a human translator. They found that the AI was able to learn the language about as well as the human could, from the same documentation, despite the fact that the AI itself was only about as smart as GPT-4. Together, rapid answers and massive context windows suggest that, even without smarter AIs (and those are coming soon), we will see large leaps in AI capabilities continue for the near future.
И скорость, и память жизненно важны, чтобы сделать ИИ более применимым и мощным в реальном мире. Представьте, что вы загружаете в ИИ сотни страниц инструкций о том, как что-то сделать, а он быстро делает именно это. В одном эксперименте я дал ИИ 352-страничный свод правил малоизвестной игры, и он сумел разобраться в разрозненной документации и действительно понять, как правильно играть. Кроме того, Google продемонстрировал ровно эту способность в документации к Gemini 1.5. Исследователи дали примерно пятьсот доступных страниц справочного материала по языку, на котором говорят 200 человек (и который поэтому почти не представлен в интернете), Gemini и переводчику-человеку. Выяснилось, что ИИ смог выучить язык примерно так же хорошо, как и человек, по той же документации, несмотря на то что сам ИИ был примерно так же умён, как GPT-4. Вместе быстрые ответы и огромные контекстные окна позволяют предположить, что даже без более умных ИИ (а они появятся уже скоро) мы продолжим наблюдать большие скачки в возможностях ИИ в ближайшем будущем.
Out to the Edge of the Possible
На край возможного
With this rapidly approaching future in mind, I taught the students in my classes this semester how to build prompts and distribute them as GPTs (a lot of those lessons I taught can be found in this post on how to create structured prompts and this post on creating GPTs). Most of my undergraduate and MBA students had no programming experience, but that was not a problem - building a GPT is more like providing instructions to a person than coding a machine. After those lessons, I gave my students an assignment titled “An Impossible Thing”: Build a GPT that will get you a job by showing a potential employer that you are a prompt engineer. It should automate a task in a job you want to do.
Имея в виду это стремительно приближающееся будущее, в этом семестре я учил студентов своих курсов строить промпты и распространять их в виде GPT (многое из того, чему я учил, можно найти в этом посте о том, как создавать структурированные промпты и в этом посте о создании GPT). У большинства моих студентов бакалавриата и MBA не было опыта программирования, но это не было проблемой — создание GPT больше похоже на то, чтобы дать инструкции человеку, чем на программирование машины. После этих занятий я дал студентам задание под названием «Невозможная вещь»: создайте GPT, который поможет вам получить работу, показав потенциальному работодателю, что вы — промпт-инженер. Он должен автоматизировать задачу той работы, которой вы хотите заниматься.
One of the things I emphasized to them is that no one really knows what current LLMs are capable of, since most of the tests conducted by AI companies focus mostly on coding and testing benchmarks, not real-world applications. Since my students come from many industries and countries, they had a tremendous diversity of potential use cases. By the time they started building GPTs for their specific needs, whether private equity deal memos or suggesting a perfect wedding ring to their fiancé, they became the world experts in using AI for their specific field. Let me share a few highlights (with permission):
Одно из того, что я им подчёркивал, — никто на самом деле не знает, на что способны нынешние LLM, поскольку большинство тестов, проводимых ИИ-компаниями, сосредоточено в основном на бенчмарках по программированию и тестированию, а не на реальных приложениях. Поскольку мои студенты приехали из множества отраслей и стран, у них было колоссальное разнообразие потенциальных сценариев использования. К тому моменту, как они начали строить GPT под свои конкретные нужды — будь то инвестиционные меморандумы private equity или подбор идеального обручального кольца для невесты, — они становились мировыми экспертами по применению ИИ в своей конкретной области. Позвольте поделиться несколькими яркими примерами (с разрешения).
Arunavha Chanda made a GPT that helps engineers and managers develop a common language around performance reviews. Oyinda Alliyu built a GPT to automate the process of creating social media posts from company “thought leadership” reports. Dragosh Castravet created a tool that allows search funds to more easily reach out to potential partners. Shanicee McKoy prototyped a GPT that helps real estate investors analyze rent rolls and deal memorandums. Hari Joy crafted a GPT that takes potential acquirers through a due diligence process. Stephen Serrao built a GPT that helps government officials understand economic development reports. Yuval Luxenburg automated the process of creating customer journeys and finding potential pain points with products. And Monica Phang developed a GPT that builds character sheets for roleplaying games. There were over a 120 other GPTs as well, many more than I can mention here.
Arunavha Chanda создал GPT, который помогает инженерам и менеджерам выработать общий язык вокруг оценки эффективности работы. Oyinda Alliyu построила GPT для автоматизации процесса создания постов в соцсетях на основе корпоративных отчётов о «лидерстве мнений». Dragosh Castravet создал инструмент, позволяющий search-фондам легче выходить на потенциальных партнёров. Shanicee McKoy прототипировала GPT, который помогает инвесторам в недвижимость анализировать реестры арендных платежей и инвестиционные меморандумы. Hari Joy создал GPT, который проводит потенциальных покупателей через процесс due diligence. Stephen Serrao построил GPT, который помогает чиновникам разбираться в отчётах об экономическом развитии. Yuval Luxenburg автоматизировал процесс создания пользовательских путей и поиска потенциальных болевых точек у продуктов. А Monica Phang разработала GPT, который составляет листы персонажей для ролевых игр. Было и более 120 других GPT — гораздо больше, чем я могу здесь упомянуть.
I also asked students for a reflection on what they learned as a result of this process. An almost universal belief among the students, whether they were in aviation or consulting or banking or nonprofits, was that AI was going to have a big impact on the future of their industry very soon. Even though many saw the limitations of today’s tools, they also got a sense of where the future was heading. Despite this conviction, they also tended to think that the leaders and executives of the organizations they were joining did not yet see the full significance of AI and what it would mean for their industry.
Я также попросил студентов поразмышлять о том, что они узнали в результате этого процесса. Почти всеобщим убеждением среди студентов — будь то из авиации, консалтинга, банковского дела или некоммерческого сектора — было то, что ИИ очень скоро окажет большое влияние на будущее их отрасли. Хотя многие видели ограничения сегодняшних инструментов, они также почувствовали, куда движется будущее. Несмотря на эту убеждённость, они также склонялись к мысли, что руководители и топ-менеджеры организаций, в которые они приходят, ещё не до конца осознают всю значимость ИИ и то, что он будет означать для их отрасли.
Four Questions to Ask About Your Organization.
Четыре вопроса, которые стоит задать о своей организации.
So how can leaders start to think about the rapidly advancing nature of AI? The first thing they should do is use it. No amount of reading and research can substitute for spending 10 hours or so with a frontier model, learning what it can do. After getting familiar, companies should think about the following four questions:
Так как же лидерам начать осмыслять стремительно прогрессирующую природу ИИ? Первое, что им следует сделать, — это начать им пользоваться. Никакое количество чтения и исследований не заменит десяти или около того часов, проведённых с передовой моделью, чтобы понять, на что она способна. Освоившись, компаниям стоит задуматься над следующими четырьмя вопросами:
What useful thing you do is no longer valuable? AI doesn’t do everything well, but it does some things very well. For many organizations, AI is fully capable of automating a task that used to be an important part of your organizational identity or strategy. AI comes up with more creative ideas than most people, so your company’s special brainstorming techniques may no longer be a big benefit. AI can provide great user journeys and personas, so your old product management approach is no longer a differentiator. Getting a sense of what AI can do now, and where it is heading, will allow you to have a realistic view of what might soon be delegated to an LLM.
What impossible thing can you do now? The flip side of the first question is that you now can do things that were impossible before. What does having an infinite number of interns for every employee get you? How does giving everyone a data analyst, marketer, and advisor change what is possible? You can look at some of the GPTs my students created as inspiration.
What can you move to a wider market or democratize? Prior to AI, companies were often advised to put their effort into servicing their most profitable customers, but AI has greatly changed the equation. Services and approaches that were once expensive to customize have become cheap. Prior to AI, strategy consulting firms would only work for giant clients for large fees, but now they may be able to offer effective advising to a much wider range of businesses at lower costs. Custom tutoring and mentoring, once available only to the rich, may be widely democratized.
What can you move upmarket or personalize? At the same time, your organization’s capabilities have increased. If you were once a small marketing firm, you can use AI to punch above your weight and offer services to elite clients that were once only available from much larger firms. With giant context windows and fast answers, every customer may be able to have a personal AI agent who knows their preferences and previous interactions with the company and communicates with them according to their preferences. Figure out the most exciting thing you can do, and see if you can make it happen.
Что из полезного, что вы делаете, больше не ценно? ИИ умеет не всё, но кое-что делает очень хорошо. Для многих организаций ИИ вполне способен автоматизировать задачу, которая раньше была важной частью их организационной идентичности или стратегии. ИИ выдаёт более креативные идеи, чем большинство людей, так что особые техники мозгового штурма вашей компании могут перестать быть большим преимуществом. ИИ может выстраивать отличные пользовательские пути и портреты пользователей, так что ваш прежний подход к продакт-менеджменту больше не является отличительной чертой. Понимание того, что ИИ умеет сейчас и куда он движется, позволит вам реалистично оценивать, что вскоре можно будет делегировать LLM. Какую невозможную вещь вы можете сделать теперь? Обратная сторона первого вопроса в том, что теперь вы можете делать то, что раньше было невозможно. Что вам даёт бесконечное число стажёров для каждого сотрудника? Как меняет возможное то, что у каждого появляется аналитик данных, маркетолог и советник? В качестве вдохновения можете взглянуть на некоторые GPT, созданные моими студентами. Что вы можете вывести на более широкий рынок или демократизировать? До ИИ компаниям часто советовали направлять усилия на обслуживание наиболее прибыльных клиентов, но ИИ сильно изменил это уравнение. Услуги и подходы, которые когда-то было дорого кастомизировать, стали дешёвыми. До ИИ консалтинговые фирмы по стратегии работали только с гигантскими клиентами за большие гонорары, но теперь они смогут предлагать эффективное консультирование гораздо более широкому кругу компаний по более низким ценам. Индивидуальное репетиторство и наставничество, прежде доступные только богатым, могут получить широкую демократизацию. Что вы можете вывести в премиум-сегмент или персонализировать? В то же время возможности вашей организации возросли. Если вы когда-то были маленьким маркетинговым агентством, вы можете использовать ИИ, чтобы играть на уровень выше своего веса и предлагать услуги элитным клиентам, которые раньше были доступны только у гораздо более крупных фирм. С огромными контекстными окнами и быстрыми ответами у каждого клиента может появиться персональный ИИ-агент, который знает его предпочтения и прошлые взаимодействия с компанией и общается с ним согласно его предпочтениям. Определите самое захватывающее, что вы можете сделать, и посмотрите, удастся ли вам это осуществить.
Misguided companies will see any increase in performance from AI as an excuse to lay off staff, keeping their output the same. More forward-thinking firms will take advantage of these new capabilities to both improve the lives of their employees and expand their own capabilities. This is an area where leaders have agency over the future of AI and work. A lot depends on getting it right, and fast, because it is possible we are just getting started.
Недальновидные компании увидят в любом приросте производительности от ИИ повод сократить персонал, сохранив прежний объём выпуска. Более прогрессивные фирмы воспользуются этими новыми возможностями, чтобы и улучшить жизнь своих сотрудников, и расширить собственные возможности. Это область, где у лидеров есть реальная власть над будущим ИИ и труда. Многое зависит от того, чтобы сделать всё правильно и быстро, потому что вполне возможно, что мы только в самом начале пути.
Beyond the Edge of the Possible
За краем возможного
Many skeptics about the impact of AI are focused on the flaws that LLMs have today: hallucinations, short context windows, slow answers, and so on. These are legitimate concerns, and, if AI advancement were to stop, they might prove to be huge issues in the utility of AI. But AI is advancing rapidly, and some of these concerns may soon vanish, even if others (like hallucinations) are not completely solved.
Многие скептики относительно влияния ИИ сосредоточены на недостатках, которые есть у LLM сегодня: галлюцинации, короткие контекстные окна, медленные ответы и так далее. Это законные опасения, и если бы развитие ИИ остановилось, они могли бы оказаться огромными проблемами для полезности ИИ. Но ИИ развивается стремительно, и некоторые из этих опасений вскоре могут исчезнуть, даже если другие (вроде галлюцинаций) не будут решены полностью.
What that means is that it is fine to be focused on today, building working AI applications and prompts that take into account the limits of present AIs… but there is also a lot of value in building ambitious applications that go past what LLMs can do now. You want to build some applications that almost, but not quite, work. I suspect better LLM “brains” are coming soon, in the form of GPT-5 and Gemini 2.0 and many others. When they do, you can swap them into the almost-but-not-quite-working applications for a fast start. This is similar to the philosophy of the big AI labs, which build ambitious solutions (OpenAI's GPT agents, Google's connections to Gmail) which will benefit when the next version of their core LLMs are released.
Это означает, что вполне нормально сосредотачиваться на сегодняшнем дне, создавая работающие ИИ-приложения и промпты, учитывающие ограничения нынешних ИИ… но есть и большая ценность в том, чтобы строить амбициозные приложения, выходящие за рамки того, что LLM умеют сейчас. Стоит создавать приложения, которые почти, но не совсем работают. Подозреваю, что более совершенные «мозги» LLM появятся уже скоро — в виде GPT-5, Gemini 2.0 и многих других. Когда это произойдёт, вы сможете подставить их в почти-но-не-совсем-работающие приложения и быстро стартовать. Это похоже на философию крупных ИИ-лабораторий, которые создают амбициозные решения (GPT-агенты OpenAI, подключения Google к Gmail), которые выиграют, когда выйдет следующая версия их основных LLM.
So don’t just build for what is possible today, but what is possible in six months, if this pace of change continues. At this point, I think things are unlikely to slow down in the near future, and focusing on where things are heading, rather than where they are, prepares you for a world of continuing change.
Поэтому не стройте только под то, что возможно сегодня, — стройте под то, что станет возможным через полгода, если такой темп изменений сохранится. На данный момент я считаю, что в ближайшем будущем процесс вряд ли замедлится, и фокус на том, куда всё движется, а не на том, где оно находится, готовит вас к миру непрерывных перемен.
My book on living and working with AI, Co-Intelligence, is coming out April 2. I am recording the audio book this week! You can pre-order it (including the audio version) here.
Моя книга о жизни и работе с ИИ, Co-Intelligence, выходит 2 апреля. На этой неделе я записываю аудиокнигу! Предзаказать её (включая аудиоверсию) можно здесь.
