The Shape of AI: Jaggedness, Bottlenecks and Salients

The Shape of AI: Jaggedness, Bottlenecks and Salients

Форма ИИ: зубчатость, узкие места и выступы

And why Nano Banana Pro is such a big deal

И почему Nano Banana Pro — это действительно важно

Back in the ancient AI days of 2023, my co-authors and I invented a term to describe the weird ability of AI to do some work incredibly well and other work incredibly badly in ways that didn’t map very well to our human intuition of the difficulty of the task. We called this the “Jagged Frontier” of AI ability, and it remains a key feature of AI and an endless source of confusion. How can an AI be superhuman at differential medical diagnosis or good at very hard math (yes, they are really good at math now, famously outside the frontier until recently) and yet still be bad at relatively simple visual puzzles or running a vending machine? The exact abilities of AI are often a mystery, so it is no wonder AI is harder to use than it seems.

В древние времена ИИ, в 2023 году, мы с соавторами придумали термин для описания странной способности ИИ выполнять одни задачи невероятно хорошо, а другие — невероятно плохо, причём так, что это совершенно не совпадает с нашим человеческим представлением о сложности задачи. Мы назвали это «зубчатым фронтиром» способностей ИИ, и это по-прежнему ключевая особенность ИИ и бесконечный источник недоумения. Как может ИИ быть сверхчеловечески хорош в дифференциальной медицинской диагностике или решать очень сложную математику (да, теперь они действительно хороши в математике — а ведь до недавнего времени это было за пределами фронтира) и при этом плохо справляться с относительно простыми визуальными головоломками или управлением вендинговым автоматом? Точные способности ИИ зачастую остаются загадкой, поэтому неудивительно, что пользоваться ИИ сложнее, чем кажется.

I think jaggedness is going to remain a big part of AIs going forward, but there is less certainty over what it means. Tomas Pueyo posted this viral image on X that outlined his vision. In his view, the growing frontier will outpace jaggedness. Sure, the AI is bad at some things and may still be relatively bad even as it improves, but the collective human ability frontier is mostly fixed, and AI ability is growing rapidly. What does it matter if AI is relatively bad at running a vending machine, if the AI still becomes better than any human?

Я думаю, что зубчатость останется важной чертой ИИ и в будущем, но есть меньше уверенности в том, что она означает. Tomas Pueyo опубликовал вирусное изображение в X, где изложил своё видение. По его мнению, расширяющийся фронтир будет опережать зубчатость. Конечно, ИИ плох в некоторых вещах и может оставаться относительно слабым даже по мере улучшений, но коллективный фронтир человеческих способностей в основном фиксирован, а способности ИИ растут стремительно. Какая разница, что ИИ относительно плохо управляет вендинговым автоматом, если он всё равно превзойдёт любого человека?

While the future is always uncertain, I think this conception misses out on a few critical aspects about the nature of work and technology. First, the frontier is very jagged indeed, and it might be that, because of this jaggedness, we get supersmart AIs which never quite fully overlap with human tasks. For example, a major source of jaggedness is that LLMs do not remember new tasks and learn from them in a permanent way. A lot of AI companies are pursuing solutions to this issue, but it may be that this problem is harder to solve than researchers expect. Without memory, AIs will struggle to do many tasks humans can do, even while being superhuman in other areas. Colin Fraser drew two examples of what this sort of AI-human overlap might look like. You can see how AI is indeed superhuman in some areas, but in others it is either far below human level or not overlapping at all. If this is true, then AI will create new opportunities working in complement with human beings, since we both bring different abilities to the table.

Будущее всегда неопределённо, но я думаю, что это представление упускает несколько критически важных аспектов природы труда и технологий. Во-первых, фронтир действительно очень зубчат, и возможно, что из-за этой зубчатости мы получим сверхумные ИИ, которые никогда полностью не перекроют человеческие задачи. Например, один из главных источников зубчатости — то, что LLM не запоминают новые задачи и не учатся на них на постоянной основе. Многие компании в сфере ИИ ищут решения этой проблемы, но, возможно, она окажется сложнее, чем ожидают исследователи. Без памяти ИИ будет с трудом выполнять многие задачи, доступные людям, оставаясь при этом сверхчеловечески хорошим в других областях. Colin Fraser нарисовал два примера того, как может выглядеть такое пересечение способностей ИИ и человека. Видно, что ИИ действительно сверхчеловечен в одних областях, но в других он либо значительно уступает человеческому уровню, либо вообще не пересекается с ним. Если это так, то ИИ откроет новые возможности для совместной работы с людьми, поскольку каждая сторона привносит свои уникальные способности.

These are conceptual drawings, but a group of scientists recently tried to map the shape of AI ability and found that it was growing unevenly, just as the jagged frontier would predict. Reading, math, general knowledge, reasoning — all were things that AI was improving on rapidly. But memory, as we discussed, is a weak spot with very little improvement. Better prompting or better models (and GPT-5.2 is much better than GPT-5) might change the shape of the frontier, but jaggedness remains.

Это концептуальные рисунки, но группа учёных недавно попыталась составить карту способностей ИИ и обнаружила, что они растут неравномерно — именно так, как предсказывает концепция зубчатого фронтира. Чтение, математика, общие знания, рассуждение — во всём этом ИИ быстро прогрессирует. Но память, как мы уже обсуждали, остаётся слабым местом с минимальным улучшением. Более качественные промпты или более мощные модели (а GPT-5.2 значительно лучше GPT-5) могут изменить форму фронтира, но зубчатость остаётся.

Bottlenecks

Узкие места

And even small amounts of jaggedness can create issues that make super-smart AIs unable to automate a task. A system is only as functional as its worst components. We call these problems bottlenecks. Some bottlenecks are because the AI is stubbornly subhuman at some tasks. LLM vision systems aren’t good enough at reading medical imaging so they can’t yet replace doctors; LLMs are too helpful when they should push back so they can’t yet replace therapists; hallucinations persist even if they have become rarer which means they can’t yet do tasks where 100% accuracy is required; and so on. If the frontier continues to expand, some of these problems may disappear, but weaknesses are not the only form of bottleneck.

И даже небольшая зубчатость может создавать проблемы, из-за которых сверхумный ИИ не способен автоматизировать задачу. Система работает лишь настолько хорошо, насколько хороши её худшие компоненты. Такие проблемы мы называем узкими местами. Некоторые узкие места возникают потому, что ИИ упорно остаётся ниже человеческого уровня в определённых задачах. Системы компьютерного зрения LLM недостаточно хороши в чтении медицинских снимков, поэтому пока не могут заменить врачей; LLM слишком услужливы там, где должны давать отпор, поэтому пока не могут заменить терапевтов; галлюцинации сохраняются, даже если стали реже, а значит, ИИ пока не может выполнять задачи, требующие стопроцентной точности; и так далее. Если фронтир продолжит расширяться, некоторые из этих проблем могут исчезнуть, но слабости — не единственная форма узких мест.

Some bottlenecks are because of processes that have nothing to do with ability. Even if AI can now identify promising drug candidates dramatically faster than traditional methods, clinical trials still need actual human patients who take actual time to recruit, dose, and monitor. The FDA still requires human review of applications. Even if AI increases the rate of good drug ideas by ten times or more, the constraint becomes the rate of approval, not the rate of discovery. The bottleneck migrates from intelligence to institutions, and institutions move at institution speed.

Некоторые узкие места обусловлены процессами, не имеющими отношения к способностям. Даже если ИИ теперь может выявлять перспективные кандидаты на лекарства значительно быстрее традиционных методов, клинические испытания по-прежнему требуют реальных пациентов, на набор, дозирование и наблюдение за которыми уходит реальное время. FDA по-прежнему требует рассмотрения заявок людьми. Даже если ИИ увеличит количество хороших идей для лекарств в десять и более раз, ограничением станет скорость одобрения, а не скорость открытия. Узкое место мигрирует от интеллекта к институтам, а институты работают со скоростью институтов.

And even where the AI is almost completely superhuman, humans may be needed for edge cases. As an example, take a study that used AI to reproduce Cochrane reviews, the famous deeply researched meta-studies that synthesize many medical studies to figure out the scientific consensus on a topic. A team of researchers found that GPT-4.1, when properly prompted and supported, “reproduced and updated an entire issue of Cochrane reviews (n=12) in two days, representing approximately 12 work-years of traditional systematic review work.” The AI screened over 146,000 citations, read full papers, extracted data, and ran statistical analyses. It actually outperformed human reviewers on accuracy. Oddly, much of the hard intellectual work — finding relevant studies, pulling the right numbers, synthesizing results — is solidly inside the frontier. But the AI can't access supplementary files and it can't email authors to request unpublished data, things human reviewers do routinely. This makes up less than 1% of errors in the review, but those errors mean you can't fully automate the process. Twelve work-years become two days, but only if a human with expertise in how science is actually done handles the edge cases.

И даже там, где ИИ почти полностью превосходит человека, люди могут быть нужны для краевых случаев. Для примера возьмём исследование, в котором ИИ использовали для воспроизведения Кокрейновских обзоров — знаменитых глубоко проработанных мета-исследований, которые синтезируют множество медицинских работ для определения научного консенсуса по теме. Группа исследователей обнаружила, что GPT-4.1 при правильном промптинге и поддержке «воспроизвела и обновила целый выпуск Кокрейновских обзоров (n=12) за два дня, что соответствует примерно 12 человеко-годам традиционной работы над систематическими обзорами». ИИ отсортировал более 146 000 ссылок, прочитал полные статьи, извлёк данные и провёл статистический анализ. По точности он даже превзошёл рецензентов-людей. Любопытно, что большая часть сложной интеллектуальной работы — поиск релевантных исследований, извлечение нужных цифр, синтез результатов — уверенно находится внутри фронтира. Но ИИ не может получить доступ к дополнительным файлам и не может написать авторам с просьбой предоставить неопубликованные данные — а рецензенты-люди делают это постоянно. Это составляет менее 1% ошибок в обзоре, но эти ошибки означают, что полностью автоматизировать процесс нельзя. Двенадцать человеко-лет превращаются в два дня, но только если человек с пониманием того, как устроена реальная наука, берёт на себя краевые случаи.

This is the pattern: jaggedness creates bottlenecks, and bottlenecks mean that even very smart AI cannot easily substitute for humans. At least not yet. This is likely good in some ways (preventing rapid job loss) but frustrating in others (making it hard to speed up scientific research as much as we might hope). Bottlenecks also concentrate the work of AI companies into making the AI better at things that are holding it back, the way math ability rapidly improved once it became an obvious barrier. The historian Thomas Hughes had a term for this. Studying how electrical systems developed, he noticed that progress often stalled on a single technical or social problem. He called these “reverse salients” - the one technical or social problem holding back the system from leaping ahead.

Вот эта закономерность: зубчатость создаёт узкие места, а узкие места означают, что даже очень умный ИИ не может легко заменить людей. По крайней мере, пока. В некотором смысле это хорошо (предотвращает быструю потерю рабочих мест), но в другом — разочаровывает (затрудняет ускорение научных исследований настолько, насколько мы могли бы надеяться). Узкие места также концентрируют усилия компаний в сфере ИИ на улучшении того, что сдерживает систему, — подобно тому, как математические способности стремительно улучшились, когда стало очевидно, что это барьер. У историка Томаса Хьюза был для этого термин. Изучая развитие электрических систем, он заметил, что прогресс часто застревал на одной технической или социальной проблеме. Он назвал это «обратными выступами» — единственной технической или социальной проблемой, которая не даёт системе совершить рывок вперёд.

Reverse Salients

Обратные выступы

Bottlenecks can create the impression that AI will never be able to do something, when, in reality, progress is held back by a single jagged weakness. When that weakness becomes a reverse salient, and AI labs suddenly fix the problem, the entire system can jump forward.

Узкие места могут создать впечатление, что ИИ никогда не сможет что-то сделать, тогда как в реальности прогресс сдерживается одной-единственной зубчатой слабостью. Когда эта слабость становится обратным выступом и лаборатории ИИ внезапно решают проблему, вся система может совершить скачок вперёд.

The most powerful example of this from the last month is Google’s new image generation AI, Nano Banana Pro (yes, AI companies are still bad at naming things). It combines two advances: a very good image creation model and a very smart AI that can help direct the model, looking up information as needed. For example, if I prompt Nano Banana Pro for the ultimate version of my otter test: “Scientists who are otters are using a white board to explain ethan mollicks otter on a plane using WiFi test of AI (you must search for this) and demonstrating it has been passed with a wall full of photos of otters on planes using laptops.” I get this:

Самый яркий пример за последний месяц — новая модель генерации изображений Google, Nano Banana Pro (да, компании в сфере ИИ по-прежнему плохо придумывают названия). Она объединяет два достижения: очень хорошую модель создания изображений и очень умный ИИ, который может направлять модель, при необходимости ища информацию. Например, если я попрошу Nano Banana Pro создать идеальную версию моего теста с выдрой: «Учёные, которые являются выдрами, используют белую доску, чтобы объяснить тест Ethan Mollick «выдра в самолёте, пользующаяся Wi-Fi» (вы должны это загуглить) и демонстрируют, что он пройден, а на стене — множество фотографий выдр в самолётах с ноутбуками.» Я получаю вот это:

Coherent words, different angles, shadows, no major misspellings. Pretty amazing stuff. Remember, the prompt “otter on a plane using wifi” got this image in 2021:

Связный текст, разные ракурсы, тени, никаких серьёзных опечаток. Впечатляюще. Вспомните, промпт «выдра в самолёте, пользующаяся Wi-Fi» давал вот такое изображение в 2021 году:

But it turns out that really good image generation was the bottleneck for a lot of new capabilities. For example, take PowerPoint decks. Every major AI company has been trying to get their AI to make PowerPoint, and they have done this by having the AIs write computer code (which they are very good at) to create a PowerPoint from scratch. This is a hard process, but both Claude and ChatGPT have improved a lot, even if their slides are a little dull. For example, I took my book, Co-Intelligence, and threw it into Claude and asked for a slide deck summary. The model is very smart, but the PowerPoint deck is limited by the fact that it has to be written in code.

Но оказалось, что по-настоящему качественная генерация изображений была узким местом для множества новых возможностей. Возьмём, например, презентации в PowerPoint. Все крупные компании в сфере ИИ пытались научить свои модели создавать PowerPoint, и делали это, заставляя ИИ писать программный код (в чём они очень хороши) для создания презентации с нуля. Это сложный процесс, но и Claude, и ChatGPT существенно улучшились, хотя их слайды немного скучноваты. Например, я взял свою книгу Co-Intelligence, загрузил её в Claude и попросил сделать слайд-презентацию с кратким изложением. Модель очень умна, но презентация ограничена тем, что её приходится создавать через код.

Now here is the same thing in Google’s NotebookLM application, using its smart Gemini AI model combined with Nano Banana Pro. It isn’t using code, it is creating each slide as a single image. When image quality was low, this would have been impossible. Suddenly, it isn’t.

А вот то же самое в приложении Google NotebookLM, использующем умную модель Gemini AI в сочетании с Nano Banana Pro. Здесь не используется код — каждый слайд создаётся как отдельное изображение. Когда качество изображений было низким, это было бы невозможно. Внезапно это стало возможным.

And since images are very flexible, I can play with style and approach. I had NotebookLM do a deep research report on science-backed methods of learning and then turn that into dense slide decks meant for reading in a variety of styles: one that looked hand-drawn, one that was inspired by 1980s punk, one that was “very dramatic and high contrast slides with a bright yellow background,” and, of course, one with an otter-on-a-plane theme.

А поскольку изображения очень гибки, можно экспериментировать со стилем и подходом. Я попросил NotebookLM сделать глубокий исследовательский отчёт о научно обоснованных методах обучения, а затем превратить его в насыщенные слайд-презентации для чтения в разных стилях: одна выглядела как нарисованная от руки, другая была вдохновлена панком 1980-х, одна — «очень драматичные высококонтрастные слайды с ярко-жёлтым фоном», и, конечно, одна — в стиле «выдра в самолёте».

In many ways, the hard stuff is inside the frontier for both Claude and Gemini, they can just take source materials, a topic, and an idea and summarize it in a slide. Hallucinations are very rare, and the sources are correct. It can create otter analogies or come up with a punk-themed description. This is the intellectually demanding part, and AIs have been capable of it for over a year. But making slides or other visual presentations was a bottleneck to making walls of text useful. The problem isn’t completely solved: images are not perfect, and you can’t edit them (apparently this will be fixed soon), but you can see where things are going.

Во многом сложная часть работы находится внутри фронтира и для Claude, и для Gemini: они могут просто взять исходные материалы, тему и идею и сделать краткое изложение в виде слайда. Галлюцинации крайне редки, источники корректны. Модель может создать аналогии с выдрами или придумать описание в панк-стилистике. Это интеллектуально сложная часть, и ИИ способен на неё уже больше года. Но создание слайдов и других визуальных презентаций было узким местом, мешавшим сделать стены текста полезными. Проблема решена не полностью: изображения не идеальны, и их нельзя редактировать (по слухам, это скоро исправят), но уже видно, куда всё движется.

Many lurches

Множество рывков

Even if AI becomes superhuman at analysis and PowerPoint, I don’t think that means AI necessarily replaces the jobs of consultants and designers. Those jobs consist of many different tasks along the jagged frontier that AI is bad at and which humans excel: can you collect information and get buy-in from the many parties involved? Can you understand the unwritten rules that determine what people actually need? Can you come up with something unique to address a deep issue, that stands out from AI material? The jagged frontier offers many opportunities for human work.

Даже если ИИ станет сверхчеловечески хорош в анализе и PowerPoint, я не думаю, что это обязательно означает замену консультантов и дизайнеров. Их работа состоит из множества различных задач вдоль зубчатого фронтира, в которых ИИ плох, а люди сильны: можете ли вы собрать информацию и получить поддержку от множества заинтересованных сторон? Можете ли вы понять неписаные правила, определяющие, что людям действительно нужно? Можете ли вы придумать что-то уникальное для решения глубокой проблемы, что выделяется на фоне материалов ИИ? Зубчатый фронтир открывает множество возможностей для человеческого труда.

Yet, we should expect to see lurches forward, where focusing on reverse salients leads to sudden removals of bottlenecks. Areas of work that used to be only human become something that AI can do. If you want to understand where AI is headed, don’t watch the benchmarks. Watch the bottlenecks. When one breaks, everything behind it comes flooding through. Image generation was holding back presentations, documents, visual communication of all kinds. Now it isn’t. What’s the next bottleneck? Memory? Real-time learning? The ability to take actions in the physical world?

Тем не менее следует ожидать рывков вперёд, когда фокус на обратных выступах приводит к внезапному устранению узких мест. Области работы, которые раньше были исключительно человеческими, становятся доступными для ИИ. Если вы хотите понять, куда движется ИИ, следите не за бенчмарками. Следите за узкими местами. Когда одно из них ломается, всё, что за ним скопилось, хлынет наружу. Генерация изображений сдерживала презентации, документы, визуальную коммуникацию всех видов. Теперь — нет. Что станет следующим узким местом? Память? Обучение в реальном времени? Способность действовать в физическом мире?

Somewhere, right now, an AI lab is treating each of these bottlenecks as a reverse salient. We won’t get much warning when they break through. But a jagged frontier cuts both ways. So far, every lurch forward leaves yet more edges in which humans are needed. There will be many lurches ahead. There will also be many opportunities. Pay attention to both.

Где-то прямо сейчас лаборатория ИИ рассматривает каждое из этих узких мест как обратный выступ. Мы не получим особого предупреждения, когда они совершат прорыв. Но зубчатый фронтир работает в обе стороны. До сих пор каждый рывок вперёд оставлял ещё больше зубцов, где нужны люди. Впереди будет много рывков. Будет и много возможностей. Обращайте внимание на то и другое.

Share

Поделиться