Three Years from GPT-3 to Gemini 3

Three Years from GPT-3 to Gemini 3

Три года: от GPT-3 до Gemini 3

From chatbots to agents

От чат-ботов к агентам

I’ve been testing Google’s new Gemini 3 model. It is very good. But rather than give you benchmark numbers, I’m going to show you how far AI has come in three years by asking the AI to demonstrate it.

Я тестирую новую модель Gemini 3 от Google. Она очень хороша. Но вместо того чтобы приводить вам цифры бенчмарков, я покажу, как далеко продвинулся ИИ за три года, попросив сам ИИ это продемонстрировать.

It has been slightly less than three years since the release of ChatGPT. A few days before that launch, I wrote my first post on this Substack about OpenAI’s earlier GPT-3 model. Then ChatGPT came out, and I wrote immediately afterwards that “I am usually pretty hesitant to make technology predictions, but I think that this is going to change our world much sooner than we expect, and much more drastically. Rather than automating jobs that are repetitive & dangerous, there is now the prospect that the first jobs that are disrupted by AI will be more analytic; creative; and involve more writing and communication.”

Прошло чуть меньше трёх лет с выхода ChatGPT. За несколько дней до того запуска я написал свой первый пост в этом Substack — о более ранней модели GPT-3 от OpenAI. Затем вышел ChatGPT, и я сразу же написал: «Я обычно довольно осторожен с прогнозами насчёт технологий, но мне кажется, что это изменит наш мир гораздо быстрее, чем мы ожидаем, и гораздо радикальнее. Вместо автоматизации повторяющейся и опасной работы есть шанс, что первыми под удар ИИ попадут более аналитические и творческие профессии, связанные с письмом и коммуникацией».

I think I got that one right.

Кажется, в этом я оказался прав.

I could explain the difference between the original ChatGPT and the new AI model from Google, Gemini 3, that launched today. But I don’t have to. Instead, I gave the screenshot above to Gemini 3 with a single prompt:

Я мог бы объяснить разницу между оригинальным ChatGPT и новой моделью Google Gemini 3, вышедшей сегодня. Но мне это не нужно. Вместо этого я отдал скриншот выше Gemini 3 с одним промптом:

Me: “show how far AI has come since this post by doing stuff.”

Я: «покажи, как далеко ИИ продвинулся со времён этого поста, делая что-нибудь».

Gemini: “I can definitely show you the difference. The tweet you shared is from November 2022—right on the cusp of the modern AI boom. Back then, the “wow factor” was that an AI could write a coherent paragraph or a simple poem about a silly concept like a “candy-powered FTL drive escaping otters.”

Gemini: «Я точно могу показать разницу. Твит, которым вы поделились, — от ноября 2022 года, как раз на пороге современного бума ИИ. Тогда «вау-эффект» заключался в том, что ИИ мог написать связный абзац или простой стишок на нелепую тему вроде «звездолёт со сверхсветовым двигателем на конфетах, убегающий от выдр».

To demonstrate how far we’ve come, I’m not just going to write text about it. I have built you a fully interactive, playable Candy-Powered FTL Starship Simulator.

Чтобы продемонстрировать, как далеко мы продвинулись, я не просто напишу об этом текст. Я построил для вас полностью интерактивный, играбельный симулятор звездолёта на сверхсветовом конфетном двигателе.

In 2022, AI could describe the engine. In 2025, AI can code the engine, design the interface, and let you pilot the ship yourself.”

В 2022 году ИИ мог описать двигатель. В 2025 году ИИ может закодить двигатель, спроектировать интерфейс и дать вам самому пилотировать корабль».

And, indeed, it built me a tiny game where I had to use the power of candy to escape otters, featuring small poems and an ongoing set of amusing updates. If you’re reading this blog, you probably knew AI could do that. What’s more interesting is what else Gemini 3 can do when you stop thinking of it as a chatbot and start thinking of it as something else entirely

И действительно, он построил мне маленькую игру, в которой нужно было использовать силу конфет, чтобы убегать от выдр, со стишками и постоянным потоком забавных обновлений. Если вы читаете этот блог, вы, скорее всего, и так знали, что ИИ это умеет. Гораздо интереснее то, на что ещё способен Gemini 3, если перестать думать о нём как о чат-боте и начать думать как о чём-то совершенно другом.

Coding tools that aren’t just coding tools

Инструменты для кода, которые не просто про код

Along with Gemini 3, Google has launched Antigravity. For programmers, Antigravity should be familiar territory, it is similar to Claude Code and OpenAI Codex, specialized tools that can be given access to your computer and which can autonomously write computer programs with guidance. If you aren’t a programmer, you may dismiss Antigravity and similar tools. I think that is a mistake because the ability to code isn’t just about programming, it’s about being able to do anything that happens on a computer. And that changes what these tools actually are.

Вместе с Gemini 3 Google запустил Antigravity. Для программистов Antigravity — знакомая территория: это аналог Claude Code и OpenAI Codex, специализированных инструментов, которым можно дать доступ к компьютеру и которые умеют автономно писать программы под вашим руководством. Если вы не программист, у вас может возникнуть искушение отмахнуться от Antigravity и подобных инструментов. Я думаю, это ошибка, потому что умение кодить — это не просто про программирование, это про возможность делать что угодно на компьютере. И это меняет суть этих инструментов.

Gemini 3 is very good at coding, and this matters to you even if you don’t think of what you do as programming. A fundamental perspective powering AI development is that everything you do on a computer is, ultimately, code, and if AI can work with code it can do anything someone with a computer can: build you dashboards, work with websites, create PowerPoint, read your files, and so on. This makes agents that can code general purpose tools. Antigravity embraces this idea, with the concept of an Inbox, a place where I can send AI agents off on assignments and where they can ping me when they need permission or help.

Gemini 3 очень хорош в коде, и это важно даже для вас, если вы не считаете свою работу программированием. В основе разработки ИИ лежит фундаментальная идея: всё, что вы делаете на компьютере, в конечном счёте — код, и если ИИ умеет работать с кодом, он может всё, что может человек за компьютером: собирать дашборды, работать с сайтами, делать PowerPoint, читать ваши файлы и так далее. Это превращает кодящих агентов в универсальные инструменты. Antigravity встраивает эту идею, вводя концепцию «инбокса» — места, куда я могу отправлять ИИ-агентов на задания и где они могут «постучаться» ко мне, когда им нужно разрешение или помощь.

I don’t communicate with these agents in code, I communicate with them in English and they use code to do the work. Because Gemini 3 is good at planning, it is capable of figuring out what to do, and also when to ask my approval. For example, I gave Antigravity access to a directory on my computer containing all of my posts for this newsletter.1 I then asked Gemini 3,0: “I would like an attractive list of predictions I have made about AI in a single site, also do a web search to see which I was right and wrong about.” It then read through all the files, executing code, until it gave me a plan which I could edit or approve. The screenshot below is the first time the AI asked me anything about the project, and its understanding of what I wanted was impressive. I made a couple of small changes and let the AI work.

Я общаюсь с этими агентами не на коде, а на английском, а код они используют, чтобы делать работу. Поскольку Gemini 3 хорошо умеет планировать, он способен понять, что нужно делать, и когда стоит спросить моего одобрения. Например, я дал Antigravity доступ к папке на моём компьютере со всеми постами для этой рассылки.1 Затем я попросил Gemini 3.0: «Хочу получить красивый список предсказаний, которые я делал об ИИ, на одном сайте, и заодно сделай веб-поиск, чтобы понять, в чём я был прав, а в чём нет». Он прошёлся по всем файлам, выполняя код, и выдал мне план, который я мог отредактировать или утвердить. Скриншот ниже — это первый раз, когда ИИ что-то у меня спросил по проекту, и его понимание того, что я хотел, впечатляло. Я внёс пару небольших правок и дал ИИ работать.

It then did web research, created a site, took over my browser to confirm the site worked, and presented me the results. Just as I would have with a human, I went through the results and made a few suggestions for improvement. It then packaged up the results so I could deploy them here.

Затем он провёл веб-исследование, создал сайт, перехватил мой браузер, чтобы убедиться, что сайт работает, и представил мне результаты. Как и с человеком, я просмотрел результаты и внёс несколько предложений по улучшению. Затем он упаковал всё так, чтобы я мог развернуть это здесь.

It was not that Gemini 3.0 was capable of doing everything correctly without human intervention — agents aren’t there yet. There were no hallucinations I spotted, but there were things I corrected, though those errors were more about individual judgement calls or human-like misunderstandings of my intentions than traditional AI problems. Importantly, I felt that I was in control of the choices AI was making because the AI checked in and its work was visible. It felt much more like managing a teammate than prompting an AI through a chat interface.

Дело не в том, что Gemini 3.0 был способен сделать всё правильно без участия человека — агенты до этого пока не дошли. Галлюцинаций я не заметил, но были вещи, которые я поправил, хотя эти ошибки были больше про субъективные суждения или человекоподобное непонимание моих намерений, чем про традиционные проблемы ИИ. Что важно, я чувствовал, что контролирую выбор, который делает ИИ, потому что ИИ сверялся со мной, а его работа была видна. Это больше похоже на управление коллегой по команде, чем на промптинг ИИ через чат-интерфейс.

PhD Level Intelligence?

Интеллект уровня PhD?

But Antigravity isn’t the only way Gemini 3 surprised me. The other was in how it handled work that required genuine judgment. As I have mentioned many times on this site, benchmarking AI progress is a mess. Gemini 3 takes a definitive benchmark lead on most stats, (although it may still not be able to beat the $200 GPT-5 Pro Model, but I suspect that might change when Gemini 3’s inevitable Deep Think version comes out). But you will hear one phrase repeated a lot in the AI world - that a model has “PhD level intelligence.”

Но Antigravity — не единственное, чем меня удивил Gemini 3. Второе — то, как он справился с работой, требующей настоящего суждения. Как я многократно отмечал на этом сайте, бенчмаркинг прогресса ИИ — это бардак. Gemini 3 уверенно лидирует в большинстве бенчмарков (хотя, возможно, всё ещё не дотягивает до GPT-5 Pro за $200 — впрочем, подозреваю, это изменится, когда выйдет неизбежная версия Gemini 3 Deep Think). Но в мире ИИ часто повторяют одну фразу — что модель обладает «интеллектом уровня PhD».

I decided to put that to the test. I gave Gemini 3 access to a directory of old files I had used for research into crowdfunding a decade ago. It was a mishmash of files labelled things like “project_final_seriously_this_time_done.xls” and data in out-of-date statistical formats. I told the AI to “figure out the data and the structure and the initial cleaning from the STATA files and get it ready to do a new analysis to find new things.” And it did, recovering corrupted data and figuring out the complexities of the environment.

Я решил это проверить. Я дал Gemini 3 доступ к папке со старыми файлами, которые использовал для исследования краудфандинга десять лет назад. Это была мешанина файлов с названиями вроде «project_final_seriously_this_time_done.xls» и данные в устаревших статистических форматах. Я сказал ИИ: «разберись с данными и структурой, сделай первичную очистку из файлов STATA и подготовь всё к новому анализу для поиска новых закономерностей». И он это сделал — восстановил повреждённые данные и разобрался в сложностях среды.

Then I gave it a typical assignment that you would expect from a second year PhD student, doing minor original research. With no further hints I wrote: “great, now i want you to write an original paper using this data. do deep research on the field, make the paper not just about crowdfunding but about an important theoretical topic of interest in either entrepreneurship or business strategy. conduct a sophisticated analysis, write it up as if for a journal.” I gave it no suggestions beyond that and yet the AI considered the data, generated original hypotheses, tested them statistically, and gave me formatted output in the form of a document. The most fascinating part was that I did not give it any hints about what to research, it walked the tricky tightrope of figuring out what might be an interesting topic and how to execute it with the data it had - one of the hardest things to teach. After a couple of vague commands (“build it out more, make it better”) I got a 14 page paper.

Потом я дал ему типовое задание, которое можно было бы ожидать от аспиранта второго года PhD — небольшое оригинальное исследование. Без дальнейших подсказок я написал: «отлично, теперь напиши оригинальную статью на этих данных. Сделай глубокое исследование области, статья должна быть не просто про краудфандинг, а про важную теоретическую проблему в предпринимательстве или бизнес-стратегии. Проведи серьёзный анализ и оформи как для журнала». Никаких других подсказок я не давал, и тем не менее ИИ изучил данные, сформулировал оригинальные гипотезы, статистически их проверил и выдал мне отформатированный документ. Самое поразительное — я не намекал, что именно исследовать; он сам прошёл по тонкой грани между выбором интересной темы и её исполнением на имеющихся данных — одна из самых сложных вещей, которым надо учить. После пары расплывчатых команд («раскрой подробнее, сделай лучше») я получил 14-страничную статью.

Aside from this, I was impressed that the AI came up with its own measure, a way of measuring how unique a crowdfunding idea was by using natural language processing tools to compare its description mathematically to other descriptions. It wrote the code, executed it and checked the results.

Кроме этого, меня впечатлило, что ИИ придумал собственную метрику — способ измерять уникальность краудфандинговой идеи, математически сравнивая её описание с другими описаниями с помощью инструментов NLP. Он написал код, выполнил его и проверил результаты.

So is this a PhD-level intelligence? In some ways, yes, if you define a PhD level intelligence as doing the work of a competent grad student at a research university. But it also had some of the weaknesses of a grad student. The idea was good, as were many elements of the execution, but there were also problems: some of its statistical methods needed more work, some of its approaches were not optimal, some of its theorizing went too far given the evidence, and so on. Again, we have moved past hallucinations and errors to more subtle, and often human-like, concerns. Interestingly, when I gave it suggestions with a lot of leeway, the way I would a student: (“make sure that you cover the crowdfunding research more to establish methodology, etc.”) it improved tremendously, so maybe more guidance would be all that Gemini needed. We are not there yet, but “PhD intelligence” no longer seems that far away.

Так это интеллект уровня PhD? В каком-то смысле — да, если определять «интеллект уровня PhD» как работу компетентного аспиранта исследовательского университета. Но у него были и слабости такого аспиранта. Идея была хорошей, как и многие элементы исполнения, но были и проблемы: некоторые статистические методы требовали доработки, некоторые подходы были неоптимальны, кое-где теоретизирование заходило дальше, чем позволяли данные, и так далее. Опять же, мы вышли за рамки галлюцинаций и грубых ошибок к более тонким, часто человекоподобным проблемам. Что интересно, когда я давал ему подсказки с большой свободой действий, как студенту («убедись, что ты подробнее раскрыл исследования по краудфандингу для обоснования методологии и т.п.»), он улучшался кратно — так что, возможно, Gemini нужно лишь чуть больше направляющих указаний. Мы пока не там, но «интеллект уровня PhD» уже не кажется таким далёким.

Gemini 3

Gemini 3

Gemini 3 is a very good thinking and doing partner that is available to billions of people around the world. It is also a sign of many things: the fact that we have not yet seen a significant slowdown in AI’s continued development, the rise of agentic models, the need to figure out better ways to manage smart AIs, and more. It shows how far AI has come.

Gemini 3 — очень хороший партнёр для размышлений и действий, доступный миллиардам людей по всему миру. Он также — знак многих вещей: того, что заметного замедления в развитии ИИ мы пока не наблюдаем, подъёма агентских моделей, необходимости найти лучшие способы управлять умными ИИ и многого другого. Он показывает, как далеко продвинулся ИИ.

Three years ago, we were impressed that a machine could write a poem about otters. Less than 1,000 days later, I am debating statistical methodology with an agent that built its own research environment. The era of the chatbot is turning into the era of the digital coworker. To be very clear, Gemini 3 isn’t perfect, and it still needs a manager who can guide and check it. But it suggests that “human in the loop” is evolving from “human who fixes AI mistakes” to “human who directs AI work.” And that may be the biggest change since the release of ChatGPT.

Три года назад нас впечатляло, что машина может написать стишок про выдр. Менее тысячи дней спустя я обсуждаю статистическую методологию с агентом, который сам построил свою исследовательскую среду. Эра чат-бота превращается в эру цифрового коллеги. Чтобы было предельно ясно: Gemini 3 не идеален и всё ещё нуждается в руководителе, который направляет и проверяет его. Но это намекает, что «человек в петле» эволюционирует от «человека, который исправляет ошибки ИИ» к «человеку, который направляет работу ИИ». И это, возможно, самое большое изменение со времён выхода ChatGPT.

Share

Поделиться

Obligatory warning: Giving an AI agent access to your computer can be risky if you don’t know what you are doing. They can move or delete files without asking you and can potentially present a security risk as well by exposing your documents to others. I suspect many of these problems will be addressed as these tools are adapted to non-coders, but, for now, be very careful.

Обязательное предупреждение: давать ИИ-агенту доступ к вашему компьютеру может быть рискованно, если вы не понимаете, что делаете. Они могут перемещать или удалять файлы без спроса, а также представлять угрозу безопасности, открывая ваши документы посторонним. Подозреваю, что многие из этих проблем будут решаться по мере адаптации этих инструментов под некодеров, но пока — будьте очень осторожны.