Change blindness

Change blindness

Слепота к изменениям

21 months later

21 месяц спустя

This is not a particularly complicated post. I just wanted to illustrate how far AI has come since I started this Substack just before the launch of ChatGPT in November, 2022. I spend a lot of time in these pages trying to guess at what the future holds, but the future is uncertain. The past is clear. So, let’s see how far we have come in 21 months.

Этот пост не особенно сложный. Я просто хотел показать, насколько далеко продвинулся ИИ с тех пор, как я завёл этот Substack — незадолго до запуска ChatGPT в ноябре 2022 года. Я много времени трачу здесь на попытки угадать, что готовит будущее, но будущее неопределённо. Прошлое же ясно. Так что давайте посмотрим, как далеко мы продвинулись за 21 месяц.

Images and Video

Изображения и видео

This is the image you got when you prompted “otter on a plane using wifi” into the best image generator (Midjourney) on the day I started this Substack:

Вот изображение, которое вы получали по запросу «otter on a plane using wifi» в лучшем на тот момент генераторе изображений (Midjourney) в день, когда я завёл этот Substack:

This is what you get today, 21 months later (image generated by Flux, an open weights model, and animated with Runway Gen 3):

А вот что получается сегодня, 21 месяц спустя (изображение сгенерировано Flux, моделью с открытыми весами, и анимировано с помощью Runway Gen 3):

The time to generate the images are the same. The clip took an additional 75 seconds. And it isn’t just animals. Here is “nursing school leader” then and now (although note that bias issues in image generation remain. I almost always get a female nursing school leader)

Время генерации изображений одинаковое. На клип ушло дополнительно 75 секунд. И дело не только в животных. Вот «nursing school leader» тогда и сейчас (хотя обратите внимание, что проблемы с предвзятостью при генерации изображений остаются — я почти всегда получаю женщину-руководительницу медицинской школы).

Sound

Звук

A couple months after ChatGPT’s release, Google caused a huge stir with MusicLM, which could generate songs from text descriptions. This was jaw-dropping to many. Here is MusicLM’s song for this caption: This is an r&b/hip-hop music piece. There is a male vocal rapping and a female vocal singing in a rap-like manner. The beat is comprised of a piano playing the chords of the tune with an electronic drum backing. The atmosphere of the piece is playful and energetic. This piece could be used in the soundtrack of a high school drama movie/TV show. It could also be played at birthday parties or beach parties.

Через пару месяцев после выхода ChatGPT компания Google наделала много шума, представив MusicLM, которая умела генерировать песни по текстовым описаниям. Многих это поразило до глубины души. Вот песня MusicLM по такому описанию: This is an r&b/hip-hop music piece. There is a male vocal rapping and a female vocal singing in a rap-like manner. The beat is comprised of a piano playing the chords of the tune with an electronic drum backing. The atmosphere of the piece is playful and energetic. This piece could be used in the soundtrack of a high school drama movie/TV show. It could also be played at birthday parties or beach parties.

Here is the exact same prompt put into Suno, eighteen months later (It isn’t the full prompt, couldn’t fit in the last couple sentences, starting with “The atmosphere”). This is the very first result.

А вот точно такой же промпт, отправленный в Suno восемнадцать месяцев спустя (это не весь промпт, последние пару предложений, начиная с «The atmosphere», не поместились). Это самый первый результат.

Eighteen months.

Восемнадцать месяцев.

Language Models

Языковые модели

I have written a lot about advancement in Large Language Models, so I won’t belabor things too much here, except to say that there have been three distinct levels of LLMs since 2022: GPT-3 class, GPT-3.5 class, and GPT-4 class. I name these after the versions given to the models by the first company to reach these levels, OpenAI. When I started this Substack, only GPT-3 was available (it had been for a couple years), and it was pretty impressive for a start. But soon afterwards GPT-3.5, and then GPT-4, arrived and they represented huge leaps.

Я уже много писал о прогрессе больших языковых моделей, поэтому не буду здесь повторяться, скажу лишь, что с 2022 года существовало три различных уровня LLM: класс GPT-3, класс GPT-3.5 и класс GPT-4. Я называю их по версиям, которые им дала первая компания, достигшая этих уровней, — OpenAI. Когда я завёл этот Substack, доступен был только GPT-3 (он существовал уже пару лет) и выглядел весьма впечатляюще для начала. Но вскоре появились GPT-3.5, а затем GPT-4, и они стали огромными скачками.

A good illustration is what I call the Lem Test based on “The Cyberiad" by Stanisław Lem, published in 1965. The book is a satirical science fiction collection about rival robot makers. In one tale, Trurl, a robotic constructor, builds an electronic bard. His rival Klapaucius challenges the machine to write a verse that seems impossible: “Have it compose a poem- a poem about a haircut! But lofty, noble, tragic, timeless, full of love, treachery, retribution, quiet heroism in the face of certain doom! Six lines, cleverly rhymed, and every word beginning with the letter S!”

Хорошая иллюстрация — то, что я называю «тестом Лема» по «Кибериаде» Станислава Лема, изданной в 1965 году. Это сатирический научно-фантастический сборник о соперничающих робототехниках. В одной из историй робот-конструктор Трурль строит электронного барда. Его соперник Клапауций бросает машине вызов — написать стихотворение, которое кажется невозможным: «Have it compose a poem- a poem about a haircut! But lofty, noble, tragic, timeless, full of love, treachery, retribution, quiet heroism in the face of certain doom! Six lines, cleverly rhymed, and every word beginning with the letter S!»

Lem’s translator Kandel (who actually came up with the S challenge, the original poem in Polish is different) famously pulls it off:
Seduced, shaggy Samson snored.
She scissored short. Sorely shorn,
Soon shackled slave, Samson sighed,
Silently scheming,
Sightlessly seeking
Some savage, spectacular suicide.

Переводчик Лема Kandel (который, собственно, и придумал задачу с буквой S — оригинальное стихотворение по-польски другое) знаменито справляется с задачей:Seduced, shaggy Samson snored.She scissored short. Sorely shorn,Soon shackled slave, Samson sighed,Silently scheming,Sightlessly seekingSome savage, spectacular suicide.

Anonymous internet personality Gwern gave GPT-3 the same challenge, and got results like: “Shearsman swift, sure & sculptor, Scissorman swindler, sophister, Shearsman smart, smirking & satanic, Shearsman sobbing & sleeping in the attic Squire Sprat at Sprink’s barber-shop.” These neither stuck to the rules nor did they make any sense.

Анонимная интернет-личность Gwern дал GPT-3 тот же вызов и получил, например, такое: «Shearsman swift, sure & sculptor, Scissorman swindler, sophister, Shearsman smart, smirking & satanic, Shearsman sobbing & sleeping in the attic Squire Sprat at Sprink’s barber-shop.» Эти строки ни правил не соблюдают, ни смысла не имеют.

Yet Claude 3.5 actually succeeds (no other model does), even if not quite as cleverly as the human writers:

А вот Claude 3.5 справляется (больше ни одна модель не смогла), пусть и не так изящно, как авторы-люди:

It is worth noting that, compared to the other areas of AI development, LLMs have seemed a bit stuck at GPT-4 level since 2023. Even though GPT-4 has been exceeded by other models, including GPT-4o and Claude 3.5, there has been no giant leaps in ability since GPT-4. The AI companies have been hinting that this will change in the future, so we learn more soon.

Стоит отметить, что по сравнению с другими областями развития ИИ LLM как будто застряли на уровне GPT-4 с 2023 года. Хотя GPT-4 уже превзойдён другими моделями, включая GPT-4o и Claude 3.5, гигантских скачков в возможностях со времён GPT-4 не было. Компании, занимающиеся ИИ, намекали, что в будущем это изменится, так что вскоре мы узнаем больше.

Adoption… and impact

Внедрение… и влияние

When I started this blog there were no AI chatbot assistants. Now, all indications that they are likely the fastest-adopted technology in recent history. A survey of 100,000 knowledge workers in Denmark that concluded in January, 2024 found really high adoption rates, as well as high rates of actual use (and 15% of journalists and marketers had paid Plus subscriptions!)

Когда я завёл этот блог, никаких ИИ-чат-ассистентов не существовало. Сейчас всё указывает на то, что они, вероятно, самая быстро внедряемая технология в новейшей истории. Опрос 100 000 работников умственного труда в Дании, завершившийся в январе 2024 года, выявил действительно высокие показатели внедрения, а также высокий уровень реального использования (и 15% журналистов и маркетологов имели платную подписку Plus!).

Similarly, research from The Walton Family Foundation finds teachers, parents and students have adopted AI remarkably quickly. Some of this use by students is cheating, of course, a topic I have discussed before, but students, parents and teachers are finding all kinds of other applications as well.

Аналогично, исследование Walton Family Foundation показывает, что учителя, родители и ученики внедрили ИИ удивительно быстро. Часть такого использования учениками — это, конечно, списывание, тема, которую я уже обсуждал ранее, но ученики, родители и учителя находят и множество других применений.

As for the impact on the wider economy, that would be impossible to tell so early, for reasons that I discussed a few weeks back. Right now, it is individuals who are benefiting from AI, as systems and organizations are much slower to adapt and change to new technologies. But individuals really are benefitting. For example, I happen to like this account by Nicholas Carlini who outlines the many ways he uses AI in his work as well as this story on how Erik Schluntz on how AI let him work despite a broken hand. I also discuss my own uses for AI in my book.

Что касается влияния на экономику в целом, оценить это пока невозможно — по причинам, которые я обсуждал несколько недель назад. Сейчас выгоду от ИИ получают именно отдельные люди, поскольку системы и организации гораздо медленнее адаптируются к новым технологиям. Но отдельные люди действительно выигрывают. Например, мне нравится этот рассказ Николаса Карлини, в котором он описывает, как использует ИИ в работе, а также эта история о том, как ИИ позволил Эрику Шлунцу работать со сломанной рукой. Я также рассказываю о собственных применениях ИИ в своей книге.

I don’t think anyone is completely certain about where AI is going, but we do know that things have changed very quickly, as the examples in this post have hopefully demonstrated. If this rate of change continues, the world will look very different in another 21 months. The only way to know is to live through it.

Я не думаю, что кто-то совершенно уверен, куда движется ИИ, но мы точно знаем, что всё изменилось очень быстро, как, надеюсь, демонстрируют примеры в этом посте. Если такой темп изменений сохранится, ещё через 21 месяц мир будет выглядеть совершенно иначе. Единственный способ узнать — прожить это.

Share

Поделиться