newsmode
search
Меню
arrow_back Назад

The Scaling Wall Was A Mirage

auto_awesomeКраткое саммари

Две новости этой недели пошатнули устоявшийся нарратив в ИИ: отчёт Nvidia и твит про Gemini. Весь 2025 год индустрия была убеждена, что законы масштабирования предобучения упёрлись в стену, но запуск Gemini 3 это опроверг — при том же триллионе параметров, что и у Gemini 2.5, модель резко прибавила в качестве, первой преодолела 1500 Elo на LMArena и обошла GPT-5.1 в 19 из 20 бенчмарков. Ориол Виньялс из Google DeepMind объяснил рост улучшениями и в pre-training, и в post-training, отметив, что разрыв между 2.5 и 3.0 — крупнейший в истории Google, и стен не видно. Отчёт Nvidia подкрепил спрос: компания видит $0,5 трлн выручки от Blackwell и Rubin до конца 2026 года и оценивает рынок ИИ-инфраструктуры в $3–4 трлн в год к концу десятилетия, при этом Blackwell Ultra обучает модели в 5 раз быстрее Hopper. Вместе эти два факта разрушают тезис о «стене масштабирования».

Two revelations this week have shaken the narrative in AI : Nvidia’s earnings & this tweet about Gemini.

Два откровения на этой неделе пошатнули нарратив в ИИ: отчёт Nvidia о доходах и этот твит про Gemini.

Oriol Vinyals tweet about Gemini 3 scaling

The AI industry spent 2025 convinced that pre-training scaling laws had hit a wall. Models weren’t improving just from adding more compute during training.

Весь 2025 год индустрия ИИ была убеждена, что законы масштабирования предобучения упёрлись в стену. Модели переставали улучшаться от простого наращивания вычислений во время обучения.

Then Gemini 3 launched. The model has the same parameter count as Gemini 2.5, one trillion parameters, yet achieved massive performance improvements. It’s the first model to break 1500 Elo on LMArena & beat GPT-5.1 on 19 of 20 benchmarks.

Затем вышла Gemini 3. У модели то же число параметров, что и у Gemini 2.5, — один триллион, — однако она добилась колоссального прироста производительности. Это первая модель, преодолевшая 1500 Elo на LMArena и обошедшая GPT-5.1 в 19 из 20 бенчмарков.

Oriol Vinyals, VP of Research at Google DeepMind, credited improving pre-training & post-training for the gains. He continued that the delta between 2.5 & 3.0 is as big as Google has ever seen with no walls in sight.

Оriol Vinyals, вице-президент по исследованиям в Google DeepMind, объяснил прирост улучшениями как в pre-training, так и в post-training. Он добавил, что разрыв между 2.5 и 3.0 — самый большой, какой Google когда-либо видела, и никаких стен впереди не наблюдается.

This is the strongest evidence since o1 that pre-training scaling still works when algorithmic improvements meet better compute.

Это самое сильное со времён o1 доказательство того, что масштабирование предобучения всё ещё работает, когда алгоритмические улучшения встречаются с более мощными вычислениями.

Second, Nvidia’s earnings call reinforced the demand.

Во-вторых, отчёт Nvidia о доходах подкрепил наличие спроса.

We currently have visibility to $0.5 trillion in Blackwell and Rubin revenue from the start of this year through the end of calendar year 2026. By executing our annual product cadence and extending our performance leadership through full stack design, we believe NVIDIA will be the superior choice for the $3 trillion to $4 trillion in annual AI infrastructure build we estimate by the end of the decade.

На данный момент у нас есть видимость по $0,5 трлн выручки от Blackwell и Rubin с начала этого года и до конца календарного 2026 года. Поддерживая ежегодный ритм выпуска продуктов и сохраняя лидерство по производительности за счёт сквозного проектирования всего стека, мы считаем, что NVIDIA станет предпочтительным выбором для тех $3–4 трлн ежегодных вложений в ИИ-инфраструктуру, которые мы прогнозируем к концу десятилетия.

The clouds are sold out and our GPU installed base, both new and previous generations, including Blackwell, Hopper and Ampere is fully utilized. Record Q3 data center revenue of $51 billion increased 66% year-over-year, a significant feat at our scale.

Облака распроданы, а наша установленная база GPU — как новых, так и предыдущих поколений, включая Blackwell, Hopper и Ampere, — задействована полностью. Рекордная выручка дата-центров за третий квартал в $51 млрд выросла на 66% год к году — внушительное достижение при наших масштабах.

The infrastructure is accelerating headlong into hundreds of billions next year & Nvidia predicts it will be in the trillions, citing “$3 trillion to $4 trillion in data center by 2030”.

Инфраструктура стремительно разгоняется до сотен миллиардов в следующем году, и Nvidia прогнозирует, что речь пойдёт о триллионах, ссылаясь на «$3–4 трлн в дата-центрах к 2030 году».

As Gavin Baker points out, Nvidia confirmed Blackwell Ultra delivers 5x faster training times than Hopper.

Как отмечает Gavin Baker, Nvidia подтвердила, что Blackwell Ultra обеспечивает обучение в 5 раз быстрее, чем Hopper.

Gemini 3 proves the scaling laws are intact, so Blackwell’s extra power will translate directly into better model capabilities, not just cost efficiency.

Gemini 3 доказывает, что законы масштабирования в силе, поэтому дополнительная мощность Blackwell напрямую превратится в более высокие возможности моделей, а не только в экономию затрат.

Together, these two data points dismantle the scaling wall thesis.

Вместе эти два факта разрушают тезис о стене масштабирования.