Verifiability
Андрей Карпати проводит аналогию между ИИ и новой вычислительной парадигмой, поскольку оба связаны с автоматизацией обработки цифровой информации. В прежней парадигме (Software 1.0 — написанные вручную программы) ключевым признаком автоматизируемости задачи была её специфицируемость: можно ли механически преобразовывать информацию по простому алгоритму. С приходом ИИ (Software 2.0 — программы, найденные через градиентный спуск под заданную цель) главным признаком становится проверяемость (verifiability): задача оптимизируема, если среду можно сбрасывать, она эффективна и допускает автоматическое вознаграждение попыток. Чем более задача проверяема, тем легче её автоматизировать — именно это формирует «зубчатую» границу прогресса LLM: проверяемые задачи (математика, код, головоломки с верными ответами) развиваются стремительно, а творческие, стратегические и требующие здравого смысла отстают. Итог: Software 1.0 автоматизирует то, что можно специфицировать, а Software 2.0 — то, что можно проверить.
Verifiability
Проверяемость
17 ноября 2025
AI has been compared to various historical precedents: electricity, industrial revolution, etc., I think the strongest analogy is that of AI as a new computing paradigm because both are fundamentally about the automation of digital information processing.
ИИ сравнивали с различными историческими прецедентами: электричеством, промышленной революцией и т. д. Я считаю, что самая сильная аналогия — это ИИ как новая вычислительная парадигма, поскольку и то, и другое по своей сути связано с автоматизацией обработки цифровой информации.
If you were to forecast the impact of computing on the job market in ~1980s, the most predictive feature of a task/job you'd look at is specifiability, i.e. are you just mechanically transforming information according to rote, easy to specify algorithm (examples being typing, bookkeeping, human calculators, etc.)? Back then, this was the class of programs that the computing capability of that era allowed us to write (by hand, manually). I call hand-written programs "Software 1.0".
Если бы вы взялись прогнозировать влияние вычислительной техники на рынок труда примерно в 1980-х, самым предсказательным признаком задачи/работы, на который стоило бы смотреть, была бы специфицируемость, то есть просто ли вы механически преобразуете информацию по заученному, легко формализуемому алгоритму (примеры — печатание текстов, бухгалтерия, люди-вычислители и т. д.)? Тогда это был тот класс программ, который позволяли писать (вручную) вычислительные возможности той эпохи. Написанные вручную программы я называю «Software 1.0».
With AI now, we are able to write new programs that we could never hope to write by hand before. We do it by specifying objectives (e.g. classification accuracy, reward functions), and we search the program space via gradient descent to find neural networks that work well against that objective. This is my Software 2.0 blog post from a while ago. In this new programming paradigm then, the new most predictive feature to look at is verifiability. If a task/job is verifiable, then it is optimizable directly or via reinforcement learning, and a neural net can be trained to work extremely well. It's about to what extent an AI can "practice" something. The environment has to be:
С появлением ИИ мы теперь можем писать новые программы, которые раньше и надеяться не могли написать вручную. Мы делаем это, задавая цели (например, точность классификации, функции вознаграждения), и ищем в пространстве программ с помощью градиентного спуска нейросети, которые хорошо работают под эту цель. Это мой пост в блоге про Software 2.0, написанный некоторое время назад. И в этой новой парадигме программирования самым предсказательным признаком, на который стоит смотреть, становится проверяемость. Если задача/работа проверяема, то её можно оптимизировать напрямую или через обучение с подкреплением, и нейросеть можно натренировать работать чрезвычайно хорошо. Речь о том, в какой мере ИИ способен «практиковаться» в чём-то. Среда должна быть:
сбрасываемой (вы можете начать новую попытку), эффективной (можно сделать множество попыток) и вознаграждаемой (есть некий автоматический процесс, выдающий вознаграждение за любую конкретную сделанную попытку).
The more a task/job is verifiable, the more amenable it is to automation in the new programming paradigm. If it is not verifiable, it has to fall out from neural net magic of generalization fingers crossed, or via weaker means like imitation. This is what's driving the "jagged" frontier of progress in LLMs. Tasks that are verifiable progress rapidly, including possibly beyond the ability of top experts (e.g. math, code, amount of time spent watching videos, anything that looks like puzzles with correct answers), while many others lag by comparison (creative, strategic, tasks that combine real-world knowledge, state, context and common sense).
Чем более задача/работа проверяема, тем легче она поддаётся автоматизации в новой парадигме программирования. Если она непроверяема, остаётся надеяться на магию обобщения нейросети, скрестив пальцы, или на более слабые средства вроде имитации. Именно это движет «зубчатой» границей прогресса LLM. Проверяемые задачи продвигаются стремительно, возможно, даже превосходя способности лучших экспертов (например, математика, код, время, проведённое за просмотром видео, всё, что выглядит как головоломки с правильными ответами), тогда как многие другие в сравнении отстают (творческие, стратегические задачи, задачи, сочетающие знания о реальном мире, состояние, контекст и здравый смысл).
Software 1.0 легко автоматизирует то, что вы можете специфицировать. Software 2.0 легко автоматизирует то, что вы можете проверить.