Запрещённая математика в твоём autograd: бесконечно малые, дуальные числа и нестандартный анализ

В сфере искусственного интеллекта произошло заметное событие. inkedsymon 4 минуты назад Запрещённая математика в твоём autograd: бесконечно малые, дуальные числа и нестандартный анализ Уровень сложности Средний Время на прочтение 7 мин Охват и читатели 56 Математика * Машинное обучение * Программирование * Python * Обзор TL;DR Когда вы пишете loss. backward() , ваш autograd делает то, что 200 лет считалось математической ересью: оперирует бесконечно малыми как настоящими числами. В 1960 году Абрахам Робинсон формализовал эту «ересь» в виде нестандартного анализа.

Forward-mode автодифференцирование, на котором держатся JAX, PyTorch и пол-индустрии — это его обрезанная версия. В этой статье разберём гиперреалы и монады, реализуем дуальные числа в коде. Проблема, о которой не говорят Откройте любой учебник термодинамики.

Технические детали

Найдите там первое начало: dU=δQ−δA Один значок прямой, другой — кривой. Спросите автора учебника, чем δQ отличается от dU — вам начнут объяснять про «полный» и «неполный» дифференциал. Спросите математика-аналитика, что вообще такое dx — он начнёт рассказывать про предельные переходы.

Проблема в том, что с точки зрения стандартного матанализа dU и δQ — это один и тот же объект . Оба определяются через предел. И тот, и другой стремится к нулю.

Если у нас в руках только аппарат пределов, мы не можем сказать, чем интегрирование первого по замкнутому контуру отличается от интегрирования второго. Физик это интуитивно понимает: δQ — маленький кусочек тепла, зависящий от пути . dU — приращение функции состояния, не зависящий.

Отраслевые последствия

Но математически в стандартном анализе разница затаскивается в форму записи и определение интеграла, а не сидит в самих объектах. Дифференциалы как объекты в обычном анализе попросту отсутствуют — только пределы. Краткая история запрещённой идеи Лейбниц в 1684 году ввёл в анализ бесконечно малые — числа, которые больше нуля, но меньше любого положительного действительного.

Производную он определял буквально: dy/dx , отношение двух бесконечно малых. Ньютон делал что-то похожее, кстати говоря. С помощью этого аппарата Эйлер посчитал такое, что до сих пор переоткрывают.

Но был один нюанс: бесконечно малые непонятно как определить. Если ε > 0 , но ε < r для любого положительного действительного r — то что это вообще такое за объект? Беркли накинулся с философской критикой («призраки исчезнувших величин»).

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.