Ипотечный кризис 2008 через свой риск-движок: в деньгах слом виден на год раньше, чем в ROC-AUC

В сфере искусственного интеллекта произошло заметное событие. nmrcs 5 минут назад Ипотечный кризис 2008 через свой риск-движок: в деньгах слом виден на год раньше, чем в ROC-AUC Средний 10 мин 35 Машинное обучение * Data Mining * Open source * Python * Кейс Модель кредитного риска, обученная на данных до 2009 года, ранжирует займы с ROC-AUC 0. Ожидаемые потери портфеля она оценила в 161 млн долларов, реальные составили 546. Увидеть эту ошибку можно было еще в 2007 году, за год до дна ROC-AUC, но не в метриках качества, а взвесив ошибку модели деньгами.

5 млн реальных ипотечных записей, метрики против денег. Числа воспроизводятся до последнего разряда — код движка и инструкции в опенсорсе. Я собрал MAMIR (Multi-domain Analytics & Modeling for Incident Risk) — движок риск-аналитики.

Технические детали

Он принимает поток событий, выдает вероятности, а поверх них считает портфель — сколько денег под риском, где они сосредоточены и что модель про них говорила. Первым делом прогнал на нем ипотечный кризис 2008 года. Проект соло, весь код и ошибки ниже мои.

Идея «деньги поверх модели» не моя. Она появилась после того, как ипотечное подразделение First Boston потеряло за три месяца сто миллионов долларов. Сначала про AladdinВ 1986 году Ларри Финк руководил ипотечным направлением в First Boston и за один квартал потерял около 100 миллионов долларов1.

Страховка от движения ставок строилась на неверном предположении о том, как поведут себя досрочные погашения. Важнее суммы оказалась формулировка, которую Финк повторял потом десятилетиями: «мы не знали, какой риск на себя взяли». Позиция была сложной, и никто в фирме не мог разложить ее на составляющие.

Отраслевые последствия

BlackRock, который Финк основал через два года, строился как ответ на тот квартал. Внутренняя риск-система выросла в Aladdin — платформу, на которой сегодня считает риск сам BlackRock с его примерно 15 триллионами долларов2 под управлением, а вместе с ним пара сотен3 банков и фондов, включая прямых конкурентов. Про Aladdin ходят два заблуждения.

Первое — что он предсказал кризис 2008 года и заранее вывел BlackRock из ипотеки. В октябре 2006-го, на самом пике пузыря, BlackRock с партнерами купил жилой комплекс Stuyvesant Town4 на Манхэттене за 5. 4 миллиарда долларов.

В январе 2010-го объект отдали кредиторам5. В историю кризиса BlackRock вошел с другой стороны. В марте 2008-го ФРС наняла его разбирать портфель уже рухнувшего Bear Stearns6.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.