Правило ловит 99% атак и ошибается в 1% случаев. На одну находку аналитик разберёт тысячу ложных

В сфере искусственного интеллекта произошло заметное событие. jbenderov 49 минут назад Правило ловит 99% атак и ошибается в 1% случаев. На одну находку аналитик разберёт тысячу ложных Средний 5 мин 845 Математика * Информационная безопасность * Анализ и проектирование систем * Аналитика Характеристика, которую пишут в описании правила детектирования и произносят на защите архитектуры: обнаруживает 99% атак при доле ошибок в 1%. Звучит как хороший результат, и принимают её обычно без вопросов.

А вопрос тут есть, и он арифметический. При таких характеристиках почти каждое сработавшее правило окажется ложным — не потому, что правило плохое, а потому что атака редкая. СчитаемВозьмём организацию, где в сутки происходит 200 000 входов в системы, и предположим, что два из них — настоящая компрометация.

Технические детали

Правило с заявленными характеристиками: ловит 99% вредоносных событий, ошибается на 1% нормальных. верных срабатываний: 2 × 0. 98 ложных срабатываний: 199 998 × 0.

01 = 2000 всего алертов за сутки: 2002 доля настоящих среди них: 0. 10% Эту долю дальше называю точностью — доля настоящих срабатываний среди всех алертов. Аналитик разберёт около тысячи алертов на одну находку — если доживёт до неё.

Причина — в соотношении популяций. Вредоносных событий два, нормальных двести тысяч. Один процент ошибок на огромной популяции даёт в тысячу раз больше событий, чем сто процентов попаданий на крошечной.

Отраслевые последствия

Никакая чувствительность правила этого перевеса не отыграет, потому что перевес задаётся не правилом, а тем, насколько атака редка. Формально это теорема Байеса:точность = P·Se / ( P·Se + (1 - P)·FPR ) Здесь P — доля атак в потоке, Se — чувствительность, FPR — доля ошибок на нормальных событиях. Числитель ограничен сверху величиной P: сколько бы ни была хороша чувствительность, больше двух событий из двухсот тысяч правило не найдёт при всём желании.

А в знаменателе рядом стоит (1 - P)·FPR — та же доля ошибок, помноженная на всю остальную популяцию. 01 второе слагаемое больше первого в тысячу раз, и работа над Se этого не меняет. Что двигает цифру, а что нетПервое, что предлагают на разборе, — поднять чувствительность.

Посмотрим, что это даст: даже при стопроцентном обнаружении верных срабатываний станет 2 вместо 1. 98, а ложных останется 2000. Точность вырастет с 0.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.