Ваши секреты не должны уходить в облако: знакомьтесь, Obscura

В сфере искусственного интеллекта произошло заметное событие. AnonimUwU1337 31 минуту назад Объяснить с Ваши секреты не должны уходить в облако: знакомьтесь, Obscura Сложный 5 мин 627 Искусственный интеллект Информационная безопасность * Программирование * Кейс Obscura: свой on-prem шлюз, который не даёт секретам утечь в ИИ и не ломает ответы моделиЛетом я писал, что будет, если сливать рабочие данные в ChatGPT: логи SOC, конфиги Cisco и FortiGate, внутренние IP, почты сотрудников. Тогда я сделал офлайн-инструмент, который чистит конфиг руками инженера до отправки. Он решает проблему для того, кто помнит им воспользоваться.

Но компания не может полагаться на то, что все всегда вспомнят. Поэтому я сделал следующий шаг: шлюз, который стоит между человеком и нейросетью, проверяет каждый запрос и решает, что с ним делать. Он работает on-prem, данные остаются внутри сети.

Технические детали

Главный экран консоли - Description: Рис. Главный экран консолиРис. Главный экран консолиКак это работаетКлиент ходит в шлюз как в обычный OpenAI-совместимый API (/v1/chat/completions), для Anthropic есть адаптер /v1/messages.

Для веб-интерфейсов вроде ChatGPT есть расширение Chrome/Edge/Firefox, для файлов и картинок отдельный инспектор, плюс встроенный корпоративный чат. Режимов работы три:• Monitor: только смотрим и пишем в журнал;• Warn: пользователь сам выбирает «замаскировать» или «отправить как есть»;• Enforce: маскируем или блокируем до отправки. Архитектура шлюза - Description: Рис.

Архитектура шлюзаРис. Архитектура шлюзаСтек: Python, FastAPI, SQLite в WAL, Redis, spaCy, Svelte 5 для веб-консоли. NER – RU/EN/AZ/TRБольшинство DLP делают под английский.

Отраслевые последствия

Русские данные у них проходят хуже: другие форматы документов, кириллический контекст, склонения. В Obscura для русского есть свои правила: ИНН (10 и 12 цифр, с проверкой контрольной суммы), СНИЛС, банковские карты, реквизиты, телефоны, а ещё API-ключи и токены (sk-... Совпадение по regex подтверждается контрольной суммой, поэтому случайное число реже превращается в «номер карты».

Типы найденных данных и распределение по severity - Description: Рис. Типы найденных данных и распределение по severityРис. Типы найденных данных и распределение по severityПроблема: ломает ответ моделиОбычно данные заменяют метками.

Для чата нормально, для кода и JSON нет: модель получает посреди структуры непонятную метку, может сломать формат или начать рассуждать о ней. Поэтому в Obscura есть режим синтетических суррогатов:Что нашлиЧто уходит в модельe-mailuser_7f2b9a@corp-redact. ioномер картыдругой номер, проходящий проверку ЛунаIP-адресадрес из тестовой сети RFC 5737, например 198.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.