Как я разработал легковесный Guardrails для русского языка

В сфере искусственного интеллекта произошло заметное событие. maksimov_m 10 минут назад Как я разработал легковесный Guardrails для русского языка Средний 16 мин 332 Natural Language Processing * Python * Информационная безопасность * Туториал Всем привет, меня зовут Максим. Я автор Telegram‑канала Максим Максимов // IT, AI. В этой статье расскажу о том, как я реализовал свою идею создать guardrails, который будет простым, работать быстро, но в то же время готовым к внедрению в производство.

СодержаниеЧто такое GuardrailsИдея lite‑guardrails Основная бизнес логикаAPI‑сервисИнтеграция с LiteLLMПанель администратораSDK для взаимодействия с сервисомObservabilityРазвертываниеCI в Github ActionsДокументацияЧто такое Guardrails Для начала давайте поймём, что такое Guardrails. Это система, роль которой — защищать другие системы от нежелательных данных или действий. Чаще всего Guardrails выступает как прослойка между системами и проверяет данные, которыми они обмениваются.

Технические детали

Guardrails может работать как с выходными данными системы, так и с входными. GuardrailsСценарии использования могут быть разные. Например, ваша платформа использует LLM внешних провайдеров, куда не хотелось бы отправлять персональные данные пользователей (152-ФЗ).

В этой цепочке Guardrails будет ловить такие данные в тексте и, например, блокировать такие запросы либо же маскировать их. Так как Guardrails является дополнительным звеном в работе, это может увеличивать время обработки запросов пользователей, что не очень хотелось бы. Также при использовании тяжеловесных моделей для работы с данными (например LLM) могут требоваться мощности, которые есть не у всех.

Поэтому у меня возникла идея сделать такой Guardrails, который бы работал быстро и не требовал большого количества ресурсов. При этом я понимал, что готовые аналоги есть и их можно просто взять и использовать — но мне было интересно сделать своё: пройти путь от идеи, самому продумать архитектуру, произвести разработку и довести Guard до продакшен состояния. А значит, столкнуться с проблемами по пути и решить их.

Отраслевые последствия

Во время реализации я ориентировался на открытые open-source решения. Идея lite‑guardrails Рассмотрим идею легковесного Guardrails, на которой я остановился. Чтобы добиться легковесности и скорости, я решил не использовать никакие модели вроде BERT или LLM.

Вместо этого использовались классические методы работы с текстом. Это решение, конечно, влечёт за собой некоторые проблемы — о них расскажу далее. Основной функционал Guardrails разделён на три модуля:Модули lite‑guardrailsPII — позволяет находить персональные данные в тексте, чтобы защитить их от утечек вовне и соблюдать 152-ФЗ.

NSFW — находит в тексте небезопасный контент.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.