GLiNER Guard (GLiGuard): один schema-driven энкодер вместо зоопарка LLM-гардрейлов

В сфере искусственного интеллекта произошло заметное событие. Bogdan_m01 1 час назад GLiNER Guard (GLiGuard): один schema-driven энкодер вместо зоопарка LLM-гардрейлов Средний 7 мин 1. 1K Блог компании Raft Машинное обучение * Искусственный интеллект Natural Language Processing * Open source * Эта статья - адаптация моего материала, опубликованного на Towards AI, и одновременно продолжение предыдущего поста про эволюцию GLiNER от UniNER до GLiNER 2. Там мы остановились на том, что унификация задач в одной энкодерной модели стоит точности в отдельных задачах, но даёт огромный инженерный выигрыш.

Сегодня посмотрим, как тот же принцип применяется к гардрейлам в LLM-приложениях - и что из этого вышло. 📄 Arxiv · 🤗 МоделиIntroЕсли вы запускаете LLM в продакшене и ставите на них Guardrails, то знаете эту проблему: на входе и выходе модели висит не один классификатор, а целый стек. Safety moderation - обязательно.

Технические детали

PII detection - обязательно. Дальше добавляется harm classifier, потому что moderation промахивается на edge кейсах. Потом prompt-injection detector, потому что moderation на это не обучен.

Потом toxicity BERT, потому что надо. Умножьте на каждую ноду в агентном приложении - и получите 20 forward-ов на один запрос пользователя. Дизайн агентного приложения с гардамиКаждое решение по отдельности логично:Сильные moderation-модели (Llama-Guard, ShieldGemma, WildGuard, GPT-OSS-SafeGuard) - авторегрессионные.

Работают хорошо, но медленно и дорого. Их деплой превращается в бюджетную проблему быстрее, чем в техническую. Масштабировать их дорого.

Отраслевые последствия

Энкодерные гардрейлы наоборот - быстрые, но узко-специализированные. PromptGuard - это про prompt injection. Toxic-BERT - про токсичность.

PII - отдельный NER-стек (privacy-filter от OpenAI, gliner-pii от NVIDIA, Presidio с регулярками). Собрав это всё вместе получаешь ту же фрагментацию, только в другой форме. Каждая новая угроза и требование - новый сервис с новой моделью.

У каждой модели свои лейблы, свои пороги, своя частота обновления, а еще ее нужно как то деплоить. И вот тут появляется GLiNER Guard (GLiGuard) - энкодер, который делает safety classification и PII detection за один forward. Никакого авторегрессионного декодинга, никакого отдельного NER-стека.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.