LLM-судья для нейроразбора резюме на hh

Значимый прорыв формирует отрасль ИИ: Mentalitet 30 минут назад LLM-судья для нейроразбора резюме на hh Средний 9 мин 1. ru Искусственный интеллект Машинное обучение * Туториал Создать LLM-судью легко. Гораздо сложнее сделать так, чтобы его оценкам можно было доверять.

Мы убедились в этом на практике при разработке нейроразбора резюме для ИИ-помощника hh. Быстро выяснилось, что хороший LLM-судья — это отдельный продукт со своими рубриками, датасетами, метриками качества и стоимостью эксплуатации. Меня зовут Женя Орлов, я LLM Eval Lead.

Технические детали

В этой статье расскажу, как мы проектировали систему оценки для нейроразбора резюме, почему отказались от наивных подходов и какие выводы сделали по ходу разработки. Зачем нам понадобился LLM-судьяДля начала немного контекста. Нейроразбор резюме — это один из навыков ИИ-помощника hh.

ru, который помогает работодателям искать и приглашать на собеседование подходящих кандидатов. Нейроразбор оценивает мэтч резюме с вакансией — и если он есть, ИИ-помощник с помощью другого навыка соединяет работодателя с соискателем. Представим, что у нас есть вакансия и резюме кандидата.

Как понять, подходит кандидат или нет? Один из вариантов — обучить ML-модель на разметке HR-специалистов. Но с появлением LLM стало возможно двигаться иначе: автоматизировать оценку на основе бизнес-правил, которыми пользуются эксперты.

Отраслевые последствия

Такой подход прозрачнее — можно прочитать рассуждение модели — и проще в настройке за счет промптинга. Но у него есть цена: правила нужно формализовывать очень точно, а галлюцинации и ошибки интерпретации приходится отдельно контролировать. Мы пошли по пути оценки кандидата через соответствие критериям, важным для конкретной позиции.

Часть критериев может извлекаться из вакансии автоматически, часть — задаваться работодателем вручную. Сложность оценки кандидата по критериямВозьмём простой критерий: «Уверенное знание Excel». ИИ-помощник должен оценить, соответствует ли ему кандидат: полностью, частично или не соответствует вообще.

На первый взгляд задача простая. Но в резюме и вакансиях один и тот же навык описывают по-разному: разными словами, с разной детализацией и в разном контексте. Из-за этого возникает неопределённость.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.