LLM-агент против SerpApi: что лучше работает для поиска публичных резюме

В сфере искусственного интеллекта произошло заметное событие. Tehnologika 1 минуту назад LLM-агент против SerpApi: что лучше работает для поиска публичных резюме Средний 5 мин 0 Natural Language Processing * Машинное обучение * Искусственный интеллект Кейс В одном из проектов нам нужно было показать клиенту, как может работать система поиска и нормализации публичных данных о кандидатах. Задача была не просто “найти людей”, а собрать структурированную выборку из разных источников: поисковой выдачи, публичных резюме, профессиональных профилей, GitHub/GitLab и других открытых источников, где можно получить полезные сигналы о человеке, его роли и рабочем стеке. Отдельное пожелание клиента было связано с Google и Bing: клиент прямо обозначил, что хотел бы увидеть поиск резюме через обычную поисковую выдачу.

Поэтому в пилот мы включили SerpApi как один из основных способов сбора первичных результатов. На первый взгляд может показаться, что для такой задачи лучше всего подходит автономный LLM-агент с браузером. Он умеет открывать сайты, читать страницы, переходить по ссылкам и принимать решения по ходу поиска.

Технические детали

Но на практике получилось наоборот. Во время разработки стало понятно, что поисковый слой и браузерный LLM-агент работают по совершенно разным правилам. СодержаниеПочему браузерный LLM-агент быстро упирается в ограниченияЧто даёт SerpApi Профессиональные профили без скрапинга самих платформ Поиск резюме и документов Как выглядел общий пайплайн Дедупликация оказалась одной из ключевых задач Где в этой архитектуре место LLM Что мы сознательно не делалиВыводПочему браузерный LLM-агент быстро упирается в ограниченияАвтономный браузерный агент кажется более мощным инструментом.

Он умеет открывать страницы, читать контент, переходить по ссылкам и принимать решения по ходу поиска. Но именно это становится его ограничением. Во-первых, корректно настроенный агент не будет обходить авторизацию, CAPTCHA или другие механизмы защиты.

Если сайт явно ограничивает автоматический доступ, агент остановится, даже если технически можно было бы попробовать пойти дальше. Во-вторых, каждый переход означает загрузку страницы, ожидание, парсинг и анализ. Для нескольких документов это не проблема, но при поиске сотен или тысяч кандидатов такой подход быстро становится дорогим и медленным.

Отраслевые последствия

Третья проблема – избыточность. На раннем этапе нам не всегда нужно читать всю страницу. Часто достаточно понять, что в выдаче есть человек с нужной ролью, стеком, компанией, регионом или ссылкой на резюме.

Для этого не обязательно открывать каждый результат. Поэтому мы разделили архитектуру: поисковый слой отвечает за массовый сбор потенциально релевантных результатов, а LLM подключается уже после этого – для нормализации, извлечения структуры и анализа найденных данных. Что даёт SerpApiSerpApi в такой архитектуре используется не как “скрапер сайтов”, а как интерфейс к поисковой выдаче.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.