Поиск IT-железа по 30+ дистрибьюторам сразу: как мы собрали 114k SKU

Вот важная новость с фронта ИИ: parts_finder 11 минут назад Поиск IT-железа по 30+ дистрибьюторам сразу: как мы собрали 114k SKU Простой 7 мин 337 IT-инфраструктура * IT-компании Базы данных * Веб-аналитика * Исследования и прогнозы в IT * Кейс Из песочницы Кейс, в котором мы поняли что закупщику не нужен «ещё один маркетплейс» — нужен инструмент, который за один запрос покажет, у кого из дистров есть нужный артикул, по какой цене и когда он будет на складе. Проблема, которую мы решалиЕсли вы хоть раз закупали IT-железо в B2B — вы знаете этот ритуал. Приходит заявка: «Cisco WS-C2960S-48LPS-L, нужно 5 штук, в течение недели».

Дальше — открываются 15–30 вкладок: личный кабинет Merlion, NetLab, Treolan, Marvel, плюс десяток мелких поставщиков. У каждого свой логин, своя структура каталога, своя политика «звоните узнавайте». Час времени уходит просто на то, чтобы собрать табличку «кто, по чём, когда».

Технические детали

Мы посмотрели на это и подумали: а что если один поиск по всем дистрибьюторам сразу, с реальными ценами и сроками, без регистраций и просмотра флэш-баннеров? Так появился Поиск IT (PoiskIT. Под капотом — 30+ источников, ~114 тысяч SKU в наличии.

В этой статье — как мы это собираем, нормализуем и группируем. Архитектура источниковИсточники бьются на три категории:1. Прямые API дистрибьюторов (4 канала, основная масса).

Merlion — самый большой каталог, retail + SMB-сегмент, 57k+ SKUNetLab — смешанный IT/retail, 13k SKUMarvel — retail + проектные позиции, 4k+ SKU «в наличии» из 6. 7k всего, плюс ~692 млн ₽ складских остатковTreolan — enterprise-сегмент (закрыт для внешних, но мы с ним работаем)API у всех разные. Marvel отдаёт XML-фид с категориями в формате WITH RECURSIVE-дерева (родители + дети + leaf), NetLab — JSON с плоским списком и тегом категории, Merlion — REST с пагинацией.

Отраслевые последствия

Внутри одной нашей таблицы distributor_categories мы храним их единообразно: distributor, dist_cat_id, parent_dist_cat_id, level, is_leaf, vendors (jsonb), sku_count, sku_in_stock, stock_value_rub. Раз в 6 часов — синк всего. Раз в сутки — пересборка дерева категорий и пересчёт остатков.

Обновлённое время хранится в synced_at и показывается публично в UI («Обновлено 6 ч назад»). Десятки B2B-поставщиков с прайсами по email. Это та категория, где «API» — это менеджер, который раз в неделю присылает Excel/CSV в почту.

Мы их парсим автоматически, нормализуем колонки (артикул / наименование / цена / сроки / наличие), складываем в общий индекс. Парсинг каждой почты — отдельный кейс, и про граффли с кодировками cp1251 в Excel-фидах можно отдельную статью писать. Для популярных позиций мы дополнительно подтягиваем розничные источники как контрольную точку — чтобы видеть, насколько B2B-прайс адекватен текущему рынку.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.