Новые агрегации перцентилей и медианного абсолютного отклонения в Manticore Search

Значимый прорыв формирует отрасль ИИ: ManticoreSearch 4 минуты назад Объяснить с Новые агрегации перцентилей и медианного абсолютного отклонения в Manticore Search 3 мин 0 SQL * Базы данных * Статистика в IT Поисковые технологии * Перевод Автор оригинала: Nick Sergeev Новые агрегации перцентилей и медианного абсолютного отклонения в Manticore Search Когда средние значения скрывают реальную картину, нужны более информативные метрики распределения. Одно лишь среднее может выглядеть «здоровым», но при этом маскировать замедления в длинном хвосте, перекошенные распределения значений или небольшую группу экстремальных выбросов, которые сильно влияют на пользовательский опыт и операционные риски. Теперь Manticore Search поддерживает агрегации перцентилей, перцентильных рангов и MAD (медианного абсолютного отклонения), так что вы можете анализировать разброс, хвосты и выбросы прямо в поисковых запросах.

Они особенно полезны для мониторинга задержек, анализа цен, поведения пользователей и любых задач, где «среднего» недостаточно. percentiles(field) Возвращает оценочные значения перцентилей (например, p50, p95, p99)percentile_ranks(field, {values='... ',compression=N}) Возвращает оценочную долю документов со значениями, меньшими или равными каждому заданному значениюmedian_absolute_deviation(field) Возвращает оценочное значение MAD — устойчивую (робастную) меру разброса вокруг медианыЭти функции по своей природе приближённые, что удерживает потребление памяти в заданных пределах и делает производительность предсказуемой, а необязательный параметр compression управляет компромиссом между точностью и памятью: меньшие значения работают быстрее и легче по памяти, но могут давать большую погрешность; значение по умолчанию — 200.

Технические детали

ИспользованиеManticore Search поддерживает два варианта синтаксиса для этих агрегаций: SQL и JSON API. Пример на SQLSELECT percentiles(latency) AS p_default, percentiles(latency, {values='5,50,95',compression=200}) AS p_custom, percentile_ranks(latency, {values='10,150,1500',compression=200}) AS r_custom, median_absolute_deviation(latency, {compression=200}) AS mad FROM agg_td\G *************************** 1. row *************************** p_default: {"1":10,"5":10,"25":20,"50":30,"75":40,"95":50,"99":50} p_custom: {"5":10,"50":30,"95":50} r_custom: {"10":20,"150":100,"1500":100} mad: {"value":10,"value_as_string":"10"} Как это читатьp_custom даёт прямые пороги перцентилей (например, задержку p95).

r_custom показывает долю документов ниже заданных порогов. mad показывает, насколько плотно значения сгруппированы вокруг медианы.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.