Охота за аномалиями на графиках Базы данных и системы хранения

Доклад принят в программу конференции
Александр Барановский
Badoo

Работает в Badoo уже более трех лет. Сейчас руководит группой разработки данных. Решают проблемы доставки больших объемов данных до долгосрочных хранилищ, а также строят разные аналитические инструменты для удобства работы со статистической информацией.

Тезисы

Мы разрабатываем Badoo и Bumble — дейтинг-приложения для миллионов пользователей по всему миру. Для анализа такой нагрузки мы создали инструмент поиска аномалий на графиках.

Основная цель Anomaly Detection — зафиксировать аномалии в поведении метрик и сообщить об этом ответственным за них сотрудникам.

В этом докладе я буду делать упор на технологии, которые мы использовали: Clickhouse, алгоритмы предсказаний и процесс портирования этих алгоритмов на SQL. Такой стек позволяет нам процессить миллионы графиков в сжатые сроки.

Я расскажу:
* что такое аномалии, основные термины;
* как мы выбирали стек технологий;
* как работают алгоритмы предсказаний;
* о выборе доверительного интервала;
* о выборе лучшей модели;
* о последующем анализе аномалий.

Вы увидите, что портирование математических формул в клике — не так уж и сложно.

Другие доклады секции Базы данных и системы хранения