Профессиональная конференция разработчиков высоконагруженных систем

Стенд метрик: как построить архитектуру для расчета тысячи метрик и попасть в SLA

Архитектуры и масштабируемость

Архитектура данных, потоки данных, версионирование
Архитектуры / другое
A/B-тестирование
Hadoop

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Многие даже крупные компании срезают углы на расчёте метрик А/В-тестирования и упрощают расчёты, теряя в чувствительности. На опыте Озон можно увидеть, что даже для сотен метрик в эксперименте можно проводить расчёты точно.

Целевая аудитория

Технические специалисты, архитекторы, математики-аналитики (DataScience) и все, кому интересно, как обеспечить расчет тысячи метрик на примере ее реализации в большой компании.

Тезисы

Важной особенностью A/B-тестов является то, что они находятся на пересечении нескольких областей:
* бизнеса (проверка гипотез, базовый инструмент аналитика),
* математической (статистическая значимость)
* технической (обработки терабайтов данных и попадание в SLA).

В своем докладе я расскажу про техническую реализацию стенда метрик, который обеспечивает расчет порядка тысячи метрик для всех экспериментов в компании Озон.

А именно:
* как стенд метрик для команды поиска превратился в центральный инструмент расчета метрик всей компании;
* как попасть в SLA: про три итерации в эволюции архитектуры стенда метрик;
* про DataQuality;
* особенности баг-фикса и инцидентов при работе с большими данными;
* про особенности взаимодействия с математиками-аналитиками, которые обеспечивают инновационные расчеты.

И, конечно, о продуктовом подходе в стенде метрик и процессах, без которых результаты расчета не играют никакой роли.

Руководитель отдела разработки платформы A/B-тестов. Опыт в программировании 10+ лет, опыт в менеджменте 5+.

Ozon

Ozon — ведущий e-com России. В их IT-команде уже 5 000 специалистов, которые создают продукты для миллионов людей по всей стране и за рубежом. Ozon Tech разрабатывает собственные решения, контрибьютит в Open Source и использует современный стек: Go, C#, Kotlin, Swift TypeScript, Vue.js, Kubernetes и Kafka. Продолжают расти, чтобы повышать доступность сервисов и быть ещё ближе к пользователям.

Видео

Другие доклады секции

Архитектуры и масштабируемость