Рейтинг@Mail.ru

Разгоняем обработку событий до 1.6М/сек. Опыт BadooАрхитектуры, масштабируемость

Доклад принят в программу конференции
Александр Крашенинников
Badoo

Занимается BI - инфраструктурой, масштабированием под нагрузки. Обожает всё распределённое - Hadoop, Spark, ClickHouse.

Тезисы

Три года назад на Highload++ я рассказывал, как мы построили масштабируемую систему near-realtime обработки событий. С тех пор она эволюционировала, в процессе росли объёмы, и нам приходилось решать задачи, сопутствующие любому проекту с нагрузкой — масштабирование, отказоустойчивость и прочие. В определённый момент мы достигли точки, когда потребовались радикальные меры, а именно — смена технологического стека.

В докладе я расскажу, как мы заменили связку Spark + Hadoop на ClickHouse, в три раза сэкономили железо и увеличили нагрузку в пять раз (с 300 000 событий в секунду до 1 600 000 в пике).

Базы данных / другое
,
Отказоустойчивость
,
Оптимизация производительности
,
Распределенные системы

Другие доклады секции Архитектуры, масштабируемость

Rambler's Top100