Конференция завершена. Ждем вас на HighLoad++ в следующий раз!
Park Inn Пулковская, пл. Победы, 1,
Санкт-Петербург, 8 и 9 апреля 2019
* Мы откроем публичный доступ к видеозаписям через ~6 месяцев после конференции

Как мы обрабатываем миллиард событий в сутки без ClickHouse и схемы данныхБазы данных и системы хранения

Доклад принят в программу конференции
Александр Харитонов
Pixonic

Lead Java Developer в Pixonic.

Разработкой высоконагруженных систем занимается с детства. Запустил несколько стартапов в разных областях — от хостинга многопользовательских чатов до агрегаторов соцсетей. Сейчас руководит отделом разработки внутренней аналитической системы AppMetr для быстрой работы с BigData.

a.kharitonov@pixonic.com
Тезисы

С 2011 года игровая студия Pixonic разрабатывает свою аналитическую систему AppMetr. При ее создании использовались Apache Kafka, Apache Cassandra и свои велосипеды на Java.

Мы расскажем о текущей архитектуре и эволюции системы при взрывном росте нагрузки после релиза мобильного хита War Robots. А также о том, почему написали собственное решение и до сих пор не переехали на ClickHouse.

Поделимся, как собираем события с мобильных устройств и серверов, фильтруем дубликаты, обрабатываем их, сжимаем, храним десятки терабайт данных вечно и, главное — как выполняем аналитические запросы по большому объему данных за секунды, выжимая максимум из железа наших серверов.

Расскажем о проблемах, с которыми столкнулись на этом пути.

Раскроем низкоуровневые подробности форматов данных, оптимизации сжатия, ускорения кверинга и то, почему AppMetr используют не только аналитики, но и многие другие сотрудники компании.

Java
,
Базы данных / другое
,
Организация системы кеширования
,
Отказоустойчивость
,
Оптимизация производительности
,
Распределенные системы
,
Масштабирование с нуля
,
Проектирование информационных систем
,
Проектные артефакты, инструментарий

Другие доклады секции Базы данных и системы хранения

Rambler's Top100