Конференция завершена. Ждем вас на Highload++ в следующий раз!
Москва, СКОЛКОВО
8 и 9 ноября 2018

Apache Kafka как основа для велосипедостроенияБазы данных и системы хранения

Доклад принят в программу конференции
Николай Сивко
okmeter.io

Сооснователь okmeter.io.

Тезисы

Рано или поздно в нагруженном проекте возникает потребность в какой-то специализированной базе данных, кэше или ином хранилище. Причина такой потребности, как правило, погоня за производительностью, низким временем отклика или эффективностью хранения данных.
В своем докладе я расскажу о нашем опыте разработки и эксплуатации специализированной timeseries БД, в основе которой лежит Apache Kafka.

Доклад не столько про нашу базу данных, сколько про то, как можно для данной задачи НЕ реализовывать часть сложнейшей логики, а взять это от Apache Kafka:
* как НЕ делать репликацию своими руками;
* как легко получить шардинг из коробки;
* как обеспечивать/контролировать целостность данных.

Также я поделюсь нашим опытом эксплуатации достаточно нагруженной кафки:
* ~20k produce ops/second;
* ~100k fetch ops/second;
* 1 major upgrade кафки в online;
* 3 переезда между серверами online;
* 2 факапа:)

Отказоустойчивость
,
Распределенные системы
,
Архитектуры / другое

Другие доклады секции Базы данных и системы хранения

Rambler's Top100