Рейтинг@Mail.ru

Apache Kafka как основа для велосипедостроенияБазы данных и системы хранения

Доклад принят в программу конференции
Николай Сивко
okmeter.io

Сооснователь okmeter.io.

Тезисы

Рано или поздно в нагруженном проекте возникает потребность в какой-то специализированной базе данных, кэше или ином хранилище. Причина такой потребности, как правило, погоня за производительностью, низким временем отклика или эффективностью хранения данных.
В своем докладе я расскажу о нашем опыте разработки и эксплуатации специализированной timeseries БД, в основе которой лежит apache kafka.

Доклад не столько про нашу базу данных, сколько про то, как можно для данной задачи НЕ реализовывать часть сложнейшей логики, а взять это от apache kafka:
* как НЕ делать репликацию своими руками
* как легко получить шардинг из коробки
* как обеспечивать/контролировать целостность данных

Также я поделюсь нашим опытом эксплуатации достаточно нагруженной кафки:
* ~20k produce ops/second;
* ~100k fetch ops/second;
* 1 major upgrade кафки в online;
* 3 переезда между серверами online;
* 2 факапа:)

Отказоустойчивость
,
Распределенные системы
,
Архитектуры / другое

Другие доклады секции Базы данных и системы хранения

Rambler's Top100