Kafka в Авито – расходимся (на 3 ДЦ) Архитектуры, масштабируемость

Доклад принят в программу конференции
Анатолий Солдатов
Авито

DBA/Engineer/Ops.

a.k.soldatov@gmail.com
Тезисы

Kafka в Авито постоянно развивается, и вот настало время начать жить на 3 ДЦ. Мы провели исследование различных топологий размещения кластеров, разных способов межкластерной репликации и реализовали итоговое решение.

В докладе я расскажу, какие вызовы может встретить компания при использовании Kafka в нескольких ДЦ и как эти вызовы решили мы в Авито. Также пройдемся по возможностям Kafka (версия 2.4+) и технологиям из Kafka-экосистемы, помогающим организовать мультиДЦ-кластеры.

Другие доклады секции Архитектуры, масштабируемость