Профессиональная конференция для разработчиков высоконагруженных систем
7 и 8 ноября 2019 Москва, Сколково

Паттерны проектирования приложений на Apache Kafka Архитектуры, масштабируемость

Доклад принят в программу конференции
Александр Сибиряков
Scrapinghub

Архитектор систем распределенной обработки больших объемов данных, высоконагруженных систем. Автор фреймворка для масштабного обхода веба Frontera. Работал 5 лет в Яндексе, в отделе качества поиска. Занимался разработкой социального поиска, вопрос-ответного и улучшением сниппетов. Затем провел 2 года в антивирусе Avast!, построил автоматическое разрешение ложных срабатываний. Интересуется проблемами обработки данных в больших объемах и информационного поиска.

sibiryakov@scrapinghub.com
Тезисы

Я расскажу о том, как проектировать надёжные пайплайны, состоящие из большого числа компонент на основе Apache Kafka. В докладе будут разобраны основные принципы проектирования, а также будут разобраны архитектурные паттерны очередей, обратной связи (back pressure), стыковка с HTTP, потери сообщений, и обработка задач с большим разбросом по времени выполнения.

Доклад будет полезен тем, кто собирается строить или уже строил и поддерживает пайплайны на Kafka. После доклада у слушателя должна возникнуть идея, как грамотно построить свой пайплайн, или хотя бы набор вопросов, которым стоит уделить внимание.

Архитектурные паттерны
,
Методы и техника разработки ПО
,
Критерии выбора технологий для проекта
Подготовительное задание

Нарисовать свой, если есть, Kafka-пайплайн и оценить его характеристики производительности.

Другие доклады секции Архитектуры, масштабируемость