26 августа / Online: по всему миру
Разговор о Kafka
Онлайн-митап для тех, кто готовится к использованию и внедрению Kafka или уже применяет его в своей работе, но хочет лучше понимать внутренние процессы.
О чем поговорим на митапе ?
Будем говорить о модели данных Kafka, разберем подробно KafkaConsumer и KafkaProducer, на примере сделаем отладку клиентов с помощью логов, рассмотрим процесс внедрения Kafka Connect: с чего начать, какие метрики использовать и т.д.
С докладами выступят Александр Сибиряков (Scrapinghub) и Сергей Бевзенко (Delivery Club).
С докладами выступят Александр Сибиряков (Scrapinghub) и Сергей Бевзенко (Delivery Club).
РАСПИСАНИЕ
26 АВГУСТА / 14:30 - 16:30 (мск)
Александр Сибиряков (Scrapinghub)
Архитектор систем обработки больших данных, высоконагруженных систем. Автор фреймворка Frontera, для масштабного обхода веба. Работал 5 лет в Яндексе, в отделе качества поиска. Занимался разработкой социального поиска, вопрос-ответного и аннотациями. Провёл 2 года в антивирусе Avast!, построил автоматическое разрешение ложных срабатываний. На текущий момент работает в Scrapinghub над Autoextract. Интересуется проблемами обработки данных в больших объемах, хранилищами и распределёнными системами.
Внутреннее устройство Kafka клиента, лучшие практики
- Модель данных Kafka: топики, партиции (разделы), смещения и consumer groups;
- Типы клиентов: java native, binding для librdkafka, alternative. Их особенности;
- Сетевой стек Kafka клиента, получение и обновление метаданных о топиках;
- Разбор KafkaConsumer: общее описание работы, подписка на топики и жесткое назначение;
- Проблема частых перебалансировок при прямом назначении;
- Основные параметры влияющие на производительность;
- Разбор KafkaProducer: описание его устройства, внутренних компонент;
- Основные параметры влияющие на производительность;
- KafkaAdminClient API: краткий обзор;
- Отладка клиентов с помощью логов, на примере.
- Модель данных Kafka: топики, партиции (разделы), смещения и consumer groups;
- Типы клиентов: java native, binding для librdkafka, alternative. Их особенности;
- Сетевой стек Kafka клиента, получение и обновление метаданных о топиках;
- Разбор KafkaConsumer: общее описание работы, подписка на топики и жесткое назначение;
- Проблема частых перебалансировок при прямом назначении;
- Основные параметры влияющие на производительность;
- Разбор KafkaProducer: описание его устройства, внутренних компонент;
- Основные параметры влияющие на производительность;
- KafkaAdminClient API: краткий обзор;
- Отладка клиентов с помощью логов, на примере.
08:30 – 09:00
Сергей Бевзенко (Delivery Club)
Ведущий разработчик Delivery Club. Более 10 лет разрабатывает системы различной сложности. Работал как в больших IT-компаниях, таких как Delivery Club и Ozon, так и в небольших студиях. Участвовал в проектах Ашана и Мишлена. Последние 2 года его основным языком программирования является Go и активно использует Kafka.
Сертифицированный Kafka-разработчик.
Сертифицированный Kafka-разработчик.
Kafka Connect. Практика применения
Мы в Delivery Club активно используем Kafka. Но как отправлять сообщения в Kafka, если у вас 10-летний легаси монолит, который является ядром продукта? Я расскажу, как в этом нам помог Kafka Connect.
- Что такое Kafka Connect? Как его настроить и как с ним работать? - Особенности логирования и мониторинга;
- Расскажу про Debizium Connector.
Доклад будет интересен DevOps'ам и системным архитекторам, разработчикам, кто уже использует Kafka. И тем, у кого огромный монолит и кто хочет начать использовать Kafka, но его останавливает сложность написания продюсеров в монолите.
Мы в Delivery Club активно используем Kafka. Но как отправлять сообщения в Kafka, если у вас 10-летний легаси монолит, который является ядром продукта? Я расскажу, как в этом нам помог Kafka Connect.
- Что такое Kafka Connect? Как его настроить и как с ним работать? - Особенности логирования и мониторинга;
- Расскажу про Debizium Connector.
Доклад будет интересен DevOps'ам и системным архитекторам, разработчикам, кто уже использует Kafka. И тем, у кого огромный монолит и кто хочет начать использовать Kafka, но его останавливает сложность написания продюсеров в монолите.
09:30 – 10:00
РАСПИСАНИЕ
26 АВГУСТА / 14:30 - 16:30 (мск)
08:30 – 09:00
08:30 – 09:00
Александр Сибиряков (Scrapinghub)
Архитектор систем обработки больших данных, высоконагруженных систем. Автор фреймворка Frontera, для масштабного обхода веба. Работал 5 лет в Яндексе, в отделе качества поиска. Занимался разработкой социального поиска, вопрос-ответного и аннотациями. Провёл 2 года в антивирусе Avast!, построил автоматическое разрешение ложных срабатываний. На текущий момент работает в Scrapinghub над Autoextract. Интересуется проблемами обработки данных в больших объемах, хранилищами и распределёнными системами.
Внутреннее устройство Kafka клиента, лучшие практики
- Модель данных Kafka: топики, партиции (разделы), смещения и consumer groups;
- Типы клиентов: java native, binding для librdkafka, alternative. Их особенности;
- Сетевой стек Kafka клиента, получение и обновление метаданных о топиках;
- Разбор KafkaConsumer: общее описание работы, подписка на топики и жесткое назначение;
- Проблема частых перебалансировок при прямом назначении;
- Основные параметры влияющие на производительность;
- Разбор KafkaProducer: описание его устройства, внутренних компонент;
- Основные параметры влияющие на производительность;
- KafkaAdminClient API: краткий обзор;
- Отладка клиентов с помощью логов, на примере.
- Модель данных Kafka: топики, партиции (разделы), смещения и consumer groups;
- Типы клиентов: java native, binding для librdkafka, alternative. Их особенности;
- Сетевой стек Kafka клиента, получение и обновление метаданных о топиках;
- Разбор KafkaConsumer: общее описание работы, подписка на топики и жесткое назначение;
- Проблема частых перебалансировок при прямом назначении;
- Основные параметры влияющие на производительность;
- Разбор KafkaProducer: описание его устройства, внутренних компонент;
- Основные параметры влияющие на производительность;
- KafkaAdminClient API: краткий обзор;
- Отладка клиентов с помощью логов, на примере.
09:30 – 10:00
09:30 – 10:00
Сергей Бевзенко (Delivery Club)
Ведущий разработчик Delivery Club. Более 10 лет разрабатывает системы различной сложности. Работал как в больших IT-компаниях, таких как Delivery Club и Ozon, так и в небольших студиях. Участвовал в проектах Ашана и Мишлена. Последние 2 года его основным языком программирования является Go и активно использует Kafka.
Сертифицированный Kafka-разработчик.
Сертифицированный Kafka-разработчик.
Kafka Connect. Практика применения
Мы в Delivery Club активно используем Kafka. Но как отправлять сообщения в Kafka, если у вас 10-летний легаси монолит, который является ядром продукта? Я расскажу, как в этом нам помог Kafka Connect.
- Что такое Kafka Connect? Как его настроить и как с ним работать? - Особенности логирования и мониторинга;
- Расскажу про Debizium Connector.
Доклад будет интересен DevOps'ам и системным архитекторам, разработчикам, кто уже использует Kafka. И тем, у кого огромный монолит и кто хочет начать использовать Kafka, но его останавливает сложность написания продюсеров в монолите.
Мы в Delivery Club активно используем Kafka. Но как отправлять сообщения в Kafka, если у вас 10-летний легаси монолит, который является ядром продукта? Я расскажу, как в этом нам помог Kafka Connect.
- Что такое Kafka Connect? Как его настроить и как с ним работать? - Особенности логирования и мониторинга;
- Расскажу про Debizium Connector.
Доклад будет интересен DevOps'ам и системным архитекторам, разработчикам, кто уже использует Kafka. И тем, у кого огромный монолит и кто хочет начать использовать Kafka, но его останавливает сложность написания продюсеров в монолите.
УЧАСТИЕ БЕСПЛАТНОЕ
требуется предварительная регистрация
| Об организаторе Центр Финансовых Технологий — ведущий российский финтех-провайдер, входит в ТОП-3 разработчиков программного обеспечения, действующих в РФ. Обеспечивает доступ участников финансовой индустрии к технологиям мирового уровня для ведения бизнеса и предоставления платежных услуг клиентам. Участвует в процессах цифровизации финансовой индустрии и модернизации транспортной и социальной инфраструктуры. Создает надежные core systems, cloud infrastructure& applications, транзакционные сервисы класса highload. Развивает собственную мобильную разработку для широкой линейки b2p продуктов и сервисов. Наращивает экспертизу в Data Sciencе, ML, AI. 12 офисов в РФ и 3 в СНГ. 50% финансовых организаций из ТОП-50 российских банков используют автоматизированные решения ЦФТ. Более 7 млн скачиваний мобильного приложения «Денежные переводы» от «Золотой Короны». Сервисы онлайн-банкинга Faktura.ru используют более 130 банков в РФ. |
Митап проводится при поддержке Онтико — организатора профессиональных событий для IT-сообщества.
Узнать больше о мероприятиях:
Узнать больше о мероприятиях:
Связаться с нами