Построение распределенной системы сбора данных с помощью RabbitMQ
Архитектуры

Доклад принят в Программу конференции
Pivotal Inc.

Европейский разработчик, эксперт-консультант по "облачным" вычислениям. До переезда в Европу работал в Шанхае над созданием одного из крупнейших немецких сайтов знакомств. Один из авторов книги "RabbitMQ in Action" ("RabbitMQ в действии") для издательства Manning Publishing. Некоторые из его открытых проектов можно найти здесь: https://github.com/videlalvaro. Кроме программирования, увлекается музыкой, книгами, любит путешествовать с женой.

Построение распределенной системы сбора данных с помощью RabbitMQ, Alvaro Videla (Pivotal Inc.) from Ontico

Тезисы

Серверы вашей компании расположены по всему миру, и вам необходимо обрабатывать данные в едином месте. Приложения с разными технологическими стеками генерируют данные в самых разных местах - от веб-серверов до датчиков. Как бы вы стали решать эту проблему? Врубайтесь в RabbitMQ!

В ходе доклада мы покажем, как построить систему, которая может собирать данные, генерируемые в удаленных географических точках (вспоминайте AWS и кучу его регионов), и копировать их в центральный кластер, где они в дальнейшем будут обрабатываться и анализироваться.

Мы представим пример построения подобной системы с использованием RabbitMQ Federation для копирования данных из регионов AWS и реализованной в RabbitMQ поддержки множества протоколов для производства и потребления данных.

Будет показан интересный способ реализации шардированных очередей с применением RabbitMQ и Consistent Hash Exchange, которые помогут нам с масштабированием.

Если вы хотите узнать, что еще может предложить RabbitMQ, помимо простой работы с сообщениями и очередями, то этот доклад для вас.

Справка о RabbitMQ

RabbitMQ - это совместимый с многими языками и протоколами сервер сообщений с клиентами для многих языков программирования, включая Ruby, node.js, Python, PHP, Erlang и многие другие.

У брокера RabbitMQ очень активное Open Source сообщество с более чем 1000 связанных проектов на Github. Наименьшее среднемесячное число обращений в сообществе RabbitMQ превышает 700 сообщений в месяц, разработка происходит при непосредственном участии ключевых ​​разработчиков, что делает RabbitMQ брокером, который постоянно совершенствуется на основе обратной связи от пользователей.

RabbitMQ помогает масштабироваться стартапам (Instagram), обеспечивает стабильную работу медийных компаний (The New York Times) и госучреждений (Национальная служба здравоохранения Великобритании) - и это лишь несколько примеров.

Другие доклады секции
Архитектуры

Hailo (hailoapp.com)
Positive Technologies
LinkedIn
LiteSpeed Technologies
ПЕТЕР-СЕРВИС