SWIM - протокол построения кластераБазы данных и системы хранения

Доклад принят в программу конференции
Владислав Шпилевой
Tarantool

Работает в Tarantool над разработкой серверной части. Занимался разработкой дискового движка и поддержкой движка в оперативной памяти. Разработал модуль горизонтального масштабирования, сделал первую версию слияния SQLite и Tarantool, разработал новый алгоритм обновления индексов на LSM-деревьях в дисковом движке. Разработал алгоритм смены мастера в репликационном кластере, алгоритм проксирования запросов внутри реплика-сета. Реализовал протокол Two-Phase Commit в Tarantool.

v.shpilevoy@tarantool.org
Тезисы

SWIM - это протокол обнаружения и мониторинга узлов кластера, распространения событий и данных между ними. Протокол особенен своей легковесностью, децентрализованностью и независимостью скорости работы от размера кластера.

Протокол решает сразу несколько задач. Первая — сборка и обновление топологии кластера без задания явной конфигурации. Задача довольно нетривиальная, потому что:
- новые, только что запущенные узлы ничего не знают про других, и надо донести до них конфигурацию, где будут указаны все остальные члены кластера;
- уже работающие узлы могут выходить из строя, и это нужно обнаруживать, чтобы принять меры вроде смены мастера или исключения упавшего узла из состава кластера.

Согласно протоколу, участники кластера делают широковещательные и точечные ping-запросы. Широковещательные обнаруживают новые узлы, точечные проверяют доступность уже известных.

Вторая задача — распространение событий в кластере. Событие — это отказ узла, смена его UUID или IP-адреса, появление нового узла. Бывает, что пользователь вводит свои собственные типы событий. Когда о событии узнают один или несколько узлов, им надо его распространить, чтобы у нем узнали все. Протокол SWIM описывает алгоритм обнаружения и распространения событий, которому требуется:
- константное время, чтобы хотя бы один узел узнал о событии;
- время, логарифмическое от размера кластера, чтобы о событии узнали все.

В докладе рассказывается о том, как устроен протокол SWIM, как и с какими расширениями он реализован в Тарантуле, как им пользоваться.

API
,
Бэкенд / другое
,
Tarantool
,
Архитектурные паттерны
,
Отказоустойчивость
,
Распределенные системы
,
Разработка библиотек, включая open source библиотеки
,
Lua

Другие доклады секции Базы данных и системы хранения

Rambler's Top100