Конференция завершена. Ждем вас на Highload++ в следующий раз!
Москва, СКОЛКОВО
8 и 9 ноября 2018

Переезжаем в облака: опыт миграции 10 TB PostgreSQL-кластера на AWSБазы данных и системы хранения

Доклад принят в программу конференции
Александр Кукушкин
Zalando SE

В Zalando Александр занимается поддержкой нескольких сотен кластеров PostgreSQL размерами от десятков мегабайт до 10 ТБ и работающих как в дата-центре, так и в AWS и Kubernetes. Он является одним из ключевых разработчиков Patroni.

Тезисы

Ни для кого не секрет, что мы в Zalando очень любим PostgreSQL. Общее количество кластеров на данный момент превысило 700. Объёмы данных и нагрузка самые разные: от нескольких десятков мегабайт до 10 терабайт. Что может быть интереснее, чем поддержка высоконагруженной базы размером в 10 терабайт и смешанным ворклоадом (high-OLTP/OLAP)? Конечно же, переезд такого кластера в облака.

Ниже представлен ряд наиболее интересных вопросов и проблем, которые необходимо было решить:
* Какой тип EC2 Instance выбрать? i3 с эфемерными NVMe-дисками или m4/r4 + EBS?
* Может быть, стоит попробовать Amazon Aurora?
* Сервера в дата-центре находятся в приватной сети и не доступны из AWS. Как построить реплику и поддерживать её в актуальном состоянии, если по ряду причин нежелательно использовать VPN?
* База данных используется десятком легаси-приложений и несколькими сотнями сотрудников компании. В идеале они не должны заметить переезда и продолжить работать через старые хост и порт.
* Как делать бэкапы? Этот вопрос особенно актуален в случае использования i3-инстансов.
* Нам нужен план отступления (переезда назад), если что-то пойдёт не так.

В этом докладе я собираюсь поделиться нашим опытом успешного переезда самой большой базы в Zalando в облака.

PostgreSQL
,
Управление конфигурацией
,
Технологии отказоустойчивости и катастрофоустойчивости, бэкапы
,
Администрирование баз данных

Другие доклады секции Базы данных и системы хранения

Rambler's Top100