Как построить высоконагруженное и отказоустойчивое S3-хранилище DevOps и эксплуатация
Количество данных в современном мире растёт с очень большой скоростью, и часто уже не хватает обычных raid хранилищ для хранения пользовательских данных. Поэтому многие задумываются о построение своих больших отказоустойчивых систем для хранения пользовательских данных и по многим причинам отказываются от "облаков". Сразу возникает вопрос: как же построить своё отказоустойчивое и надёжное S3-хранилище.
Для построения собственного S3-облака мы будем использовать Ceph.
Основные тезисы:
* Какие системы для построения s3-кластера существуют.
* Кратко о том как работает Сeph.
* Рекомендации по характеристикам железа, сети и тд, необходимые для построения высоконагруженного кластера.
* С чего начать построение S3-кластера. Какие способы развёртывания Ceph существуют и какой способ лучше выбрать для интеграции с ci/cd и для дальнейшей поддержки.(Rook, ceph-ansible, Cephadm и т.д.).
* Пример развёртывания кластера.
* Тюнинг параметров ядра ОС.
* Настройка RADOS Gateway. Что стоит учесть при работе с объектным хранилищем. На какие параметры ceph стоит обратить внимание.
* Репликация данных. Master-Master. Master-Slave.
* С какими проблемами мы столкнулись в процессе эксплуатации.
Более 7 лет является backend-разработчиком, на данный момент занимает должность ведущего разработчика в GS Labs. Прошёл путь от фриланса до крупных компаний, в одной из которых руководил группой разработчиков и курировал одно из подразделений разработки. Основные языки — Python/Go и весь их необходимый стек технологий. Знает, как их правильно готовить для больших корпоративных систем с высокой нагрузкой. Любит микросервисную архитектуру и проектировать крупные highload-системы. На данный момент сильно погружён в DevOps и инфраструктуру, на текущем месте это одно из направлений работы Дмитрия.
dimaanisov24@gmail.com
https://vk.com/anisovd