Как построить высоконагруженное и отказоустойчивое S3 хранилище. DevOps и эксплуатация

Программный комитет ещё не принял решения по этому докладу
Анисов Дмитрий
GS Labs

Более 4 лет являюсь Backend разработчиком, на данный момент занимаю должность ведущего разработчика в GS Labs. Прошёл путь от фриланса до крупных компаний, в одной из которых руководил группой из 5 человек и курировал одно из подразделений разработки. Основной язык Python и весь его необходимый стэк технологий, знаю как его правильно готовить для больших корпоративных систем с высокой нагрузкой. Пишу так же на Go/Js. Люблю микросервисную архитектуру и проектировать крупные highload системы. На данный момент сильно погружён в Devops и инфраструктуру, на текущем месте это одно из моих направлений работы.

https://t.me/darkhttp
dimaanisov24@gmail.com
Тезисы

Количество данных в современном мире растёт с очень большой скоростью и часто уже не хватает обычных raid хранилищ для хранения пользовательских данных. Поэтому многие задумываются о построение своих больших отказоустойчивых систем для хранения пользовательских данных и по многим причинам отказываются от "облаков". Сразу возникает вопрос, как же построить своё отказоустойчивое и надёжное s3 хранилище.
Для построения собственного s3 облака мы будем использовать Ceph.
Основные тезисы:
* С чего начать построение S3 кластера. Какие способы развёртывания Ceph существуют и какой лучше выбрать для интеграции с ci/cd и для дальнейшей поддержки.(Rook, ceph-ansible, Cephadm и тд.)
* Как работает Сeph под капотом.
* Методы оптимизации Ceph и характеристики железа. Тюниг ОС. Стоит ли использовать raid внутри ceph.
* Настройка RADOS Gateway. Что стоить учесть при работе с объектным хранилищем.
* Поведение кластера в различных ситуациях.
* Репликация данных. Master-Master. Master-Slave. На какие моменты стоит обратить внимание.
* С какими проблемными мы столкнулись в процессе эксплуатации.

Другие доклады секции DevOps и эксплуатация