Конференция завершена. Ждем вас на Saint HighLoad++ в следующий раз!

Как построить высоконагруженное и отказоустойчивое S3-хранилище DevOps и эксплуатация

Доклад принят в программу конференции
Дмитрий Анисов
GS Labs

Более 5 лет является backend-разработчиком, на данный момент занимает должность ведущего разработчика в GS Labs. Прошёл путь от фриланса до крупных компаний, в одной из которых руководил группой из 5 человек и курировал одно из подразделений разработки. Основной язык — Python и весь его необходимый стек технологий, знает, как его правильно готовить для больших корпоративных систем с высокой нагрузкой. Так же активно пишет на Go и не много на JS. Любит микросервисную архитектуру и проектировать крупные highload-системы. На данный момент сильно погружён в Devops и инфраструктуру, на текущем месте это одно из направлений работы Дмитрия.

https://t.me/anisovd
dimaanisov24@gmail.com
https://vk.com/anisovd
Тезисы

Количество данных в современном мире растёт с очень большой скоростью, и часто уже не хватает обычных raid хранилищ для хранения пользовательских данных. Поэтому многие задумываются о построение своих больших отказоустойчивых систем для хранения пользовательских данных и по многим причинам отказываются от "облаков". Сразу возникает вопрос: как же построить своё отказоустойчивое и надёжное S3-хранилище.
Для построения собственного S3-облака мы будем использовать Ceph.

Основные тезисы:
* Какие системы для построения s3-кластера существуют.
* Кратко о том как работает Сeph.
* Рекомендации по характеристикам железа, сети и тд, необходимые для построения высоконагруженного кластера.
* С чего начать построение S3-кластера. Какие способы развёртывания Ceph существуют и какой способ лучше выбрать для интеграции с ci/cd и для дальнейшей поддержки.(Rook, ceph-ansible, Cephadm и т.д.).
* Пример развёртывания кластера.
* Тюнинг параметров ядра ОС.
* Настройка RADOS Gateway. Что стоит учесть при работе с объектным хранилищем. На какие параметры ceph стоит обратить внимание.
* Репликация данных. Master-Master. Master-Slave.
* С какими проблемами мы столкнулись в процессе эксплуатации.

Другие доклады секции DevOps и эксплуатация