Highload++ 2017 завершён!

Профессиональная конференция разработчиков высоконагруженных систем

СКОЛКОВО, Москва 7 и 8 ноября

11-я ежегодная конференция для разработчиков highload-систем, которая соберет   2 700 участников из разных регионов России и мира. Мероприятие направлено на обмен знаниями о технологиях, позволяющих одновременно обслуживать многие тысячи и миллионы пользователей.

Программа охватывает такие аспекты веб-разработок, как архитектуры крупных проектов, базы данных и системы хранения, системное администрирование, нагрузочное тестирование, эксплуатация крупных проектов и другие направления, связанные с высоконагруженными системами.

  • Главная
  • Базы данных и системы хранения

Дешевле, надёжнее, проще. Хранение петабайтов видео и фото в ОК
Базы данных и системы хранения

Доклад принят в Программу конференции
Одноклассники

Работает ведущим разработчиком в Одноклассниках с 2009 года в команде платформы. Всё это время занимается архитектурой и разработкой высоконагруженных систем. Запускал множество разных сервисов и хранилищ данных, таких как АПИ, видеоплатформа, хранилища для блобов (фото, видео...), сообщений и много других.

Тезисы

Технический прогресс позволил нам снимать Full HD или даже 4К-видео на телефон, загружать их и делиться с друзьями в Одноклассниках или же вести прямые трансляции на весь мир. Для нас это означает необходимость хранить десятки петабайт данных и обеспечивать к ним доступ со скоростью сотни Гб/с, а это в свою очередь требует инфраструктуры, состоящей из многих тысяч дисков и сотен серверов.

Ранее для обеспечения требуемого уровня надежности хранения данных и и отказоустойчивости мы были вынуждены хранить 3 реплики данных - по 1 в каждом ДЦ. Взрывной рост объёмов загружаемого видео и полученный опыт эксплуатации заставил нас переосмыслить подход к хранению таких данных, как фотографии и видео. Было решено разработать новую систему хранения данных с целью хранить данные дешевле и надёжнее. Немаловажно было упростить эксплуатацию системы, так как даже замена дисков и восстановление данных при таких масштабах требует значительных ресурсов.

Мой доклад о том, как мы уменьшили избыточность хранения данных с 3 до 2.1 и при этом добились более высокой надёжности и доступности системы в целом. Поделюсь опытом эксплуатации системы с тысячами дисков. Расскажу о том, как мы сделали процесс замены дисков простым и безопасным, о неожиданных проблемах и нестандартных решениях.

Java
,
Отказоустойчивость
,
Распределенные системы
,
Devops / другое

Другие доклады секции
Базы данных и системы хранения

Rambler's Top100