Highload++ 2017 завершён!

Профессиональная конференция разработчиков высоконагруженных систем

СКОЛКОВО, Москва 7 и 8 ноября

11-я ежегодная конференция для разработчиков highload-систем, которая соберет   2 700 участников из разных регионов России и мира. Мероприятие направлено на обмен знаниями о технологиях, позволяющих одновременно обслуживать многие тысячи и миллионы пользователей.

Программа охватывает такие аспекты веб-разработок, как архитектуры крупных проектов, базы данных и системы хранения, системное администрирование, нагрузочное тестирование, эксплуатация крупных проектов и другие направления, связанные с высоконагруженными системами.

  • Главная
  • Базы данных, системы хранения

Как смигрировать 50Пб в 32 без даунтайма?
Базы данных, системы хранения

Доклад принят в Программу конференции
Mail.ru

Занимаюсь backend разработкой более 10 лет, в прошлом - системный администратор-сетевик.

Mail.ru

CTO Mail and Portal services at Mail.Ru.

Тезисы

В этом докладе я расскажу, как мы в Почте@mail.ru разрабатывали и внедряли новую систему хранения аттачей из писем.

Основные вопросы, которые будут изложены в докладе:
- Архитектура хранилища с дедупликацией.
- За счет чего мы сэкономили 18Пб, и как защититься от возможных ошибок при этом.
- Как смигрировать 50Пб данных в новую схему in-place и без даунтайма.

Доклад состоит из трех частей.
1. В первой я расскажу, как построить систему, которая принимает 80 000 файлов в минуту, на лету вычисляет дубли и сохраняет их. Как для этого организована система хранения метаинформации, чтобы на нее хватило оперативной памяти.
2. Во второй расскажу, какие нужны инструменты для обеспечения своевременного нахождения проблем в холодных данных. Жесткие диски, к сожалению, не вечны, а данные пользователя терять нельзя.
3. И, наконец, в третьей - как в эту систему перелить уже существующие 50 Пб данных, не используя нового железа.

Миграции данных

Другие доклады секции
Базы данных, системы хранения

Rambler's Top100