Конференция завершена. Ждем вас на HighLoad++ в следующий раз!

Угнать за 5 миллисекунд: как мы делали транспорт для торговых ядер Московской Биржи Архитектуры, масштабируемость

Доклад принят в программу конференции
Николай Карлов
Mail.Ru Group

Руководитель отдела архитектуры / системы хранения данных в Mail.Ru.
Эксперт в архитектуре высоконагруженных систем.

Олег Уткин
Mail.Ru Group

Разработчик высоконагруженных систем хранения данных.

Тезисы

Рассмотрим одну из базовых задач, которую решает любая мировая биржа — быструю доставку данных о заявках до клиентов. На первый взгляд, задача не выглядит сложной, но есть отягчающие обстоятельства:
- поток данных может достигать нескольких сотен тысяч запросов в секунду;
- потребителей может быть сотни, а то и тысячи;
- время между генерацией ордера и попаданием его конечному потребителю должно быть не более 5 мс в 99% случаев.

В нашем докладе мы расскажем:
- о выборе инструмента (или почему стандартные очереди не подходят для этой задачи);
- об архитектуре распределенного хранилища горячих данных
- о структурах хранения данных;
- каким образом добавление троттлинга уменьшает задержку;
- о проблемах, возникающих при горизонтальном масштабировании хранилища данных, и их решении;
- о примененных оптимизациях, в разы увеличивших производительность.

Другие доклады секции Архитектуры, масштабируемость