Хэши в S3: как мы ускоряли прокачку трафика с 30 до 300 Мб/с с одного ядра Бэкенд, теория программирования

Доклад принят в программу конференции
Олег Кошовец
Mail.ru Cloud Solutions

Программист.

Тезисы

Когда мы создавали свое S3-хранилище Mail.ru Cloud Storage, мы не думали, что клиенты будут обладать достаточно широким каналом, чтобы пропускная способность стала проблемой. Но хайлоад оказался ближе, чем мы думали: мы столкнулись с ним сразу, как только хранилище стали использовать другие сервисы Mail.ru Group. Стало понятно, что требования к внутренней инфраструктуре сильно выше.

В докладе я расскажу про то, как мы искали узкие места при ускорении прокачки трафика и какие ошибки были допущены. Расскажу про расчет хэш-сумм (таких, как SHA и MD5) от большого потока данных, какой проблемой это может стать, когда трафик измеряется десятками гигабит — и что с этим делать.

C/C++
,
Perl
,
Бэкенд / другое
,
Асинхронное программирование, реактивное программирование
,
Оптимизация производительности
,
Профилирование
,
GO

Другие доклады секции Бэкенд, теория программирования