Рейтинг@Mail.ru

Построение аналитического хранилища на 100 петабайтБазы данных и системы хранения

Доклад принят в программу конференции
Александр Мазуров
Criteo

Старший программист-разработчик в команде хранения данных в компании Criteo, где большей частью работает над платформой Hive. Окончил факультет ВМК Московского государственного университета. Более десяти лет работал исследователем в ЦЕРН в Женеве и получил степень PhD по физике в университете Феррары в Италии.

Тезисы

Компания Criteo построила один из самых больших в Европе Hadoop-кластеров, в котором Hive является ключевым инструментом обработки данных. В докладе обсуждается эволюция платформы Hive от подверженной ошибкам установки на выделенных серверах до самой лучшей в своем классе архитектуры, способной к самовосстановлению, автоматическому масштабированию для управления растущей нагрузкой.

Полученная платформа основана на системе управления кластерами Mesos, которая позволяет масштабироваться по требованию, рационально использовать ресурсы и без проблем развертывать новые версии Hive. В докладе подробно описывается архитектура данных Criteo. Слушатели узнают, как компания решила проблемы безопасности, мониторинга, планирования, тестирования и балансировки нагрузки на нескольких уровнях.

Доклад рассчитан на разработчиков, имеющих базовые знания о Hive и Mesos/Marathon.

Базы данных / другое
,
Архитектурные паттерны
,
Отказоустойчивость
,
Распределенные системы
,
Big Data и Highload в Enterprise
,
Hadoop
,
ETL

Другие доклады секции Базы данных и системы хранения

Rambler's Top100