Использование Hadoop в Badoo
Архитектуры

Доклад принят в Программу конференции
Badoo

PHP-разработчик, работаю в отделе BI. Один из основных разработчиков системы сбора статистики StatsCollector (системы для сбора событий с большого количества серверов и последующей агрегации полученных данных). Также принимал активное участие в вводе в эксплуатацию Hadoop-кластера и расширении его применения в компании. В веб-разработке более 10 лет.

Использование Hadoop в Badoo, Валерий Старынин (Badoo) from Ontico

Тезисы

Тезисы
Мы используем Hadoop для сохранения всего click stream с сайта и серверов мобильных приложений - это порядка 1 миллиарда событий в день. А еще мы собираем и анализируем действия пользователей с северной и клиентской стороны - это еще порядка миллиарда событий в день.
Как все это организовать, запустить и использовать, что можно и что нельзя сделать с помощью Hadoop - об этом будет мой доклад.

Описание

В Badoo мы собираем и анализируем большое количество статистической информации. Настолько большое, что сейчас мы просто обязаны думать о масштабировании и параллелизации систем сбора, хранения и отчетов (reporting). Именно для хранения более полной информации, облегчения масштабирования и ускорения получения отчетов мы стали применять Hadoop. Каких результатов мы смогли добиться, какие задачи еще стоят перед нами и какие ограничения мы выявили для себя - обо всем этом я и расскажу в докладе.

Другие доклады секции
Архитектуры

LinkedIn
Hailo (hailoapp.com)
LiteSpeed Technologies
Pivotal Inc.
ПЕТЕР-СЕРВИС
Positive Technologies