Главная
→
2016
→
BigData и машинное обучение

Сегментируем 600 млн. пользователей в режиме реального времени каждый день. HBase/Kafka на службе DMP
BigData и машинное обучение

Доклад принят в Программу конференции

Data-Centric Alliance

Лидер разработки Facetz DMP. Занимаюсь рекламными технологиями с 2013 года.

Тезисы

Сегментируем 600 млн. пользователей в режиме реального времени каждый день. HBase/Kafka на службе DMP / Артем Маринов (Data-Centric Alliance) from Ontico

Каждый день пользователи совершают миллионы действий в Интернете. Нам в FACETz DMP необходимо структурировать эти данные и проводить сегментацию для выявления предпочтений пользователей.

Хочу рассказать, как мы:
- Сегментируем в реальном времени 600 миллионов пользователей ежедневно;
- Поставляем данные партнерам, DSP, Google с минимальной задержкой;
- Храним статистику по количеству уникальных пользователей в сегменте при потоковой обработке;
- Отслеживаем влияние изменения параметров сегментации;
- Ведем подсчет аффинитивности домена к сегменту для аналитики аудиторий.

Java

Scala

Бэкенд / другое

Базы данных / другое

Распределенные системы

Архитектура данных, потоки данных, версионирование