Рейтинг@Mail.ru

Big-Data-процессинг пользовательских данных из соцсетей в AlibabaCloud MaxComputeBigData и машинное обучение

Доклад принят в программу конференции
Максим Алексеев
Alibaba.com (RU), AliExpress

Лид команды бэкенд-разработки и работы с большими данными в Alibaba.com (RU).

Тезисы

В докладе я покажу пример объединения разнородных данных 700 млн аккаунтов из 15 разных источников, включая внутренние данные кастомеров AliExpress и внешние данные аккаунтов соцсетей. Мы будем использовать Big-Data-движок Alibaba MaxCompute, при этом весь код может с минимальными изменениями запускаться на привычном Apache Hive.

Начнем с задачи очистки разнородных профилей. Продолжим матчингом аккаунтов - научимся понимать, когда разные аккаунты принадлежат одному физическому человеку. Рассмотрим способы разрешения конфликтов данных при мерже нескольких аккаунтов одного человека в единый "портрет". Закончим построением социального мета-графа на 600 млн людей-вершин и 20 млрд типизированных связей.

Инструменты: MaxCompute (Hive) engine, Java 8 / Kotlin, SQL, MapReduce / Graph jobs.

Подведем итог про применимость таких упражнений для обогащения клиентских данных в CRM, маркетингового сегментирования и использования в рекомендательных системах.

Другие доклады секции BigData и машинное обучение

Rambler's Top100