Рейтинг@Mail.ru

Профессиональная конференция разработчиков высоконагруженных систем

СКОЛКОВО, Москва 7 и 8 ноября

11-я ежегодная конференция для разработчиков highload-систем, которая соберет   2 700 участников из разных регионов России и мира. Мероприятие направлено на обмен знаниями о технологиях, позволяющих одновременно обслуживать многие тысячи и миллионы пользователей.

Программа охватывает такие аспекты веб-разработок, как архитектуры крупных проектов, базы данных и системы хранения, системное администрирование, нагрузочное тестирование, эксплуатация крупных проектов и другие направления, связанные с высоконагруженными системами.

Как создать дата-платформу с нуля
BigData и машинное обучение

Программный комитет ещё не принял решения по этому докладу
ЦИАН

Руководитель отдела машинного обучения ЦИАН, кандидат физ.-мат. наук, ассистент на кафедре дискретной математики ФИВТ МФТИ.

Тезисы

На определенной стадии развития компании появляется необходимость собирать, анализировать и принимать решения, исходя из данных. Причин может быть много: аналитика для BI, внедрение машинного обучения в сервисы, поставка данных заказчику.

Я расскажу, как мы реализовывали дата-платформу на основе hadoop в Циане. У нас она решает весь круг задач:
1) мы собираем данные со всех внутренних (и не только) источников в real-time, складируем и агрегируем их;
2) поставляем данные для BI, CRM, аналитиков для батчевой обработки и отчетности через OLAP и SQL;
3) обрабатываем и онлайн поставляем данные в другие сервисы;
4) принимаем решения на основе моделей машинного обучения и данных, пришедших в нашу платформу несколько секунд назад.

Python
,
Scala
,
Проектирование информационных систем
,
Аналитика / другое
,
Hadoop
,
Machine Learning
,
ETL

Другие доклады секции
BigData и машинное обучение

Rambler's Top100