Рейтинг@Mail.ru
Highload++ 2017 завершён. Ждем вас на Highload++ 2018!

Профессиональная конференция разработчиков высоконагруженных систем

СКОЛКОВО, Москва 7 и 8 ноября

11-я ежегодная конференция для разработчиков highload-систем, которая соберет   2 700 участников из разных регионов России и мира. Мероприятие направлено на обмен знаниями о технологиях, позволяющих одновременно обслуживать многие тысячи и миллионы пользователей.

Программа охватывает такие аспекты веб-разработок, как архитектуры крупных проектов, базы данных и системы хранения, системное администрирование, нагрузочное тестирование, эксплуатация крупных проектов и другие направления, связанные с высоконагруженными системами.

Как создать дата-платформу с нуля
BigData и машинное обучение

Доклад принят в Программу конференции
ЦИАН

Руководитель отдела машинного обучения ЦИАН, кандидат физ.-мат. наук, ассистент на кафедре дискретной математики ФИВТ МФТИ.

Тезисы

На определенной стадии развития компании появляется необходимость собирать, анализировать и принимать решения, исходя из данных. Причин может быть много: аналитика для BI, внедрение машинного обучения в сервисы, поставка данных заказчику.

Для успешного решения задач ML необходимо решить проблемы:
1) сбора данных в real-time с внутренних (и не только) источников;
2) хранения и агрегации этих данных;
3) обработки и принятия решений на основе моделей машинного обучения, используя данные пришедших несколько секунд назад;
4) поставлять данные в другие системы (BI, CRM).

Я расскажу про наш подход к решению таких задач, как у нас реализована дата-платформа. Расскажу, как мы используем инструменты: kafka, spark, spark streaming, flink, hbase, druid, predictionIO, tensorflow и в каких кейсах применяем эти технологии, например, рекомендации на сайте и антифрод.

Python
,
Scala
,
Проектирование информационных систем
,
Аналитика / другое
,
Hadoop
,
Machine Learning
,
ETL

Другие доклады секции
BigData и машинное обучение

Rambler's Top100