Эксплуатация ML в Почте Mail.ruBigData и машинное обучение

Программный комитет ещё не принял решения по этому докладу
Эдуард Тянтов
Mail.ru Group

Руководит антиспамом и группами по машинному обучению в Mail.ru. Экспертиза в обработке текстов, computer vision, высоких нагрузках, хадупах, защите пользователей от спама, взломов.

Тезисы

Мы в Почте Mail.ru повсеместно используем machine learning для решения бизнес-задач. Основные направления – сделать Почту умнее (помочь пользователю ориентироваться в нарастающем потоке информации и эффективно решать его задачи) и защитить от спама.

Чтобы достичь этих целей, мы создаем и поддерживаем десятки систем машинного обучения. При таком количестве моделей их регулярная поддержка: набор выборки, дообучение и выкатка в бой — может отнимать почти все время команды. Особенно остро эта проблема стоит в антиспаме, где спамеры адаптируются к системе защиты днем и ночью. Очевидно, что поддержку нужно автоматизировать, однако по ходу процесса возникает много вопросов:
* как быть уверенным, что обученная на выборке модель будет хороша на продакшне и не сломается на выходных;
* как поддерживать ансамбли и каскады моделей;
* как выстроить эффективный feedback loop без участия асессоров.

Как мы решаем эти и другие проблемы, а также какие общие подходы мы выработали, я расскажу в своем докладе.

Другие доклады секции BigData и машинное обучение

Rambler's Top100