Конференция завершена. Ждем вас на HighLoad++ в следующий раз!

NLP At Scale: вся правда о предобученных моделях в Почте Mail.ru Нейронные сети, искусственный интеллект

Доклад принят в программу конференции
Дмитрий Меркушов
Mail.ru Group

Тимлид в команде машинного обучения антиспама Почты Mail.ru.

d.merkushov@corp.mail.ru
@dmerkushov в телеграме
Тезисы

Задачи Natural Language Processing в последнее время становятся локомотивом исследований всего глубокого обучения в целом. Это неизбежно порождает внимание ML-сообщества и разумную долю хайпа вокруг новых моделей. И мы в антиспаме Почты Mail.ru тоже не остаемся в стороне и радостно предвкушаем адаптацию SOTA-достижений.

Но на этом пути мы сталкиваемся со спецификой почтового NLP. Исторически текстовые модели антиспама и почты развивались от простого к сложному, вслед за (и часто опережая) эволюцией adversarial в лице спамеров и рассыльщиков. И чем более сложными становились наши модели, тем труднее нам стало удерживать их в рамках классических представлений и подходов к решению подобных задач.

В докладе мы проследим за этой эволюцией, по пути ответив на неочевидные вопросы — что делать, когда википедия не подходит, как собирать репрезентативные текстовые выборки, почему выбор между supervised и unsupervised не всегда очевиден. Ну и главное, как все это завести онлайн с максимальной эффективностью для пользователей нашего сервиса.

Другие доклады секции Нейронные сети, искусственный интеллект