Конференция завершена. Ждем вас на HighLoad++ в следующий раз!

Ускорение и облегчение моделей для поддержания диалога виртуальных ассистентов Салют

Нейронные сети, искусственный интеллект

Архитектура ML / MLOps

Доклад принят в программу конференции

Целевая аудитория

Разработчики машинного обучения. Особенно те, кто оптимизирует работу моделей в продакшне. Особенно те, кто работает с большими языковыми моделями вроде BERT и GPT.

Тезисы

Команда SberDevices активно разрабатывает виртуальных ассистентов Салют. Мы используем технологии AI для распознавания голоса и обработки естественного языка, чтобы наши помощники умели вести беседу и приносили реальную пользу людям.

Для этого постоянно приходится решать различные NLP-задачи. Мы адаптируем и обучаем большие языковые модели на базе трансформеров (BERT, GPT), которыми делимся с сообществом в open source:
https://habr.com/ru/company/sberbank/blog/524522/
https://habr.com/ru/company/sberdevices/blog/547568/

С одной стороны, возникает большое количество специфичных задач: например, классификация сообщений, выделение именованных сущностей, определение интентов, моделирование диалога, а с другой — необходимость быстрого инференса в условиях большой нагрузки.

В рамках доклада мы поделимся своими практиками, как эффективно обучать большие multitask-модели, быстро собирать необходимые данные и, самое главное, как оптимизировать использование ресурсов памяти и ускорять модели в продакшне.

Занимается машинным обучением в SberDevices, специализируется на NLP.

SberDevices

SberDevices — дочерняя компания Сбера, которая производит «умные» устройства. Это B2B- и B2C-девайсы для экосистемы с применением речевых технологий и виртуальным ассистентом на борту.

Занимается машинным обучением 7 лет. Главный эксперт по технологиям ИИ. Руководитель команды «нейронные сети» в SberDevices, участник команды разработчиков GigaChat, AI-евангелист, автор ruSBERT, kaggle, competition master.

SberDevices

SberDevices — дочерняя компания Сбера, которая производит «умные» устройства. Это B2B- и B2C-девайсы для экосистемы с применением речевых технологий и виртуальным ассистентом на борту.

Видео