Ускорение и облегчение моделей для поддержания диалога виртуальных ассистентов Салют Нейронные сети, искусственный интеллект
Команда SberDevices активно разрабатывает виртуальных ассистентов Салют. Мы используем технологии AI для распознавания голоса и обработки естественного языка, чтобы наши помощники умели вести беседу и приносили реальную пользу людям.
Для этого постоянно приходится решать различные nlp-задачи. Мы адаптируем и обучаем большие языковые модели на базе трансформеров (BERT, GPT), которыми делимся с сообществом в open source:
https://habr.com/ru/company/sberbank/blog/524522/
https://habr.com/ru/company/sberdevices/blog/547568/
С одной стороны, возникает большое количество специфичных задач: например, классификация сообщений, выделение именованных сущностей, определение интентов, моделирование диалога, а с другой – необходимость быстрого инференса в условиях большой нагрузки.
В рамках доклада мы поделимся своими практиками, как эффективно обучать большие multitask-модели, быстро собирать необходимые данные и, самое главное, как оптимизировать использование ресурсов памяти и ускорять модели в продакшене.
Занимается машинным обучением в SberDevices, специализируется на NLP.
Занимается машинным обучением 7 лет. Главный эксперт по технологиям ИИ. Руководитель команды «нейронные сети» в SberDevices, участник команды разработчиков GigaChat, AI-евангелист, автор ruSBERT, kaggle, competition master.