Профессиональная конференция разработчиков высоконагруженных систем

Как реклама Яндекса генерирует GPT-нейросетями заголовки для 3 миллиардов объявлений, используя 22 GPU

Архитектуры и масштабируемость

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Спикер из Яндекса расскажет, как они масштабировали ML-решение, генерирующее заголовки рекламных объявлений. Генерация одновременно использует тысячи процессорных ядер и десятки GPU, и нужно постараться, чтобы нигде не случился bottleneck.

Целевая аудитория

Доклад будет интересен тем, кто интересуется продуктовым применением нейросетей и проблемами оптимизации их перформанса. Если вы обрабатываете большие объемы данных и хотите научиться обогащать их результатами вычисления нейросетей, то этот доклад поможет вам избежать чрезмерной траты GPU и подскажет, какие проблемы с нагрузкой вы, вероятно, встретите на своем пути.

Тезисы

Расскажу, как устроена автогенерация рекламы в Яндексе: за последний год мы перешли от шаблонных сочетаний текста/описания/цен к генерации GPT-нейросетями. Масштабы нашей задачи — создание более 3 миллиардов объявлений, используя для их обработки и хранения несколько тысяч ядер и терабайты памяти. Обсудим тонкости реализации и проблемы с нагрузкой, ведь для генерации текстов и описания баннера используем всего лишь 22GPU v100. Мы разработали алгоритм умного обхода объектов и научили сервис инференса GPT-нейросетей адаптироваться к изменяющейся нагрузке со стороны процессинга объявлений.

Также расскажу о подходах, используемых для выбора наилучшего заголовка для рекламного объявления: поговорим о том, как мы перешли от крошечных dssm к использованию полноценных Bert в RT-процессинге.

Занимается разработкой сервиса автогенерации рекламы в Яндексе.

Яндекс

Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.

Видео

Другие доклады секции

Архитектуры и масштабируемость