PropellerAds - это рекламный нетворк. Наша основная задача - разработать систему подбирающую релевантную рекламу для каждого пользователя, такую где он с высокой вероятностью совершит конверсию. Для решения этой задачи мы используем алгоритмы Machine Learning.

Через эту систему проходит более 100K пользователей в секунду и происходит выбор их десятков тысяч рекламных банеров.

Разработка и развитие системы подбора рекламы требует постоянных экспериментов - сравнения работы различных моделей между собой.

В своем докладе я расскажу:

1. Три варианта дизайна A/B экспериментов в интернет рекламе - чем они отличаются и когда используются. Как их можно обобщить для тестирования любой рекомендательной системы
2. Как эволюционировали наши подходы и инструменты A/B экспериментов. К каким требованиям по надежности системы и процедурам запуска мы пришли.
3. Использование A/B экспериментов как инструмента масштабирования при обучении тяжелых моделей Machine Learning
4. Как разработанная система влияет на культуру экспериментирования во всей компании