Рекламные сети связывают между собой рекламные площадки и рекламодателей. Цель сети — в конкретном месте конкретному человеку показать ту рекламу, которую он с большей вероятностью купит. Для этого рекламная сеть постоянно экспериментирует "внутри себя", тестируя различные комбинации. Результаты анализируются аналитиками — людьми и специальными алгоритмами — и используются для коррекции поведения сети.
Нагрузка средней рекламной сети — сотни миллионов событий в день. Каждое событие характеризуется десятками свойств посетителя, места, времени и рекламы. Все вместе дает достаточно внушительный объем данных и их сочетаний. Сбор и обработка статистики должны производиться непрерывно и с достаточно небольшой задержкой, чтобы, с одной стороны, удовлетворять ожиданиям клиентов, а с другой — вовремя реагировать на изменение рекламной "конъюнктуры". Все вместе накладывает серьезные требования на инфраструктуру для сбора и анализа информации.
Я занимаюсь развитием такой инфраструктуры с 2007г. В нашей компании мы последовательно прошли много этапов, инфраструктура росла и усложнялась вместе с бизнесом компании. На сегодняшний день мы обрабатываем больше миллиарда транзакций в день и используем достаточно экзотические системы хранения и обработки данных. Я хотел бы рассказать об основных уроках и технических решениях, которые мы использовали и используем (или не используем, и почему). В частности разговор пойдет про MySQL и его некоторые расширения, про мало известную в России СУБД Vertica, про компромиссы, аналитику реального или почти реального времени и многое другое.
Целевая аудитория
В целом, доклад будет интересным специалистам по базам данных и/или оптимизации интернет-рекламы.