Особенности обработки статистики высоконагруженной системы управления баннерной рекламой

Артем Вольфтруб

Особенности обработки статистики высоконагруженной системы управления баннерной рекламой / Артем Вольфтруб (Gramant)

Тезисы

Большие баннерные сети генерируют большие объемы информации, которую необходимо обрабатывать, хранить и анализировать. Что делать, если система ежедневно регистрирует порядка 500 000 000 событий и их необходимо обрабатывать с минимальной задержкой? Как организовать структуру базы данных для хранения информации так, чтобы время выполнения запроса не превышало 1-2 секунд? Ответы на эти и другие вопросы на примере одной из крупнейших японских баннерных сетей.

• Общая архитектура системы
  • Краткая информация о системе управления электронной рекламой
  • Основные компоненты системы
  • Потоки данных в системе, информация об объемах обрабатываемой информации, динамика роста нагрузки за последние несколько лет
  • Методы распределения нагрузки
  • Методы повышения отказоустойчивости
• Подсистема обработки статистики
  • События, регистрируемые баннерной сетью
  • Основные проблемы
  • Методы уменьшения объемов данных
  • Как происходит обработка статистики, архитектура модуля
  • Денормализация данных для ускорения запросов
  • Особенности организации кэширования
  • Узкие места и ограничения
• Методы контроля работоспособности и предотвращения сбоев
  • Зачем контролировать
  • Как выбрать наиболее критичные узлы и операции
  • Как защититься от сбоев

Интеграция с внешними системами мониторинга и оповещения.

Целевая аудитория

В первую очередь доклад будет интересен разработчикам и системным архитекторам, которые занимаются проектированием или развитием крупных распределенных приложений, а также тем, кто сталкивается с обработкой и хранением больших объемов данных. Также доклад, несомненно, заинтересует людей, каким-либо образом связанных с электронной рекламой, поскольку разработанная система по своей функциональности и объему обрабатываемых данных превосходит существующие сегодня в России аналоги, и опыт успешной разработки в этой области будет интересен наверняка.

Где применимо?

Полученную информацию можно использовать, сталкиваясь с необходимостью обработки большого объема однородной информации за небольшое время. Также представленные сведения будут полезны при разработке приложений, взаимодействующих с базами данных больших объемов.

О докладчике

Артем Вольфтруб, руководитель отдела разработки компании «Грамант». Основное направление профессиональной деятельности связано с разработкой веб-приложений и распреде- ленных систем различной степени сложности. Помимо этого, в силу специфики работы, обладает опытом создания и управления командами разработчиков, а также организаций полного цикла работ по проекту, начиная от предварительных переговоров с заказчиками и разработкой бизнес-требований, и заканчивая внедрением системы и обучением пользователей.

Контакты: artem@gramant.ru, ICQ: 57252155