Особенности обработки статистики высоконагруженной системы управления баннерной рекламой Основная секция
Доклад принят в Программу конференции
Грамант
Директор по разработке компании «Грамант». Более 15 занимаюсь разработкой программного обеспечения. Эксперт в области веб-технологий и электронноий рекламы.
Неоднократно выступал с докладами на профессиональных конференциях (HighLoad, РИТ, CodeFest и других)
Тезисы
!!1 Hl++ Stats
View SlideShare presentation or Upload your own.
Особенности обработки статистики высоконагруженной системы управления баннерной рекламой / Артем Вольфтруб (Gramant)
Тезисы
Большие баннерные сети генерируют большие объемы информации, которую необходимо обрабатывать, хранить и анализировать. Что делать, если система ежедневно регистрирует порядка 500 000 000 событий и их необходимо обрабатывать с минимальной задержкой? Как организовать структуру базы данных для хранения информации так, чтобы время выполнения запроса не превышало 1-2 секунд? Ответы на эти и другие вопросы на примере одной из крупнейших японских баннерных сетей.
- Общая архитектура системы
- Краткая информация о системе управления электронной рекламой
- Основные компоненты системы
- Потоки данных в системе, информация об объемах обрабатываемой информации, динамика роста нагрузки за последние несколько лет
- Методы распределения нагрузки
- Методы повышения отказоустойчивости
- Подсистема обработки статистики
- События, регистрируемые баннерной сетью
- Основные проблемы
- Методы уменьшения объемов данных
- Как происходит обработка статистики, архитектура модуля
- Денормализация данных для ускорения запросов
- Особенности организации кэширования
- Узкие места и ограничения
- Методы контроля работоспособности и предотвращения сбоев
- Зачем контролировать
- Как выбрать наиболее критичные узлы и операции
- Как защититься от сбоев
Интеграция с внешними системами мониторинга и оповещения.
Целевая аудитория
В первую очередь доклад будет интересен разработчикам и системным архитекторам, которые занимаются проектированием или развитием крупных распределенных приложений, а также тем, кто сталкивается с обработкой и хранением больших объемов данных. Также доклад, несомненно, заинтересует людей, каким-либо образом связанных с электронной рекламой, поскольку разработанная система по своей функциональности и объему обрабатываемых данных превосходит существующие сегодня в России аналоги, и опыт успешной разработки в этой области будет интересен наверняка.
Где применимо?
Полученную информацию можно использовать, сталкиваясь с необходимостью обработки большого объема однородной информации за небольшое время. Также представленные сведения будут полезны при разработке приложений, взаимодействующих с базами данных больших объемов.
О докладчике
Артем Вольфтруб, руководитель отдела разработки компании «Грамант». Основное направление профессиональной деятельности связано с разработкой веб-приложений и распреде- ленных систем различной степени сложности. Помимо этого, в силу специфики работы, обладает опытом создания и управления командами разработчиков, а также организаций полного цикла работ по проекту, начиная от предварительных переговоров с заказчиками и разработкой бизнес-требований, и заканчивая внедрением системы и обучением пользователей.
Контакты: artem@gramant.ru, ICQ: 57252155Другие доклады секции Основная секция
Cloud.ru — российский провайдер облачных услуг и IT-инфраструктуры, специализирующийся на предоставлении высокопроизводительных вычислительных ресурсов, хранилищ данных и инструментов для эффективного развертывания и управления приложениями. Компания активно развивает собственные технологические решения, направленные на повышение надежности, безопасности и производительности облачной платформы. Среди ключевых направлений деятельности — поддержка и развитие инфраструктуры для задач машинного обучения, аналитики больших данных и высоконагруженных приложений.
Контур — экосистема для бизнеса. 70+ сервисов помогают 3,1 млн компаний России вести бухгалтерию и ЭДО, сдавать отчетность и автоматизировать другие рабочие процессы. 120+ команд улучшают продукты-гиганты, запускают стартапы, развивают инфраструктуру.
Data Egret
A3 Payment Service — группа компаний, платёжный сервис для бизнеса: приём и проведение платежей, биллинг и регулярные списания. Около 150 сотрудников.
Они — Скала! Облегчают Заказчикам вход в дивный мир российских продуктов, хотят доказать всем, что импортозамещение — это не больно. Продукты Скала^р являются серийно выпускаемыми преднастроенными комплексами и позволяют осуществлять быстрое развёртывание и ввод в эксплуатацию.
«Яндекс» — ведущая российская технологическая компания, развивающая экосистему цифровых сервисов: от поиска и карт до транспорта, медиа и ИИ‑технологий. А Городские сервисы Яндекса делают повседневную жизнь в мегаполисе удобнее: такси и каршеринг в «Яндекс Go», быстрая доставка еды и продуктов, навигация и актуальные пробки в «Яндекс Картах».
Цифровая платформа Ozon соединяет более 750 тысяч предпринимателей с 69 миллионами активных покупателей. На маркетплейсе представлено свыше 400 миллионов товаров, а покупатели ежедневно совершают в среднем 9 млн заказов. Компания развивает экосистему цифровых, логистических и рекламных сервисов для бизнеса и обеспечивает удобный доступ к онлайн-покупкам для 130 миллионов жителей России. Ozon Tech — это команда разработки Ozon. Это 8 500+ специалистов в сотнях кросс-функциональных команд. А ещё Ozon Tech — это уникальный и сложный highload: до 1 970 000 RPS на балансировщик нагрузки, 4 ЦОДа, 2 суперкомпьютера, а суммарный объём аналитических хранилищ — 130 PB. Если на рынке нет подходящих решений, компания разрабатывает собственные. Использует лучшие практики для построения инфраструктуры и исповедует концепцию — Everything as code.
SiteGround
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У них десятки тысяч RPS к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
Домклик – дочка Сбера, через нас выдаётся больше половины ипотеки в нашей стране. Наши IT решения и архитектура позволяют нам первыми на рынке запускать крупные продукты и решать любые вопросы с недвижимостью.
Сибур — крупный нефтегазохимический холдинг.
devhands.io
Purrweb компания которая специализируется на разработке MVP приложений и стартапов, за последнее время компания выросла до 200 человек и продолжает развиваться.
Компания MixBytes входит в мировой топ по аудитам безопасности смарт-контрактов, занимается разработкой и исследованиями в блокчейн-отрасли.
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Работают над созданием удобных онлайн-сервисов в самых разных сферах.
Лемана Тех (Леруа Мерлен) — лидер рынка DIY в России. Переосмысливают DIY-ретейл так же, как другие технологические лидеры до этого меняли банкинг и IТ-сервисы. В компании можно с нуля создавать диджитал-решения, примерять разные роли, использовать современные технологии, запускать новые продукты.
«Перкона» (Percona)
Яндекс Еда - лидер своего сегмента e-com. За 7 лет стала социально-значимым сервисом, кормящим миллионы пользователей. Часть Городских Сервисов Яндекса, меняющих ландшафт мегаполисов и делающих вашу жизнь комфортней.
СберТех — российский разработчик программного обеспечения. Флагманское решение компании — цифровая облачная платформа Platform V для создания бизнес-решений и промышленных приложений любого масштаба и сложности. Она включает более 80 продуктов, которые закрывают потребности разработки на всех уровнях архитектуры предприятия.
"Открытая Мобильная Платформа" обеспечивает компании надёжными отечественными решениями для построения доверенной безопасной мобильной инфраструктуры.
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У них десятки тысяч RPS к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
билайн – технологичная компания, предоставляющая клиентам услуги в области Big Data, IT, безопасности, облачных технологий, интернета вещей и рекламных инструментов. В штате работают более 3000 IT-специалистов, они помогают более 80 000 клиентам из разных отраслей бизнеса быть более эффективными.
Т-Банк Умная поддержка - это Бот Обслуживания банка и семейство инструментов вокруг него. У Т-Банка нет своих офисов, поэтому качество и скорость решения проблем в чате поддержки - критически важные метрики компании. На текущий момент ведем большой проект по переводу Бота со сценариев на ризонинг
«Перкона» (Percona)
"Открытая мобильная платформа" разрабатывает продукты в области системного и инфрастурного ПО для обеспечечния компаний надёжными отечественными решениями построения безопасной и устойчивой мобильной инфраструктуры. Флагманский продукт компании ОС Аврора расширяет свое применение на автомобильную промышленность и финтех.
KION - онлайн кинотеатр, который раздает десятки гигабит видео в секунду и делает жизнь чуть интереснее
АО «Гринатом» — это отраслевой общий центр обслуживания (ОЦО) и ИТ-интегратор госкорпорации «Росатом». Компания была создана 18 декабря 2009 года для централизации и автоматизации обеспечивающих функций предприятий атомной отрасли.
RUTUBE - пожалуй лучший видеохостинг страны.
Navio занимается разработкой технологии автономного вождения, совместимую с различными видами транспорта.
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У них десятки тысяч RPS к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
Сибур — крупный нефтегазохимический холдинг.
Psychometrica – проект в области цифровой психометрии. Платформа для психологического тестирования, структурированной оценки состояния и интерпретации результатов с использованием валидированных методик и ИИ под экспертным контролем.
Cian.ru – крупнейший интернет-сервис для покупателей и арендаторов жилья, самая большая и актуальная база объявлений, регулярно обновляемая за счет запуска новых сервисов и расширения географии представленных объектов.
Новосибирский государственный университет (НГУ) входит в топ-10 лучших российских университетов согласно QS World University Rankings. Механико-математический факультет, где Иван занимается исследованиями по основному месту работы, является крупнейшим центром исследовательской и преподавательской деятельности по искусственному интеллекту в НГУ. Так, на факультете существует Инженерная школа для бакалавров, магистратура по прикладному машинному обучению и большим данным (совместно с Яндекс-ШАД), лаборатории факультета выполняют проекты по ИИ для индустриальных партнёров НГУ (например, https://nauka.tass.ru/nauka/18507183).
Сбер — крупнейший банк России, третий по величине эквайер в мире
Т‑Банк — онлайн-экосистема, основанная на финансовых и лайфстайл-услугах. Клиентами Т‑Банка стали 55 млн человек по всей России. Т‑Банк — второй крупнейший банк страны по количеству активных клиентов
В «Магните» занимается управлением портфелем IT-проектов, трансформацией IT-вертикали, а также контролирует эффективность производственного цикла. Одна из задач — повышение эффективности управления изменениями для бизнес-заказчиков.
YADRO — российская технологическая компания, объединяющая направления разработки и производства вычислительных платформ, систем обработки и хранения данных, телекоммуникационного и сетевого оборудования, персональных и «умных» устройств, микропроцессорных ядер и fabless-разработку микропроцессоров. R&D-центры расположены в Москве, Санкт-Петербурге, Екатеринбурге, Нижнем Новгороде и Минске.
MTS Web Services (MWS) — облачные сервисы для решения задач вашего бизнеса. Мы предоставляем сетевые сервисы; продукты для вычисления, хранения и обработки данных; PaaS-решения; инструменты кибербезопасности; профессиональные сервисы и ИИ-решения. Мы также строим публичную облачную платформу собственной разработки с нуля. Она станет доступна в 2025 году.
АО «Альфа-Банк» — крупнейший универсальный частный банк в России. На протяжении более 30 лет занимает ведущие позиции во всех сегментах банковского бизнеса. По итогам 9 месяцев 2024 года согласно бухгалтерской (финансовой) отчетности по РСБУ чистая прибыль Альфа-Банка составила 190 млрд руб. Клиентская база составляет более 1,9 млн корпоративных клиентов и 38,7 млн физических лиц. Альфа-Банк развивается по модели Phygital, сочетая цифровые инновации с эффективной сетью физического присутствия, которая насчитывает более 700 офисов и более 27 000 населённых пунктов с доставкой. Лучший мобильный банк по версии Markswebb Alfa Digital — это сообщество внутри Альфа-Банка, объединяющее более 12 000 IT и Digital сотрудников Наша команда делится на центры компетенций: JavaScript, Java, мобильная разработка, QA, аналитика, продуктовый дизайн, UX, Agile и др Для нас важно ощущать полную свободу, возможность экспериментировать и создавать новое. Для этого мы даём все необходимые ресурсы и инструменты.
Разработка цифровых решений на базе ИИ для группы компаний Северсталь.
СберЗдоровье — российская медицинская компания, специализирующаяся на телемедицинских услугах и цифровых решениях в области здравоохранения.
Цифровая платформа Ozon соединяет более 750 тысяч предпринимателей с 69 миллионами активных покупателей. На маркетплейсе представлено свыше 400 миллионов товаров, а покупатели ежедневно совершают в среднем 9 млн заказов. Компания развивает экосистему цифровых, логистических и рекламных сервисов для бизнеса и обеспечивает удобный доступ к онлайн-покупкам для 130 миллионов жителей России. Ozon Tech — это команда разработки Ozon. Это 8 500+ специалистов в сотнях кросс-функциональных команд. А ещё Ozon Tech — это уникальный и сложный highload: до 1 970 000 RPS на балансировщик нагрузки, 4 ЦОДа, 2 суперкомпьютера, а суммарный объём аналитических хранилищ — 130 PB. Если на рынке нет подходящих решений, компания разрабатывает собственные. Использует лучшие практики для построения инфраструктуры и исповедует концепцию — Everything as code.
SberDevices — это компания полного цикла. Мы создаём идеи, самостоятельно разрабатываем продукты, занимаемся прототипированием, конструированием, придумываем дизайн, программные решения, контролируем качество на фабриках и создаём инструменты для аппаратного тестирования.
Я не хочу делать этот доклад от конкретной компании.
AG-LEGAL — юридический консалтинг, сопровождающий IT-компании, а также крупные федеральные компании по вопросам интеллектуальной собственности, категорирования КИИ, персональных данных, включением в Реестр отечественного ПО. Телеграм-канал (3к подписчиков) https://t. me/aglegal. Проводят вебинары, выступали на других конференциях и проводили корпоративное обучение для других компаний.
Авито, Sphinx
Мы строим публичную облачную платформу Yandex Cloud, чтобы дать компаниям доступ к технологиям и сервисам, которые проверены нагрузками Яндекса. Наши продукты — это масштабируемая инфраструктура, сервисы хранения данных, инструменты машинного обучения и средства разработки, которые используют более 47 тысяч клиентов. Более 100 крупнейших компаний России рейтинга РБК-500 создают и совершенствуют свои цифровые сервисы с помощью уникальных технологий Yandex Cloud.
