Полезноe
бесплатная книга Продуманная оптимизация
Материалы HighLoad++
материалы За все восемь лет вебинар Пошаговый
алгоритм
вебинар Вопросы
и ответы
Презентации
2014 года
Видеозаписи
2014 года
Как это было
книга Услуги и скидки корпоративный Обучающий тренинг Тезисы и расписание Шаржи на докладчиков
2014 года

HighLoad++

31 октября
и 1 ноября
Место проведения: Москва,
Краснопресненская наб. 12.

Как считать и анализировать сотни гигабит трафика в секунду, не тратясь на Hadoop и не парся логи
Архитектуры

Доклад принят в Программу конференции
UCDN.com

Я занимаюсь интернет-проектами с 1997 года. Прошел путь от хостинга, высоконагруженного интернет-видеопроекта и ряда других начинаний до создания CDN, которая обслуживает сотни гигабит трафика в секунду уже несколько лет.

Тезисы

В своем докладе я расскажу о такой непростой задаче, как обсчет и анализ трафика многих клиентов под очень высокими нагрузками и при практически полном отсутствии расходов на дополнительные серверы под статику. Задача усложняется тем, что все клиенты отдаются со всех серверов, а статистика ведется по отдельным субдоменам. Сбор статистики многоуровневый - скорость отдачи, коды ошибок HTTP, количество отданных байтов и ряд других параметров с 5-минутными интервалами.

Основные подтемы доклада
- В чем проблема подхода, включающего парсинг логов?
- Чем хороши, а чем не очень инструменты работы с логами?
- Что получается, если объем собираемых в день логов составляет около 70 Тб?
- Плюсы и минусы универсальных решений типа Hadoop для такой задачи.
- Наш подход к интеграции MapReduce в nginx.
- Горизонтальная масштабируемость системы агрегации логов.
- Почему одного сервера достаточно, чтобы считать 50 гигабит трафика в секунду и более 7 миллиардов хитов в день?
- Результаты работы в production
- Как бы мы реализовали то же самое сейчас?

Другие доклады секции
Архитектуры

Спонсоры конференции

  • Nutanix
  • Webzilla
  • Badoo
  • Parallels
  • Филанко
  • Treatface
  • Дата центр Selectel

Информационная поддержка

  • SQLInfo.ru
  • Интернет Хостинг Центр
  • Sports.ru
  • Rusonyx
  • Adriver
  • SuperJob
  • REG.RU
  • ООО «Юмисофт»
  • Агава
  • PCWeek
  • PС Мagazine
  • Bugtraq.ru
  • TRINET
  • FL.ru
  • Телеканал «Конференция ТВ»
По любым вопросам обращайтесь:
Бухгалтерия и вопросы оплаты :
Олег Бунин , +7(495) 646-07-68
Организационный комитет :
Олег Бунин , +7 (495) 646-07-68
Программный комитет :
Олег Бунин , +7 (916) 635-95-84
Горячая линия :
+7 (495) 646-07-68, ежедневно с 10 до 22

Почтовый адрес:
119180, Москва, Бродников пер., д. 7 стр. 1, +7 (495) 646-07-68 ООО «Онтико»

Rambler's Top100
Рейтинг@Mail.ru