Логирование, сбор и анализ метрик сетевого сервиса с нелимитированной нагрузкой Бэкенд, теория программирования
Руководит разработкой движка Яндекс.Метрики. Занимается проектированием и программированием высоконагруженных систем более 10 лет.
Занимается разработкой различных высоконагруженных сетевых сервисов под Linux на C++ и Boost на протяжении последних восьми лет. Последние два года работает ведущим разработчиком в компании Variti, помогая ей спасать Интернет от нашествия ботов.
Мы работаем в компании, которая занимается защитой бизнеса от различных угроз в сети Интернет. Наше и подобные решения представляют собой высоконагруженные сетевые приложения, одной из особенностью которых является нелимитированная нагрузка. Если быть точными, то ограничивается она только шириной входящего сетевого канала. В связи с чем возникает множество сложностей, как при логировании и сборе метрик, так и при дальнейшем анализе огромного количества накопленных данных.
В докладе мы расскажем о следующем:
* зачем мы используем несколько подсистем логирования
* почему в некоторых случаях мы отдаем предпочтение бинарному формату логов и как потом эффективно с этим работаем
* как мы на лету экспортируем логи в clickhouse
* как мы анализируем логи в clickhouse
* какие оптимизации мы используем при записи метрик в graphite
* как мы анализируем метрики в graphite и зачем нам дашборды в grafana
* в каком виде мы предоставляем метрики клиенту
* прочие особенности