Конференция завершена. Ждем вас на Saint HighLoad++ в следующий раз!

Есть ли жизнь без ELK? Как снизить стоимость Log Management, используя Kafka, ClickHouse и Vector DevOps и эксплуатация

Доклад принят в программу конференции
Денис Безкоровайный
Proto

Более 15 лет руководит проектами в области информационных технологий и информационной безопасности. Сейчас возглавляет подразделение DevOps/DevSecOps в сервис-провайдере Proto Group.
Сертифицированный эксперт в области информационной безопасности и облачных вычислений — CISA, CISSP, CCSK.
Основные интересы — Kubernetes, микросервисы, Serverless, мониторинг производительности приложений.

denis@proto.group
Тезисы

Дефолтной системой для обработки логов традиционно является ELK-стек. Он бесплатный, удобный, но требовательный к вычислительным ресурсам.

Можно ли в разы снизить затраты на хранение и обработку логов?


В докладе я поделюсь опытом построения централизованной системы для управления логами. Расскажу про процесс выбора решений, почему мы остановились на связке Vector/Kafka/ClickHouse, какие есть сложности в работе с логами в ClickHouse и как их решать, а также — как мы эффективно пишем, анализируем и храним сотни гигабайт логов в сутки.

Другие доклады секции DevOps и эксплуатация