У вас есть система мониторинга и алертинга, и вы ей пользуетесь. Вы растете, растет количество сервисов, команд, их разрабатывающих, и, конечно, растет количество метрик, которые вы хотите собирать. И наступает тот самый момент, когда вы понимаете, что ваш мониторинг перестает удовлетворять новым требованиям, его качество падает, алерты не помогают. Вы все чаще начинаете его чинить, инженеры страдают.
Перед вами встают вопросы (о чем и поговорим в докладе):
- Как выбрать новое хранилище для метрик: Cortex, Thanos, VictoriaMetrics?
- Что делать, если вы хотите использовать pull- и push-модель для сбора метрик?
- Как сделать, чтобы коллегам было удобно пользоваться мониторингом и чтобы он был максимально полезен?
- Что при этом делать с алертингом?
Расскажем, как решали эти вопросы в MCS и какие грабли повстречали на пути.