Конференция завершена. Ждем вас на HighLoad++ в следующий раз!

Обзор архитектуры быстрого сборщика логов на Go

Бэкенд, теория программирования

Логи

Доклад принят в программу конференции

Целевая аудитория

Системные программисты, web highload.

Тезисы

Поговорим о лучших практиках, на которых основан очень быстрый сборщик логов, используемый в Ozon.

Расскажем, как c помощью этого инструмента мы сократили издержки на сбор логов в 10 раз по CPU и добились 100% доставляемости логов.

Вы узнаете:
* как организована общая архитектура сборщика логов;
* как написать быстрый плагин для чтения логов из файлов;
* как оптимизировать внутреннюю обработку потока логов;
* как правильно распараллелить обработку;
* как гарантировать доставку.

Руководитель двух направлений платформы Ozon: observability и баз данных.
Работал тимлидом в Lingualeo и Miro.
Диплом первой степени на всероссийской ACM-олимпиаде по программированию.
Третье место на олимпиаде по специальности "Электронно-вычислительные системы, комплексы и сети".

Ozon

Ozon — ведущая платформа e-commerce в России. В команде Ozon Tech почти 4 000 инженеров — и она продолжает расти. Десятки миллионов людей пользуются сервисами Ozon, их IT-инфраструктура управляет миллионами процессов каждый час. Микросервисы на Go и C#, в стеке технологий есть Vue.js, Swift и Kotlin, Kubernetes, Kafka, Hadoop и ClickHouse.

Видео