Обзор архитектуры быстрого сборщика логов на Go

Бэкенд, теория программирования

Доклад принят в программу конференции

Руководитель направления разработки Observability-платформы в Ozon.
Работал тимлидом в Lingualeo и Miro.
Диплом первой степени на всероссийской ACM-олимпиаде по программированию.
Третье место на олимпиаде по специальности "Электронно-вычислительные системы, комплексы и сети".

Тезисы

Видео

Поговорим о лучших практиках, на которых основан очень быстрый сборщик логов, используемый в Ozon.

Расскажем, как c помощью этого инструмента мы сократили издержки на сбор логов в 10 раз по CPU и добились 100% доставляемости логов.

Вы узнаете:
* как организована общая архитектура сборщика логов;
* как написать быстрый плагин для чтения логов из файлов;
* как оптимизировать внутреннюю обработку потока логов;
* как правильно распараллелить обработку;
* как гарантировать доставку.