Доклад будет о том, как мы разработали идемпотентный транспорт с использованием Apache Kafka для множества продьюсеров и общего потока 3кк событий в секунду. Проект оказался довольно сложным и интересным. Я расскажу о том, какие проблемы нас ожидали, как мы их решали и чего в результате добились.

В самом докладе мы коснемся:
- немного теории об очередях — напомню, что такое At least once, at most once, exactly once;
- расскажу, чего мы пытались добиться;
- отдельно пройдемся по проблемам, с которыми мы сталкивались, и их решениям. Проблем было очень много. К примеру, общеизвестный фреймворк Sarama, позволяющий отсылать сообщения из Go в кафку, оказался вообще неспособным реализовать необходимый нам функционал. При определенном стечении обстоятельств он просто вставал колом и переставал отсылать вообще. В докладе я коснусь причин такого поведения Сарамы. Другой большой задачей для нас стало место. По изначальным требованиям, нам необходимо хранить сутки данных. Сколько это места, как мы умещались и как в результате все устроено — тоже будет в докладе;
- расскажу о результатах проекта.