SQL на стероидах. Масштабируемая SQL система аналитики на postgresql, greenplum и clickhouse.Базы данных и системы хранения
Максиму посчастливилось принимать участие в нескольких технологических стартапах.
В компании termt.com (первый отечественный производитель POS-терминалов, сертифицированный PCI PED) занимался криптографией и системным программированием, затем администрированием, автоматизациями PKI-процессов и релиз-инжинирингом. Параллельно начал заниматься разработкой распределенных веб-приложений. Значимым результатом был запуск проекта, автоматизирующего отчетность SEO-оптимизаторов (сбор позиции сайтов в поисковой выдаче по определенным словам). Фишкой системы была возможность обхода капч: сама искала себе прокси через поисковики.
В 2012 году был запущен проект alytics.ru - сервис автоматизации контекстной рекламы. Выступая в роли разработчика-сооснователя, получил взрывообразный рост компетенций в области проектирования, разработки, автоматизации и эксплуатации сервисов. К 2016 году Алитикс стал лидирующим сервисом в области автоматизации контекста и в начале 2018 года они расширили сегмент деятельности, став системой сквозной аналитики. К этому событию был осуществлен технологический скачок: они агрегировали собранный опыт, и сервис был, по сути, полностью переписан, получив невероятные технологические преимущества перед предыдущей версией, которые сразу же начали трансформироваться в реальную пользовательскую ценность.
Получает удовольствие от создания крутого продукта, делится с сообществом полученным ценным опытом.
Сфера технических интересов: архитектура, аналитические системы, распределенные системы, базы данных, devops, непрерывная интеграция и поставка, гибкие методологии разработки, прокачка команды.
DWH, BI, ETL, DATALAKE - слова ныне знакомы каждому. Бизнес как никогда активно и изощренно анализирует cвою активность, активность своих информационных систем, производительность всевозможных производственных цепочек.
Рассмотрим новые возможности для создания платформ данных с помощью opensource.
В докладе проанализируем текущее положение дел в области стеков реализации платформ данных. В ней одни корпоративные монстры выпускают крутейшие cloud решения, уничтожающие фунциональных предшественников. Другие - выводят коммерческие разработки в opensource, открывая широчайшие возможности для построения in-house систем аналитики нового поколения.
Расскажем о том, как мы с 2011 года пилили свою велосипедную систему аналитики на основе Postgresql. А потом перестали cтрадать и просто добавили к постгресу готовые greenplum и clickhouse. Получив в итоге простую миграцию, 100% opensource, легкий стэк, простое обслуживание, надежность и горизонтальное масштабирование, уменьшение костов на инфрастуктуру и широкие функциональные возможности за счет сочетания ANSI SQL, MPP, In-memory. Вскроем простоту внутренностей решения и рассмотрим компоненты стека под микроскопом, проведя ретроспективу вывода в прод и дальнейшей эксплуатации.