Конференция завершена. Ждем вас на Highload++ в следующий раз!
Москва, СКОЛКОВО
8 и 9 ноября 2018

SQL на стероидах. Масштабируемая SQL система аналитики на postgresql, greenplum и clickhouse.Базы данных и системы хранения

Доклад отклонён
Максим Вихарев
Alytics

Максиму посчастливилось принимать участие в нескольких технологических стартапах.

В компании termt.com (первый отечественный производитель POS-терминалов, сертифицированный PCI PED) занимался криптографией и системным программированием, затем администрированием, автоматизациями PKI-процессов и релиз-инжинирингом. Параллельно начал заниматься разработкой распределенных веб-приложений. Значимым результатом был запуск проекта, автоматизирующего отчетность SEO-оптимизаторов (сбор позиции сайтов в поисковой выдаче по определенным словам). Фишкой системы была возможность обхода капч: сама искала себе прокси через поисковики.

В 2012 году был запущен проект alytics.ru - сервис автоматизации контекстной рекламы. Выступая в роли разработчика-сооснователя, получил взрывообразный рост компетенций в области проектирования, разработки, автоматизации и эксплуатации сервисов. К 2016 году Алитикс стал лидирующим сервисом в области автоматизации контекста и в начале 2018 года они расширили сегмент деятельности, став системой сквозной аналитики. К этому событию был осуществлен технологический скачок: они агрегировали собранный опыт, и сервис был, по сути, полностью переписан, получив невероятные технологические преимущества перед предыдущей версией, которые сразу же начали трансформироваться в реальную пользовательскую ценность.

Получает удовольствие от создания крутого продукта, делится с сообществом полученным ценным опытом.

Сфера технических интересов: архитектура, аналитические системы, распределенные системы, базы данных, devops, непрерывная интеграция и поставка, гибкие методологии разработки, прокачка команды.

Тезисы

DWH, BI, ETL, DATALAKE - слова ныне знакомы каждому. Бизнес как никогда активно и изощренно анализирует cвою активность, активность своих информационных систем, производительность всевозможных производственных цепочек.
Рассмотрим новые возможности для создания платформ данных с помощью opensource.

В докладе проанализируем текущее положение дел в области стеков реализации платформ данных. В ней одни корпоративные монстры выпускают крутейшие cloud решения, уничтожающие фунциональных предшественников. Другие - выводят коммерческие разработки в opensource, открывая широчайшие возможности для построения in-house систем аналитики нового поколения.

Расскажем о том, как мы с 2011 года пилили свою велосипедную систему аналитики на основе Postgresql. А потом перестали cтрадать и просто добавили к постгресу готовые greenplum и clickhouse. Получив в итоге простую миграцию, 100% opensource, легкий стэк, простое обслуживание, надежность и горизонтальное масштабирование, уменьшение костов на инфрастуктуру и широкие функциональные возможности за счет сочетания ANSI SQL, MPP, In-memory. Вскроем простоту внутренностей решения и рассмотрим компоненты стека под микроскопом, проведя ретроспективу вывода в прод и дальнейшей эксплуатации.

Другие доклады секции Базы данных и системы хранения

Rambler's Top100