Data Lake в Kubernetes. Нестандартный подход к организации сбора и хранения данных
Доклад отклонён
Целевая аудитория
Тезисы
Использованием Kubernetes сегодня уже никого не удивишь. Как, впрочем, и объектным хранилищем. Ну и, конечно же, движки для работы с большими данными - тоже уже не новость. Однако среди существующих инструментов для работы с Data Lake есть крайне любопытный инструмент Dremio, который при правильном использовании может существенно упростить жизнь аналитиков при использовании стандартных DevOps подходов.
В итоге, это доклад про то, как пойти по тонкому льду антипаттерна, бонусом добавить green-blue deployment к моделям данных и облегчить в итоге процесс горизонтального масштабирования вычислительного кластера.
Кандидат физико-математических наук, около 10 лет суммарного опыта работы и ведения научных проектов: занимался построением и развитием алгоритмов машинного обучения для решения прикладных задач в разных сферах (от E-commerce до экологии и EdTech’а), а также оцифровки бизнеса с последующим переходом на DDD-стратегию управления. В настоящее время CDO видеосервиса more.tv, ранее руководил департаментом обработки данных в Skillbox. Доцент факультета «Информационные технологии и прикладная математика» МАИ (НИУ).
more.tv
В отрасли ИТ более десяти лет. Последний год руководит отделом DataOps в компании Skillbox. Занимается развитием и поддержкой платформы обработки данных, инфраструктурой для Аналитиков и ML инженеров.
Skillbox
Видео
Другие доклады секции
BigData и машинное обучение
