Рейтинг@Mail.ru

Профессиональная конференция разработчиков высоконагруженных систем

СКОЛКОВО, Москва 7 и 8 ноября

11-я ежегодная конференция для разработчиков highload-систем, которая соберет   2 700 участников из разных регионов России и мира. Мероприятие направлено на обмен знаниями о технологиях, позволяющих одновременно обслуживать многие тысячи и миллионы пользователей.

Программа охватывает такие аспекты веб-разработок, как архитектуры крупных проектов, базы данных и системы хранения, системное администрирование, нагрузочное тестирование, эксплуатация крупных проектов и другие направления, связанные с высоконагруженными системами.

Gobblin как ETL-фреймворк
BigData и машинное обучение

Программный комитет ещё не принял решения по этому докладу
Rambler&Co

Инженер DevOps с пятилетним стажем, поклонник KISS, Python и OpenSource. В настоящее время занимаюсь разработкой, интеграцией, поддержкой распределенных приложений.

Тезисы

В своем докладе расскажу об ETL, как об общем классе задач извлечения, подготовки и доставки данных.
Поймем, какую нишу ETL занимает в мире BigData, какие существуют подходы и инструменты для операций над большими данными и какие требования могут к ним предъявляться.

Разберемся с тем, что такое Gobblin, открою нашу историю успеха по его внедрению и применению в отделе машинного обучения Rambler&Co, а также решаемые им задачи.

Постараюсь посвятить вас в архитектуру Gobblin, его основные сущности и понятия, объясню, как это работает на практике, покажу примеры задач и реализации собственной ETL-логики.

Расскажу, как довести решение до продуктового состояния, используя возможности публикации метрик и мониторинга.

Фреймворки
,
Java
,
Hadoop
,
ETL

Другие доклады секции
BigData и машинное обучение

Rambler's Top100