Рейтинг@Mail.ru
Highload++ 2017 завершён!

Профессиональная конференция разработчиков высоконагруженных систем

СКОЛКОВО, Москва 7 и 8 ноября

11-я ежегодная конференция для разработчиков highload-систем, которая соберет   2 700 участников из разных регионов России и мира. Мероприятие направлено на обмен знаниями о технологиях, позволяющих одновременно обслуживать многие тысячи и миллионы пользователей.

Программа охватывает такие аспекты веб-разработок, как архитектуры крупных проектов, базы данных и системы хранения, системное администрирование, нагрузочное тестирование, эксплуатация крупных проектов и другие направления, связанные с высоконагруженными системами.

Lambda architecture для realtime-аналитики - риски и преимущества
BigData и машинное обучение

Доклад принят в Программу конференции
Avito

Руководитель Data Platform в Авито. В область ответственности Data Platform входят системы больших данных (сотни Тб), OLTP базы (PostgreSQL), NoSQL базы (MongoDB, Redis, Tarantool, VoltDB), а также системы очередей и потоковой обработки данных (RabbitMQ, NSQ, Spark). Все про данные, их движение и обработку. Построил в Авито хранилище на HP Vertica и продолжает его развивать, сейчас там более 100 Тб данных. До этого строил хранилища в ВТБ Факторинг, Ланит, НСС (на Терадате) и участвовал в ряде более мелких проектов. Помимо работы в Avito, Николай преподает в НИУ ВШЭ и занимается научными исследованиями в области современных методологий построения хранилищ данных, таких как Data Vault и Anchor Modeling, а также в области технологий BlockChain.

Тезисы

В 2017 построить аналитику на больших данных - это уже не достижение.
Витрины, отстающие на день - уже старые. Отставание на час - неплохо.

Достижением для 2017 является realtime BigData - доступные для широкого круга аналитические данные, отстающие от реальности на секунды (миллисекунды!).

Миллисекундное отставание - значит in-memory.
BigData - значит все в оперативную память уже не влезет.
Значит, нужно совмещать.

Эту концепцию принято называть Lambda Architecture.
В Avito подобная схема построена путем совмещения HP Vertica (объемные исторические данные) + Redis/Tarantool (realtime data cache).

Tarantool
,
Базы данных / другое

Другие доклады секции
BigData и машинное обучение

Rambler's Top100