Рейтинг@Mail.ru

Профессиональная конференция разработчиков высоконагруженных систем

СКОЛКОВО, Москва 7 и 8 ноября

11-я ежегодная конференция для разработчиков highload-систем, которая соберет   2 700 участников из разных регионов России и мира. Мероприятие направлено на обмен знаниями о технологиях, позволяющих одновременно обслуживать многие тысячи и миллионы пользователей.

Программа охватывает такие аспекты веб-разработок, как архитектуры крупных проектов, базы данных и системы хранения, системное администрирование, нагрузочное тестирование, эксплуатация крупных проектов и другие направления, связанные с высоконагруженными системами.

Lambda architecture для real time-аналитики - риски и преимущества
BigData и машинное обучение

Доклад принят в Программу конференции
Avito

Руководитель разработки баз данных в Авито (HP Vertica, Postgre SQL, Redis, MongoDB, Tarantool). Построил в Авито хранилище на HP Vertica и продолжает его развивать, сейчас там более 100 Тб данных. До этого строил хранилища в ВТБ Факторинг, Ланит, НСС (на Терадате) и участвовал в ряде более мелких проектов. Преподает курс по хранилищам данных и Data Mining в Высшей школе экономики.

Тезисы

В 2017 построить аналитику на больших данных - это уже не достижение.
Витрины, отстающие на день - уже старые. Отставание на час - неплохо.

Достижением для 2017 является real time big data - доступные для широкого круга аналитические данные, отстающие от реальности на секунды (миллисекунды!).

Миллисекундное отставание - значит in-memory.
Big Data - значит все в оперативную память уже не влезет.
Значит, нужно совмещать.

Эту концепцию принято называть Lambda Architecture.
В Avito подобная схема построена путем совмещения HP Vertica (объемные исторические данные) + Redis/Tarantool (real time data cache).

Tarantool
,
Базы данных / другое

Другие доклады секции
BigData и машинное обучение

Rambler's Top100