Давайте посмотрим на данные как на актив, на ценность, а не как на бегущие по трубам отходы производства, последствия работы сервисов высоконагруженного приложения.

Речь в докладе пойдет о том, что к системе больших данных предьявляются достаточно жесткие, часто конкурирующие требования. Удовлетворить их все на существующем техническом уровне сложно, и получается монолит - медленно развивающийся, сложный в поддержке. Логическое хранилище данных предполагает три части - поддерживающее SQL основное хранилище (ядро монолита) + допускающие микросервисный подход озера данных (на document store базах) и Agile ODS (быстро разрабатываемые и работающие витрины на in-memory/виртуализируемых базах). В таком виде это будет быстро развиваться и покрывать самые разнообразные хотелки продуктовых команд, что бы они ни захотели - 50ms-отставание, real time-аналитику по живым данным, сложные Machine Learning-алгоритмы, огромные объемы и/или недопустимость потери ни единой копейки. Даже, если эти хотелки противоречат друг другу.