Тёмная сторона силы на HighLoad++

Вот мы и вновь изучаем на HighLoad++ устройство тёмной стороны силы — доклад «TopGun = архитектура терабитной DPI-платформы от шейпинга до PRISM» от Леонида Юрьева.

В докладе будет представлен обзор архитектуры многоцелевой DPI-платформы, на основе которой могут строиться как «шпионские» приложения класса СОРМ/PRISM, так и коммерческие системы PCEF/TDF (Traffic Shaping), безопасного Интернета (интеллектуальная фильтрация содержимого), таргетирование рекламы и т.д. К особенностям рассматриваемого решения можно отнести многотерабитное масштабирование, способ балансировки, обработку «роем» (Swarm Intelligence) и репликацию конечных автоматов для failover.

Краткий план:
- а на какую «луну» нужно сесть (что хотим сделать)?
- распределение трафика за счет использование коммутаторов и MAC rewrite (управляемые коммутаторы или «статический» OpenFlow).
- применение подхода/принципов Роя (Swarm Intellegence) для управления балансировкой и обработкой данных.
- репликация конечных автоматов (виртуальных микромашин).
- распределенное «Табло» как оперативное хранилище с элементами key-value, eventual consistency и RDF-модели. Реплики в виде key-value lockfree-хранилища в shared memory.
- некий hearbeat для постоянной проверки связанности и здоровья Роя.
- атрибутные деревья и rule engine (если-то) для конфигурирования логики работы прикладной системы.
- свой message-oriented транспорт унифицирующий DPDK, netmap, infiniband (RDMA), 0mq и zerocopy & lockfree обмен через shared memory.

Better the devil you know than the devil you don't — будьте готовы к знакомству ;-)

 Зарегистрироваться сейчас!