Кластерные параллельные вычисления

Владислав Шабанов (РБК-Медиа Мир/Вертикальный поиск)

Хранение и обработка больших объемов информации в иерархических БД.

"Классическая" архитектура web-серверов предполагает хранение данных в таблицах SQL-сервера. Обработкой данных и выдачей информации пользователям занимается один или несколько слоёв web-серверов, которые исполняют скрипты с логикой, кэшируют данные, раздают статические изображения и т. д. Схема простая, проверенная временем, но не лишенная недостатков в случае, когда приходится хранить и быстро обрабатывать действительно большие объемы информации.

В докладе рассмотрен альтернативный подход к построению систем, в которых хранятся и обрабатываются большие объемы информации. Рассматриваемая архитектура оптимизирована для параллельной обработки данных на кластере из десятков или сотен серверов, а система хранения учитывает свойство внутренней иерархичности данных, встречаемое в большом классе задач.

В отличие от классических SQL серверов в рассматриваемой системе запрещены операции вставки, редактирования и удаления единичных записей. Вместо этого применяется слияние, расщепление и фильтрация отсортированных таблиц, на которых удается эффективно реализовать массовые вставки, редактирования или удаления.