Хранилище, которое построил Джек Базы данных, системы хранения
Тезисы
В докладе я хочу познакомить аудиторию с нашей разработкой - распределенным хранилищем структурированной информации. При разработке мы хотели объединить скорость и отказоустойчивость Key-Value+ хранилища с гибкостью структуры данных, как в SQL, и возможностью проводить произвольные запросы поиска.
Текущая реализация: .Net, поддержка нескольких СУБД на узлах (SQLite и MS SQL Server).
Столкнувшись с задачей хранения в БД таблиц с большим количеством строк (более 3 миллиардов) и поиска в этих таблицах по комбинациям более чем 5 условий, мы решили разработать свое хранилище. Для хранения мы использовали подход основанный на распределенных хеш-таблицах (применяемый, например, в Elliptics - DHT ) и разработали алгоритм для выполнения произвольных запросов поиска по распределенному хранилищу.