Рейтинг@Mail.ru
Highload++ 2017 завершён. Ждем вас на Highload++ 2018!

Профессиональная конференция разработчиков высоконагруженных систем

СКОЛКОВО, Москва 7 и 8 ноября

11-я ежегодная конференция для разработчиков highload-систем, которая соберет   2 700 участников из разных регионов России и мира. Мероприятие направлено на обмен знаниями о технологиях, позволяющих одновременно обслуживать многие тысячи и миллионы пользователей.

Программа охватывает такие аспекты веб-разработок, как архитектуры крупных проектов, базы данных и системы хранения, системное администрирование, нагрузочное тестирование, эксплуатация крупных проектов и другие направления, связанные с высоконагруженными системами.

ArangoDB: Transactional information retrieval
Базы данных и системы хранения

Доклад отклонён
ArangoDB

Последние 5 лет занимается разработкой поисковых и рекомендательных систем, специализируется на методиках анализа данных, основанных на различных мерах похожести, задачах классификации и кластеризации.

Тезисы

Доклад посвящен реализации поискового движка IResearch (https://github.com/iresearch-toolkit/iresearch) и его интеграции в нативную мультимодельную базу данных ArangoDB (https://github.com/arangodb/arangodb), поддерживающую важнейшие модели данных. Ценность такого решения определяется тем, что в многих практических ситуациях мы сталкиваемся с задачами хранения/поиска/анализа, требующими совместной работы с различными типами данных, включая:
- структурированные таблицы;
- списки объектов с переменной схемой;
- сильно связанные данные (деревья, графы);
- неструктурированные данные (текст).

Как правило, это приводит к появлению "зоопарка" специализированных решений для множества типовых сценариев: большого числа узкоспециализированных СУБД, а также программных инструментов (требующих постоянной поддержки), обеспечивающих «прозрачность» для пользователя.

Наш подход позволяет избежать возникновения этого "зоопарка" и связанных с ним проблем. Наше решение интегрирует функционал и скорость поисковых движков (таких, как ElasticSearch/Solr/Sphinx) в ядро ArangoDB, позволяя обеспечить оптимальный план выполнения запросов и максимальную производительность (особенно в кластере), сильно сократить объем данных, пересылаемых между узлами, а также гарантировать ACID. Весь функционал доступен пользователю через SQL-like язык, позволяющий комбинировать различные модели данных в одном запросе, что придает решению ряд очень интересных свойств.

В докладе мы опишем основные черты ArangoDB и IResearch, а также расскажем:
- об интеграции IResearch в транзакционную модель ArangoDB;
- о подходе, использованном для интеграции в кластер;
- об интеграции IResearch в ArangoDB Query Language (AQL);
- об отличиях и особенностях IResearch и Lucene;
- о новых ценных возможностях ArangoDB после интеграции, например, о работе с графом одновременно и как с плоской, и как со связанной структурой.

В заключение мы расскажем о некоторых задачах в прикладных областях (например, биоинформатика), где данное решение оказывается особенно эффективным.

C/C++
,
Поисковые системы
,
Базы данных / другое
,
Big Data и Highload в Enterprise

Другие доклады секции
Базы данных и системы хранения

Rambler's Top100