Рейтинг@Mail.ru

Профессиональная конференция разработчиков высоконагруженных систем

СКОЛКОВО, Москва 7 и 8 ноября

11-я ежегодная конференция для разработчиков highload-систем, которая соберет   2 700 участников из разных регионов России и мира. Мероприятие направлено на обмен знаниями о технологиях, позволяющих одновременно обслуживать многие тысячи и миллионы пользователей.

Программа охватывает такие аспекты веб-разработок, как архитектуры крупных проектов, базы данных и системы хранения, системное администрирование, нагрузочное тестирование, эксплуатация крупных проектов и другие направления, связанные с высоконагруженными системами.

Hyper100re: спасибо Яндексу и ClickHouse за наше трудное детство
Базы данных и системы хранения

Доклад отклонён
Positive Technologies

Advanced Research, Lead Shaman.

Ранее был замечен в Петер-Сервис R&D, Центре Инноваций Натальи Касперской, InfoWatch, КБ Кроникс, ISP ElCat.
https://www.linkedin.com/in/dev-null/

Тезисы

Представление колоночной СУБД Hyper100re - потомка ClickHouse, но уже без ориентации на подсчет web-статистики.

Колоночные базы неплохо зарекомендовали себя при решении проблем оперативной аналитики. Особенно включая запросы вида "а давайте еще вот это посмотрим...", для которых сложно предусмотреть индексы или какой-либо тюнинг.

Вот и нам потребовался быстрый поиск по произвольным критериям и в достаточно большом объеме данных. Немаловажно, что требовалось обеспечивать стабильную и минимальную задержку при добавлении данных, которое происходило постоянно и нередко с катастрофической скоростью.

Дополнительная сложность была в том, что решение должно было работать "на автопилоте" не только в "шарообразном кластере", но и в "спичечной коробке" с одним диском и несколькими гигабайтами RAM.

Это действительно прекрасный challenge…

Подбирая решения, мы не могли пройти мимо Clickhouse. Доступность исходного кода, его базовая работоспособность и пермиссивная лицензия не позволили нам устоять.

В докладе будет краткий рассказ о пройденном пути, важных доработках и новых возможностях:
- технический долг хуже карточного...
- работающие зональные индексы и column imprints, поэтому частенько в 10-100 раз быстрее (в сравнении с ClickHouse);
- а еще designated empty, column's default и другие плюшки.

К сожалению, весьма вероятно, что доклад будет перенесен на весенний РИТ-2018 по причине неготовности «потребительской» части проекта для широкого публичного использования.

Проще говоря, нам нужно больше времени на подготовку документации и красивую упаковку, чем мы исходно предполагали.

Поисковые системы
,
Бэкенд / другое
,
Оптимизация производительности
,
Распределенные системы
,
Администрирование баз данных
,
Корпоративная культура и мотивация
,
Импортозамещение
,
Big Data и Highload в Enterprise
,
Hadoop

Другие доклады секции
Базы данных и системы хранения

Rambler's Top100