Хранение и обработка больших массивов данных в рекомендательном движке сайта Имхонет
Дмитрий Исайкин
Хранение и обработка больших массивов данных в рекомендательном движке сайта Имхонет / Дмитрий Исайкин
Тезисы
Рекомендательный движок — аналитическая система, пытающаяся предсказать, какие произведения и в какой степени будут интересны пользователю. Рекомендательные системы являются удобной альтернативой поисковым алгоритмам, позволяя обнаружить объекты, которые не могут быть найдены последними. Необходимость таких систем с ростом количества товаров и услуг неуклонно растет — встает проблема выбора наиболее подходящего объекта в огромном множестве похожих предложений.
Для построения качественных рекомендаций необходимо учитывать всю предысторию пользовательского потребления товаров и услуг, которая выражается в виде оценок на уже знакомые пользователю объекты. Чем больше в системе пользовательских оценок, тем более точно можно построить прогноз. Поэтому перед рекомендательными системами встает проблема хранения и обработки больших объемов данных.
В докладе рассказывается об организации хранения пользовательских оценок, используемой в рекомендательном движке Imhonet.
Предложенная реализация позволяет движку хранить десятки миллионов оценок в гигабайте оперативной памяти, обслуживать тысячи запросов данных в секунду, является практически безблокировочным контейнером, что позволяет почти линейно масштабировать нагрузку на хранилище данных за счет увеличения количества потоков исполнения, обрабатывающих данные.
О докладчике
Дмитрий Исайкин, ведущий архитектор рекомендательного движка Imhonet
Контакты: disaykin@imhonet.ru