Масштабированное кэширование для защиты кластера от перегрузок (Создание системы кэширования для сложных вычислительных систем)
Владимир Фльонц
Программный комитет еще не принял решения по этому докладу
!!8 Flyonts Serp Cache Hl++2008 (Office97)
View SlideShare presentation or Upload your own.
Масштабированное кэширование для защиты кластера от перегрузок / Владимир Фльонц
Тезисы
Опыт создания и использования собственной системы кэширования SERP
Некоторые запросы к поисковым машинам достаточно популярны и имеют свойство повторяться, вычислять их каждый раз заново было бы неразумной тратой времени.
Сложные условия попадания результата запроса в кэш, равно как и их оперативное удаление, а также большое количество кэшируемых данных лишают возможности использовать стандартные решения.
В реализации собственных решений, кроме прочего, важную роль играет скорость, масштабируемость и отказоустойчивость будущей системы.
План:- Общая структура поисковой машины МЕТА
- Схема обработки отдельно взятого поискового запроса, необходимость кэширования
- Первый опыт: небольшой кэш в памяти
- Необходимость расширения системы, возможные варианты
- Гарантированный результат за фиксированное время (время отклика)
- Второй опыт: всё в BTree
- Следующий опыт: смешанный кэш
- Скорость, масштабируемость, надёжность
- Возможные пути дальнейшего развития системы кэширования
О докладчике
Владимир Фльонц, разработчик ядра поисковой машины МЕТА.
Контакты: flyonts@meta.ua