Конференция завершена. Ждем вас на Saint HighLoad++ в следующий раз!

Бесфайловая система хранения. Почему YDB работает с дисками напрямую Базы данных и системы хранения

Доклад принят в программу конференции
Владислав Кузнецов
Яндекс

Разработчик в группе распределенной платформы в Яндексе.
Владислав работает в отделе разработки систем хранения данных, в котором создаются и эксплуатируются очень разные сервисы с разными требованиями — высоконагруженные с гарантиями низких задержек, пишущие большие объемы данных. У отдела большой опыт эксплуатации кластеров из тысяч машин и десятков тысяч дисков.

Тезисы

Yandex Database (YDB) является платформой, на которой построено много сервисов — от баз данных до виртуальных дисков в Я.Облаке, на ней построены сервисы персистентных очередей и мониторинга.

Подсистема хранения в YDB спроектирована и построена для работы с дисками напрямую, без использования файловой системы. Помимо очевидных неудобств, это предоставляет большую свободу работы с дисками. В докладе подробно расскажу о том, как это помогает делать систему быстрее, надежнее и при этом меньше изнашивать диски.

За годы эксплуатации сотен тысяч дисков нами накоплено много статистики видов и причин отказов дисков. Расскажу про наш опыт, а также о том, каким образом мы обезопасили себя от потери данных и какие коварные отказы дисков встречаются.

Другие доклады секции Базы данных и системы хранения