Сказ об удалении данных на шардированной базеАрхитектуры, масштабируемость
Я закончила Новочеркасский Политехнический Институт, затем работала программистом в платежной системе, потом тим лидером, руководителем группы и заместителем технического директора по архитектуре. Я занималась оптимизацией производительности для БД в американской компании. Параллельно преподавала в Ростовском-на-Дону колледже связи и информатики Базы Данных.
Сейчас я архитектор модели данных в Сбербанке.
Учусь в аспирантуре Санкт-Петербургского Политехнического Университета.
Доклад будет полезен тем, у кого есть общие данные на шардированных базах. Например, в нашем проекте базы данных были шардированны по пользователям (точнее по их компаниям), но при этом были данные, которые использовались несколькими компаниями. Этот доклад описывает непростой переход, полный удивительных и иногда немного печальных открытий, от одной системы удаления файлов (в БД), которая уже не справлялась с объемом, к новой, сияющей и прекрасной. Проект по sharing’у файлов, входит в лидеры по магическому квадранту Гартнер, система работает 24\7, клиенты и в США и в Европе - самые высокие часы нагрузки, когда работает и Европа и США. На момент оптимизации удаления файлов на S3 было 2 Pb лишних данных, за которые, конечно, платила сама компания. Все изменения были сделаны в базе данных.
