Heavy load: большие blob’ы в ваших сетях Архитектуры, масштабируемость

Доклад принят в программу конференции
Андрей Рикунов
Яндекс.Медиалаб

Более 15 лет разрабатывает различные системы, имеет продолжительный опыт в разработке медиасервисов. Много писал на Java, сейчас с большим интересом изучает и использует Python. Знает много про FFMPEG и как устроены видео- и аудиокодеки, может выступать экспертом по множеству аспектов работы с ними. Любит Яндекс — для Андрея это компания с неограниченными профессиональными возможностями.
С самого начала (апрель 2017) участвует в разработке онлайн-кинотеатра Кинопоиск.HD. Сейчас руководит группой разработки системы управления конвертацией медиаданных (видео, аудио, субтитры и т.п.), а также разработкой системы управления цифровыми правами.

Тезисы

Онлайн-кинотеатры работают с большими каталогами фильмов, непрерывно обновляя и перерабатывая каталог. Фильмы — это большие и сложно структурированные данные. Размер одного фильма может составлять несколько терабайт, весь каталог исчисляется петабайтами. Подготовка фильма для последующей доставки — это длительная и ресурсоемкая операция. Расскажу о том, сколько нужно ресурсов и какие использовать технологии, чтобы такие большие blob'ы не раздавили вас.

Другие доклады секции Архитектуры, масштабируемость