Погружение в мир Big Data на Saint HighLoad++ 2024
Привет, друзья!
Saint HighLoad++ 2024 пройдёт в Санкт-Петербурге 24 и 25 июня. На площадке соберутся более 2000 специалистов и экспертов в области высоких нагрузок. Масштаб петербургских конференций приближается к московским, так что не пропустите главное событие лета ;)
Мы готовим площадку так, чтобы вы смогли не только послушать доклады, но и найти друзей в профессиональном сообществе, наговориться с экспертами и получить заряд энергии для новых свершений.
Забронировать билет
Сегодня мы подготовили несколько полезных видео об организации хранилищ баз данных.
Для начала рекомендуем посмотреть доклад Алексея Шишкина из "Яндекс", который детально рассказывает о том, как удалось сделать Apache Spark более эффективным для спортивного проекта.
Не менее интересен опыт Павла Сушина, также из Яндекса, который делится деталями эксплуатации YTsaurus – хранилища на 180 тыс. дисков, теперь доступного в Open Source. Это открывает новые горизонты для разработчиков и аналитиков данных.
А в этом видео Филипп Козьмин из Яндекс Маркет рассказывает, как команде удалось построить эффективное хранилище на YTsaurus с вместимостью 30 PT. Ежегодный прирост данных в проекте — 10 PT. Строгие SLA были сохранены.
На летней конференции мы продолжим тему хранилищ, больших данных и Machine Learning.
Доклады Saint HighLoad++ 2024 o работе с большими данными
Наш постоянный спикер Филипп Козьмин поделится опытом создания аналитических витрин с использованием YTSaurus. Если бизнесу нужны аналитические витрины с актуальными данными, а использование CEP-движков вроде Flink не по карману, существует компромисс. Применение технологий YTSaurus, YQL и динамических таблиц обеспечивает скорость обработки данных с низким порогом входа и масштабируемость до сотен ТБ. Этот подход интегрируется с классическими данными, упрощая обработку и обеспечивая прозрачность данных.
МТС обрабатывает огромные объёмы данных от абонентов в реальном времени для рекламных кампаний, используя триггерную систему без популярных фреймворков как Spark или Flink. Была реализована система на Java, K8s, PostgreSQL, Aerospike, Kafka, обрабатывая ~10 млн событий в секунду. Эти данные, актуальные в короткий период, обеспечивают максимальную выгоду через потоковую обработку. Евгений Ненахов из МТС Digital расскажет о подходах и технологиях.
Взыскание банком долга может выглядеть как консервативный процесс. Но прогресс не остановить — ML и здесь. От Ольги Кравченко из Газпромбанка узнаем, как устроен модельный скоринг, возможно ли подобрать идеальный мэтч между оператором и клиентом, почему не ко всем должникам приезжают домой. Немного заглянем и в будущее этой области.
