Кластерные параллельные вычисления Основная секция
Доклад принят в Программу конференции
SberDevices — это компания полного цикла. Мы создаем идеи, самостоятельно разрабатываем продукты, занимаемся прототипированием, конструированием, придумываем дизайн, программные решения, контролируем качество на фабриках и создаем инструменты для аппаратного тестирования. Перед SberDevices стоит амбициозная задача: сделать новейшие технологии максимально доступными в повседневной жизни, помочь им раскрыться и практически, и коммерчески.
Тезисы
Хранение и обработка больших объемов информации в иерархических БД.
"Классическая" архитектура web-серверов предполагает хранение данных в таблицах SQL-сервера. Обработкой данных и выдачей информации пользователям занимается один или несколько слоёв web-серверов, которые исполняют скрипты с логикой, кэшируют данные, раздают статические изображения и т. д. Схема простая, проверенная временем, но не лишенная недостатков в случае, когда приходится хранить и быстро обрабатывать действительно большие объемы информации.
В докладе рассмотрен альтернативный подход к построению систем, в которых хранятся и обрабатываются большие объемы информации. Рассматриваемая архитектура оптимизирована для параллельной обработки данных на кластере из десятков или сотен серверов, а система хранения учитывает свойство внутренней иерархичности данных, встречаемое в большом классе задач.
В отличие от классических SQL серверов в рассматриваемой системе запрещены операции вставки, редактирования и удаления единичных записей. Вместо этого применяется слияние, расщепление и фильтрация отсортированных таблиц, на которых удается эффективно реализовать массовые вставки, редактирования или удаления.
Другие доклады секции Основная секция
RoboGate — это разработчик и поставщик IT-решений в сфере FinTech. Компания сосредоточена на создании и развитии удобной и безопасной инфраструктуры для институциональных и частных участников финансовых рынков. Клиенты RoboGate получают доступ к профессиональным торговым платформам и инновационным разработкам компании.
Building Al governance infrastructure to facilitate Al safety research across the globe.
Ozon — лидирующая платформа e-commerce в России. В команде Ozon Tech 3 800 инженеров — и она продолжает расти. Десятки миллионов людей пользуются сервисами Ozon, их IT-инфраструктура управляет миллионами процессов каждый час. Микросервисы на Go и C#, в стеке технологий есть Vue.js, Swift и Kotlin, Kubernetes, Kafka, Hadoop и ClickHouse.
ВКонтакте — крупнейшая социальная сеть в России и странах СНГ. Мы ставим перед собой масштабные вызовы и делаем технологии доступными для каждого пользователя. ВКонтакте помогает решать любые повседневные задачи — и даже больше!
Построение системы, которая может отвечать на вопрос вроде «с какими генами коррелирует выживаемость пациента при такой-то болезни и таком-то лечении» для редких заболеваний, при которых ни в одном биобанке данных не хватает. Система объединяет данные нескольких биобанков без фактического копирования данных.
Positive Technologies создаёт продукты в области кибербезопасности. Уже 20 лет основная задача компании — предотвращать хакерские атаки до того, как они причинят неприемлемый ущерб бизнесу и целым отраслям экономики. Продукты и сервисы Positive Technologies используют более 2300 компаний по всему миру.
Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
SberDevices — IT-компания полного цикла в экосистеме Сбера, R&D-центр экспертизы в области искусственного интеллекта: речевые технологии, понимание естественного языка, компьютерное зрение, лицевая и голосовая биометрия. Производит умные устройства — от лампочек до телевизоров. В портфолио SberDevices — ruGPT-3, ruDall-E, RuSBERT и другие масштабные ML-проекты, высоконагруженные системы и технологии обработки Big Data.
В X5 Tech разрабатываются цифровые решения, которые помогают десяткам миллионов людей покупать любимые продукты свежими и по лучшей цене каждый день. Мы доказываем, что супермаркет — это тоже цифровой проект, в котором есть место большим данным, машинному зрению, мобильным приложениям и многому другому. В команде Х5 Tech сосредоточена экспертиза специалистов, которые отвечают за цифровое развитие всей компании.
Мы - разработчик Proto Observability Platform - первой российской full stack observability платформы, и сервис-провайдер c более 10 лет опытом выполнения проектов по цифровой трансформации, кибербезопасности, облачным вычислениям, разработке программных продуктов на основе стека современных технологий.
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У них десятки тысяч rps к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
«Рексофт» — одна из ведущих компаний по разработке программного обеспечения и информационных систем, обладающая значительным опытом по созданию проектов для таких сфер бизнеса, как телекоммуникации и мобильная связь, банки и финансы, IТ, медиа, гостиничный бизнес и туризм.
Гринатом – ИТ-компания в структуре Росатом с фокусом на разработке инновационных решений для современных бизнес-процессов в атомной отрасли и за ее пределами. Мы развиваем цифровую экосистему Росатома, создаем свое ПО и обеспечиваем атомную отрасль современными ИТ-решениями, услугами и сервисами.
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У них десятки тысяч rps к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
СберАвто — команда мечты.
Yandex Cloud - публичная облачная платформа, предоставляет крупным компаниям, среднему бизнесу и частным разработчикам более 50 взаимосвязанных сервисов: масштабируемую инфраструктуру, сервисы хранения, обработки и анализа данных, инструменты машинного обучения, средства разработки и сервисы для командной работы.
«Нетология» — российская компания и образовательная онлайн-платформа, одна из ведущих российских компаний онлайн-образования.
Evocargo занимается перевозкой грузов на автономных грузовиках. Они одни из первых в мире, кто начал выполнять коммерческие заказы на реальных складах и производствах и решать задачи логистики с помощью беспилотных технологий. Evocargo сегодня — это более 150 конструкторов, разработчиков автопилота и системы управления флотом, ML-инженеров, software и hardware QA. С нуля проектируют, разрабатывают и производят по-настоящему автономные машины: без кабины водителя, руля и педалей.
IT-компания и основной цифровой партнер торговых сетей и бизнесов X5 Group. Команда из более 3500 специалистов разрабатывает решения, которые помогают 325 тысячам сотрудников группы работать с максимальным технологическим комфортом, а миллионам покупателей быстро и удобно покупать свежие продукты.
Evocargo занимается перевозкой грузов на автономных грузовиках. Мы одни из первых в мире, кто начал выполнять коммерческие заказы на реальных складах и производствах и решать задачи логистики с помощью беспилотных технологий. Evocargo сегодня – это более 150 конструкторов, разработчиков автопилота и системы управления флотом, ML-инженеров, software и hardware QA. Мы с нуля проектируем, разрабатываем и производим по-настоящему автономные машины: без кабины водителя, руля и педалей.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Ведущий провайдер облачных и AI-технологий
TCS Group – инновационный провайдер цифровых финансовых и лайфстайл-услуг. С момента основания в 2006 году Группа разработала полный комплекс технологических решений и услуг в таких сферах, как интернет-банкинг, брокерские услуги, торговый эквайринг и другие сервисы для продавцов, страхование, банковские услуги в сегменте МСБ и многое другое.
«Рексофт» — одна из ведущих компаний по разработке программного обеспечения и информационных систем, обладающая значительным опытом по созданию проектов для таких сфер бизнеса, как телекоммуникации и мобильная связь, банки и финансы, IТ, медиа, гостиничный бизнес и туризм.
TCS Group – инновационный провайдер цифровых финансовых и лайфстайл-услуг. С момента основания в 2006 году Группа разработала полный комплекс технологических решений и услуг в таких сферах, как интернет-банкинг, брокерские услуги, торговый эквайринг и другие сервисы для продавцов, страхование, банковские услуги в сегменте МСБ и многое другое.
На Авито каждый может найти что-то свое среди миллионов частных объявлений и предложений компаний. У нас десятки тысяч rps к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
Одна из ведущих туристических компаний России, включающая туроператора и сеть турагентств. Компания была основана в 2009 году на базе российских туроператоров VKO Group и Mostravel и была известна как TUI Россия и СНГ. 10 марта 2022 года сменила имя на FUN&SUN.
VK — это более 200 технологичных проектов, свыше 11 000 сотрудников и более 20 лет опыта создания высоконагруженных интернет-сервисов. ВКонтакте, Одноклассники, VK Cloud, Дзен, Маруся, VK Play — это лишь часть продуктов VK, которыми ежедневно пользуются миллионы людей по всей стране.
Raft — компания, специализирующееся на разработке и интеграции решений с использованием новейших AI технологий. Наша цель — помочь организациям всех размеров внедрять и использовать передовые AI технологии для оптимизации бизнес-процессов, повышения производительности и достижения конкурентного преимущества.
Ozon — лидирующая платформа e-commerce в России. В команде Ozon Tech 3 800 инженеров — и она продолжает расти. Десятки миллионов людей пользуются сервисами Ozon, их IT-инфраструктура управляет миллионами процессов каждый час. Микросервисы на Go и C#, в стеке технологий есть Vue.js, Swift и Kotlin, Kubernetes, Kafka, Hadoop и ClickHouse.
SberDevices — дочерняя компания Сбера, которая производит «умные» устройства. Это B2B- и B2C-девайсы для экосистемы с применением речевых технологий и виртуальным ассистентом на борту.
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У них десятки тысяч rps к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
Postgres Professional — разработчик Postgres Pro, самой популярной российской системы управления базами данных. В команде Postgres Professional — 70% российских разработчиков PostgreSQL. Среди заказчиков Postgres Pro — крупнейшие российские компании из списка РБК-500, а также объекты КИИ.
Гринатом – ИТ-компания в структуре Росатом с фокусом на разработке инновационных решений для современных бизнес-процессов в атомной отрасли и за ее пределами. Мы развиваем цифровую экосистему Росатома, создаем свое ПО и обеспечиваем атомную отрасль современными ИТ-решениями, услугами и сервисами.
Практические методики нагрузочного тестирования, опыт тестирования производительности веб-приложений
Evocargo занимается перевозкой грузов на автономных грузовиках. Они одни из первых в мире, кто начал выполнять коммерческие заказы на реальных складах и производствах и решать задачи логистики с помощью беспилотных технологий. Evocargo сегодня — это более 150 конструкторов, разработчиков автопилота и системы управления флотом, ML-инженеров, software и hardware QA. С нуля проектируют, разрабатывают и производят по-настоящему автономные машины: без кабины водителя, руля и педалей.
Команда Тинькофф — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются более 38 миллионов клиентов. Тинькофф развивает IT-индустрию, поддерживает комьюнити и делится экспертизой.
