Highload++ 2017 завершён!

Профессиональная конференция разработчиков высоконагруженных систем

СКОЛКОВО, Москва 7 и 8 ноября

11-я ежегодная конференция для разработчиков highload-систем, которая соберет   2 700 участников из разных регионов России и мира. Мероприятие направлено на обмен знаниями о технологиях, позволяющих одновременно обслуживать многие тысячи и миллионы пользователей.

Программа охватывает такие аспекты веб-разработок, как архитектуры крупных проектов, базы данных и системы хранения, системное администрирование, нагрузочное тестирование, эксплуатация крупных проектов и другие направления, связанные с высоконагруженными системами.

Проблемы работы с большими объемами реляционно слабосвязанных данных в высоконагруженных веб-проектах
Основная секция

Доклад принят в Программу конференции
Data Egret

CEO и консультант в компании Data Egret, специалист по базам данных PostgreSQL, Oracle, DB2.

Тезисы




Проблемы работы с большими объемами реляционно слабосвязанных данных в высоконагруженных веб-проектах / Илья Космодемьянский

Тезисы

Высоконагруженные проекты оперируют большим количеством данных. Часто случается, что эти данные не вписываются в привычную структуру реляционной СУБД, что резко снижает эффективность ее использования и является критичным для работы под большой нагрузкой. Ситуация может возникать по разным причинам, как объективным – природа самих данных, так и субъективным – используемые для реализации бизнес-логики подходы к разработке и технологии.

В данном сообщении будет рассказано о ряде задач, в которых приходится сталкиваться с большими объемами реляционно не связанных данных. Будут рассмотрены основные пути решения этих проблем – готовые решения, подходы к разработке собственных, решения на базе основных современных реляционных СУБД, традиционно применяемых в веб- разработке. Особое внимание планируется уделить сравнительной оценке плюсов и минусов каждого решения в контексте эффективности, надежности, простоты в разработке и поддержке.

Предлагаемые нами подходы основываются как на изучении общедоступного опыта по рассматриваемому вопросу, так и на обширном опыте, накопленном в компании «СУП фабрик».

О докладчике

Илья Космодемьянский, ведущий разработчик отдела технологий баз данных компании "Суп Фабрик".

Контакты: ilya.kosmodemiansky@sup.com

Другие доклады секции
Основная секция

Postgres Professional — разработчик Postgres Pro, самой популярной российской системы управления базами данных. В команде Postgres Professional — 70% российских разработчиков PostgreSQL. Среди заказчиков Postgres Pro — крупнейшие российские компании из списка РБК-500, а также объекты КИИ.
Яндекс Еда – это про скорость, про быструю доставку из кафе, ресторанов и любых магазинов.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
На Авито каждый может найти что-то свое среди миллионов частных объявлений и предложений компаний по всей России: от квартиры и автомобиля до работы и кандидатов на вакансии. Сервис делают более 1300 инженеров. В Авито небольшой монолит на PHP, несколько сотен микросервисов на Go и Python, фронтенд на JavaScript, базы данных PostgreSQL, MongoDB и Redis, автоматические тесты, обученная на данных система модерации и поисковый движок Sphinx. Продуктом каждый месяц пользуется треть населения России.
Яндекс Еда – это про скорость, про быструю доставку из кафе, ресторанов и любых магазинов.
Технологический партнер с комплексной экспертизой в области построения и развития инфраструктуры, внедрения информационных систем, разработки программных решений и сервисной поддержки. КРОК реализует проекты, которые задают тон индустрии: от крупнейшего ЦОДа в стране до «умной» инфраструктуры спортивных объектов.
Гринатом – ИТ-компания в структуре Росатом с фокусом на разработке инновационных решений для современных бизнес-процессов в атомной отрасли и за ее пределами. Мы развиваем цифровую экосистему Росатома, создаем свое ПО и обеспечиваем атомную отрасль современными ИТ-решениями, услугами и сервисами.
IT-компания и основной цифровой партнер торговых сетей и бизнесов X5 Group. Команда из более 3500 специалистов разрабатывает решения, которые помогают 325 тысячам сотрудников группы работать с максимальным технологическим комфортом, а миллионам покупателей быстро и удобно покупать свежие продукты.
Т1 — многопрофильный холдинг, один из лидеров российского IТ-рынка, является партнером ключевых производителей и разработчиков в сфере информационных технологий. В штате — 20 тысяч сотрудников. В 2022 году оборот холдинга составил свыше 166,7 млрд рублей. По версии аналитических агентств CNews Analytics, TAdviser и RAEX, Т1 входит в топ-3 крупнейших российских IТ-компаний. В состав холдинга входят кластеры: Т1 (компании Т1 Интеграция, Т1 Консалтинг, Т1 Cloud, Сервионика), МультиКарта, Иннотех, Дататех и НОТА.
Яндекс Еда – это про скорость, про быструю доставку из кафе, ресторанов и любых магазинов.
Wildberries — онлайн-платформа с 18-летней историей. География присутствия площадки охватывает 7 стран мира, в том числе Россию, Белоруссию, Казахстан, Армению, Киргизию. Ежедневно на площадке оформляется 8 млн заказов, а 90% её продавцов — представители малого бизнеса.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Hilbert Team — системный IТ‑интегратор. Отраслевой эксперт в области DevOps, DataOps, DevSecOps и FinOps.
СберМаркет (ООО «Инстамарт Технолоджис») — технологический онлайн-сервис, который помогает делать покупки не выходя из дома. Tech-команда СберМаркета создает один из самых сложных высоконагруженных e-commerce-проектов в России и делает это с любовью.
Гринатом – ИТ-компания в структуре Росатом с фокусом на разработке инновационных решений для современных бизнес-процессов в атомной отрасли и за ее пределами. Мы развиваем цифровую экосистему Росатома, создаем свое ПО и обеспечиваем атомную отрасль современными ИТ-решениями, услугами и сервисами.
Дзен — контентная платформа, которой каждый месяц пользуются 32,5 миллиона человек. Рекомендательные алгоритмы отбирают контент для персональных лент пользователей от 100 тысяч авторов из почти 5 миллионов возможных вариантов.
ВКонтакте — крупнейшая социальная сеть в России и странах СНГ. Миссия ВКонтакте — соединять людей, сервисы и компании, создавая простые и удобные инструменты коммуникации. VK — это больше 200 технопроектов. Свыше 10 000 человек создают и развивают одни из самых популярных и высоконагруженных интернет-сервисов в стране. Делают комфортнее, легче и интереснее жизнь сотне миллионов людей.
«Платформа Сфера» — универсальная экосистема продуктов для производства технологических решений, которая включает в себя более 40 инструментов для управления разработкой, тестированием, эксплуатацией программного обеспечения, а также инженерных инструментов для работы с исходным кодом и инструментами мониторинга рабочих станций и анализа бизнес-процессов.
Tarantool — middleware для эффективного создания высоконагруженных сервисов. Сочетает в себе сервер приложений, гибридное хранилище данных, а также инструменты и средства масштабирования. Производительность систем на Tarantool может достигать 1 млн транзакций в секунду.
Altenar — международная IT-b2b-компания с офисами в России, на Мальте и в Греции, которая занимается разработкой высоконагруженного программного обеспечения для сбора, обработки, анализа спортивных данных в реальном времени и их последующего преобразования в информацию для b2b-клиентов.
С 2023 года я самостоятельный бизнес-тренер. Работаю с физическими лицами и корпоративными клиентами. Мои корповые клиенты - это лидеры своих отраслей (банки из ТОП-3, ритейлеры из ТОП-5, ИТ-компании из ТОП-50 по мнению hh.ru). Cайт:
Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Доклад будет о личном проекте, так что в его контексте автор и есть компания :)
Газпромбанк — один из крупнейших банков России. Они не просто банкиры: создают искусственный интеллект, придумывают новые цифровые продукты и поддерживают профессиональное комьюнити. Планируют стать самым дата-центричным и диджитализированным банком страны.
Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Positive Technologies — лидер рынка результативной кибербезопасности. Компания является ведущим разработчиком продуктов, решений и сервисов, позволяющих выявлять и предотвращать кибератаки до того, как они причинят неприемлемый ущерб бизнесу и целым отраслям экономики. Технологии компании используют более 3300 организаций по всему миру, в том числе 80% компаний из рейтинга «Эксперт-400».
Altenar — международная IT-b2b-компания с офисами в России, на Мальте и в Греции, которая занимается разработкой высоконагруженного программного обеспечения для сбора, обработки, анализа спортивных данных в реальном времени и их последующего преобразования в информацию для b2b-клиентов.
Команда Тинькофф — это разработчики, продакт-менеджеры, дизайнеры, маркетологи, аналитики, тестировщики, SRE-инженеры и другие специалисты. Вместе они создают новые и развивают существующие финтех-продукты, которыми пользуются 25 миллионов клиентов и каждый из нас.
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У нас десятки тысяч rps к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
Экспресс 42 помогает технологическим компаниям формировать инженерные практики для производства их продуктов. Внедряют DevOps-практики и инструменты, помогают эксплуатировать интернет-проекты.
Доклад будет о личном проекте, так что в его контексте автор и есть компания :)
СберТех — российский разработчик программного обеспечения для бизнеса и государства, основной поставщик решений для Сбера. Флагманское решение компании – цифровая облачная платформа Platform V для создания приложений любого масштаба и сложности и обеспечения технологической̆ независимости на уровне ПО.
Крупнейшая российская IT компания с самой большой долей поиска в РФ.
DDoS-Guard — cпециализированный провайдер защиты от DDoS-атак на базе собственных разработок. Им доверяют тысячи клиентов по всему миру, среди которых ISPsystem, Selectel, Reg.ru, hh.ru и другие. За 2023 год система защиты DDoS-Guard отразила 1.4 млн атак.
БФТ-Холдинг – российский разработчик программных продуктов и заказных решений для государственного сектора России. Проекты, выполняемые нами, меняют в лучшую сторону жизнь людей по всей России.
SberDevices — IT-компания полного цикла в экосистеме Сбера, R&D-центр экспертизы в области искусственного интеллекта: речевые технологии, понимание естественного языка, компьютерное зрение, лицевая и голосовая биометрия. Производит умные устройства — от лампочек до телевизоров. В портфолио SberDevices — ruGPT-3, ruDall-E, RuSBERT и другие масштабные ML-проекты, высоконагруженные системы и технологии обработки Big Data.
QIWI — международная группа компаний, которая предоставляющая платежные и финансовые сервисы в России и в других странах.
Компания «ЭвоКарго» разрабатывает автономные логистические решения. «ЭвоКарго» предлагает принципиально новую экономически эффективную логистическую услугу по сервисной модели с применением автономного транспорта собственного производства на складских и производственных площадках. За три года компания стала одной из первых в мире, успешно запустивших полностью автономный логистический сервис грузоперевозок. Сервис позволяет снизить расходы на содержание флота до 30%.
Yandex Cloud - публичная облачная платформа, предоставляет крупным компаниям, среднему бизнесу и частным разработчикам более 50 взаимосвязанных сервисов: масштабируемую инфраструктуру, сервисы хранения, обработки и анализа данных, инструменты машинного обучения, средства разработки и сервисы для командной работы.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Яндекс Еда – это про скорость, про быструю доставку из кафе, ресторанов и любых магазинов.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Rambler's Top100