Особенности виртуального UNIX-хостинга и основные проблемы нагрузочного характера Основная секция
Доклад принят в Программу конференции
NGENIX
Технический директор компании NGENIX. Дмитрий отвечает за управление командами разработки, эксплуатации и сопровождения облачных сервисов для высоконагруженных приложений.
Более 25 лет опыта в проектировании и разработке технологических продуктов и сервисов, организации рабочих процессов, управлении проектами и командами. Глубокий технический бэкграунд в области разработки и эксплуатации облачных сервисов, высоконагруженных веб-проектов, сетевой инфраструктуры и ЦОД. Развитие процессов, навыков и культуры эффективной продуктовой разработки.
Тезисы
Тезисы:
Особенности виртуального UNIX-хостинга и основные проблемы нагрузочного характера
Рассмотрим типовую структуру хостинговой системы.
Базовое ПО и бОльшая часть системных ресурсов на типовом виртуальном хостинге общая и штатным средствами четко не делится. Причем основным узким местом в случае разумных настроек системы обычно являются процессорные ресурсы, реже - память, и только на последнем месте дисковая подсистема.
Основные проблемные места:
- web-сервер (для хостинга apache - стандарт де-факто):
- сам web-сервер (раздача контента)
- обработка пользовательских правил (rewrite и т.п.)
- обработка пользовательских скриптов модулями сервера (php и т.п.)
- скрипты пользователей
- сервер БД (чаще всего MySQL)
- другие общесистемные процессы, нагруженные в результате действий пользователей (например, отправка большого количества почты)
Мы рассмотрим, каким образом в разных случаях распределяются ресурсы по пользователям, как они лимитируются стандатными средствами и какие при этом возникают сложности.
Типовые методы выявления проблемных ресурсов и предотвращения типовых проблем
В данном разделе мы рассмотрим типовые причины появления высокой нагрузки на рассмотренных выше участках и достаточно стандартные действия, позволяющие как предотвратить чрезмерный рост нагрузки, так и локализовать узкое место и ресурс, создающий нагрузку. Эти процедуры далеко не всегда эффективны и иногда занимают заметное время, но сама схема виртуального хостинга и используемое ПО часто не оставляют других стандартных вариантов.
Варианты доработки хостинговой системы для увеличения эффективности работы с нагрузками
В этом разделе мы рассмотрим возможные механизмы автоматизации и варианты доработки хостинговой среды (от простого к сложному), позволяющие эффективнее работать с нагрузками на разных стадиях:
- автоматизация ручных операций для минимизации времени реагирования и снижения затрат
- простые и эффективные доработки web-сервера (apache)
- простые доработки сервера БД MySQL
Другие доклады секции Основная секция
Банк-ПСБ — российский банк с государственным участием и особой миссией. Мы выбраны в качестве опорного банка для предприятий оборонно-промышленного комплекса и сопровождения государственного оборонного заказа. При этом ПСБ — универсальный банк, развивающий бизнес и с гражданскими клиентами. ПСБ уже 30 лет работает на российском рынке и входит в топ-5 банков России по объему активов и в список 13 системно значимых кредитных организаций страны.
Газпромбанк. Тут сложно что-то еще добавить.
Помощь в повышении квалификации для работающих разработчиков и open source-разработка.
ОТП Банк входит в международную финансовую Группу ОТП (OTP Group), которая является одним из лидеров рынка финансовых услуг Центральной и Восточной Европы. ОТП Банк — это универсальная кредитная организация, предоставляющая широкий спектр банковских услуг и продуктов для корпоративных клиентов и частных лиц. Активы Банка на 1 апреля 2020 г. составили 152,6 млрд руб., собственный капитал — 33,7 млрд руб. ОТП Банк входит в число 50 крупнейших банков России, а по ряду направлений входит в число лидеров рынка. Занимает 2-е место на рынке POS-кредитования и 7-е место на рынке кредитных карт. ОТП Банк является участником Системы страхования вкладов, членом Ассоциации российских банков, Ассоциации Европейского Бизнеса, Национальной ассоциации участников фондового рынка, Национальной фондовой ассоциации, Московской Биржи. ОТП Банк обслуживает более 3,7 млн клиентов и присутствует более чем в 3 700 населенных пунктов России. Осуществление обслуживания происходит через собственную сеть, которая состоит в настоящее время из 171 049 точек потребительского кредитования, 88 кредитно-кассовых офисов (ККО), сети отделений из 135 точек клиентского обслуживания, банкоматной сети — 195 АТМ и 269 терминалов самообслуживания. ОТП Банк обладает аккредитацией на участие в конкурсах Агентства по страхованию вкладов, а также входит в список банков, поручительством которых могут быть обеспечены кредиты Банка России.
K2 Cloud — это профессиональная команда IТ-специалистов, product и sales-менеджеров. Вместе они развивают облачную платформу собственной разработки, которая предоставляет крупным корпоративным клиентам высокое качество сервисов по модели laaS, PaaS и квалифицированную поддержку в режиме 24/7.
Ви.Tech – Это компания занимающаяся разработкой для крупнейшего в россии DIY магазина
РСХБ.Цифра — это бренд, объединяющий все технологические решения Россельхозбанка и его дочерних компаний. Команда занимается цифровой трансформацией одного из крупнейших банков России и управляет высоконагруженными системами: АБС, ДБО, процессингом. Более 5000 человек по всей стране создают и выводят на рынок собственное ПО для банков и госкорпораций, финансовых, страховых организаций и агропромышленных предприятий. 26 программных продуктов РСХБ.цифра вошли в реестр отечественного ПО.
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Работают над созданием удобных онлайн-сервисов в самых разных сферах.
Инфраструктурная платформа Genesis Core максимально упрощает «пользовательский путь» разработчика, от первой строчки и до деплоя на прод через локальные стенды.
СберЗдоровье — российская медицинская компания, специализирующаяся на телемедицинских услугах и цифровых решениях в области здравоохранения.
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У них десятки тысяч RPS к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
AgentArea - безопасная платформа для управления ИИ-агентами. Молодая команда уже стала финалистом AI Championship в кибербезопасности.
AG-LEGAL — юридический консалтинг, сопровождающий IT-компании, а также крупные федеральные компании по вопросам интеллектуальной собственности, категорирования КИИ, персональных данных, включением в реестр отечественного ПО.
Компания Axiom JDK — поставщик российской платформы Java, основана управляющей командой Центра разработки Oracle в Санкт-Петербурге. Инженерное ядро сформировано из разработчиков, которые стояли у истоков создания Java в России и заботятся о безопасности платформы с 1997 г. Компания производит и поддерживает безопасный стек базовых технологий для разработки и исполнения Java приложений с обеспечением санкционной устойчивости.
Разработка офисных продуктов.
ООО «СИБИНТЕК-СОФТ» – дочернее общество ООО ИК «СИБИНТЕК» - внутреннего ИТ-интегратора компании Роснефть. Основной профиль – оказание услуг по реализации ИТ-проектов, сопровождению и развитию информационных систем, созданию и внедрению цифровых платформ и решений, в том числе разработка собственных продуктов в сфере информационных технологий как для поддержки процессов финансово-хозяйственной деятельности, так и для решения задач производственной автоматизации.
Авто.ру — это проект Яндекса, который помогает людям купить или продать машину
VK Tech занимается облачными решениями и не только.
K2 Cloud — это профессиональная команда IТ-специалистов, product и sales-менеджеров. Вместе они развивают облачную платформу собственной разработки, которая предоставляет крупным корпоративным клиентам высокое качество сервисов по модели laaS, PaaS и квалифицированную поддержку в режиме 24/7.
MTS Digital, KION - онлайн кинотеатр, который раздает десятки гигабит видео в секунду и делает жизнь чуть интереснее
AGIMA — крупнейший интегратор digital‑решений.
SberDevices — это компания полного цикла. Мы создаём идеи, самостоятельно разрабатываем продукты, занимаемся прототипированием, конструированием, придумываем дизайн, программные решения, контролируем качество на фабриках и создаём инструменты для аппаратного тестирования.
Data Egret
Авито, Sphinx
Миссия компании — обучить хотя бы 15% руководителей современным методикам управления и сделать Россию лидером в области корпоративного менеджмента.
AgentArea — безопасная платформа для управления ИИ-агентами. Молодая команда уже стала финалистом AI Championship в кибербезопасности.
MWS (МТС Web Services) - облачный сервис для внутреннего и внешнего пользователя
Разрабатывают софт для СберТех. Отдел занимается развитием Open Source-продуктов: Apache Ignite, Apache Kafka, Postgresql.
Компания Биокад — биотехнологическая компания полного цикла, то есть занимается как разработкой, так и производством лекарственных препаратов. В компании более 3000 сотрудников. Треть из них с научными степенями. IТ-департамент — более 250 человек.
BI.ZONE — компания по управлению цифровыми рисками. Мы создаем IT-продукты для обеспечения кибербезопасности: от мобильных приложений до сложных платформ, в основе которых лежат методы машинного обучения.
Tempesta Technologies
Грамант
ООО Группа Лоджик Старс является ведущим игроком на рынке IT и уже более 20 лет разрабатывает высококачественное программное обеспечение в сфере автобизнеса. Специализируются на создании инновационных решений, которые помогают ихклиентам оптимизировать бизнес-процессы, повышать эффективность и достигать высоких результатов.
Билайн — один из ведущих поставщиков телекоммуникационных услуг в России.
РСХБ.Цифра — это бренд, объединяющий все технологические решения Россельхозбанка и его дочерних компаний. Команда занимается цифровой трансформацией одного из крупнейших банков России и управляет высоконагруженными системами: АБС, ДБО, процессингом. Более 5000 человек по всей стране создают и выводят на рынок собственное ПО для банков и госкорпораций, финансовых, страховых организаций и агропромышленных предприятий. 26 программных продуктов РСХБ.цифра вошли в реестр отечественного ПО.
"Открытая Мобильная Платформа" обеспечивает компании надёжными отечественными решениями для построения доверенной безопасной мобильной инфраструктуры.
МФТИ / Физтех — ведущий российский исследовательский университет. Насчитывает 10 Нобелевских лауреатов. В топ‑100 глобального рейтинга Times Higher Education. Десятки научных школ, международные лаборатории, одни из сильнейших программ.
Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Разработка офисных продуктов.
Команда Т-Банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 50 миллионов клиентов. Т-Банк развивает IТ-индустрию, активно внедряет современные технологии и делится экспертизой.
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Работают над созданием удобных онлайн-сервисов в самых разных сферах.
Софт Инжиниринг - ИТ компания из Сибири, которая занимается автоматизацией бизнес-процессов и разработкой программного обеспечения. В нашей команде больше сотни профессионалов, среди которых: программисты, тестировщики, технические писатели, продакт-менеджеры.
В «Магните» занимается управлением портфелем IT-проектов, трансформацией IT-вертикали, а также контролирует эффективность производственного цикла. Одна из задач — повышение эффективности управления изменениями для бизнес-заказчиков.
Разработка офисных продуктов.
MAGNIT TECH — IT-компания, которая трансформирует один из крупнейших ритейлеров страны. Это более 5000 сотрудников, 800+ систем, 260+ проектов и одна цель: изменить ритейл в такт передовым технологиям. Мы не просто обслуживаем процессы, мы проектируем инновации с нуля, запускаем флагманские продукты и перестраиваем логику ритейла – от логистики и аналитики до клиентских платформ и AI-решений.
Компромиссная производительность (или какой логикой руководствуются владельцы коммерческих ресурсов)
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Работают над созданием удобных онлайн-сервисов в самых разных сферах.
VK Tech занимается облачными решениями и не только.
Газпромбанк. Тут сложно что-то еще добавить.
Лемана ПРО (Леруа Мерлен) — лидер рынка DIY в России. Переосмысливают DIY-ретейл так же, как другие технологические лидеры до этого меняли банкинг и IТ-сервисы. В компании можно с нуля создавать диджитал-решения, примерять разные роли, использовать современные технологии, запускать новые продукты.
Команда «Онтико» создает пространства для обмена опытом между профессионалами — мы проводим лучшие в России (и одни из лучших в мире) профессиональные конференции для IT-разработчиков.
Билайн — один из ведущих поставщиков телекоммуникационных услуг в России.
Яндекс Go — продуктовая компания с устойчивой Data Driven-культурой, где все решения анализируются и проверяются с оглядкой на данные, а скрипт на Python или SQL может написать любой.
СберТех разрабатывает IT-продукты для крупнейшего банка России, помогая ему строить экосистему цифровых сервисов.
ROGII — международная компания, разрабатывающая продукты для геонавигации.
АО ИНЛАЙН ГРУП - российская компания с 25 летней историей, классический ИТ системный интегратор. Продукт ИКСАР выведен на рынок в 2018 году и на данный момент занимает лидирующие позиции на рынке AR для Промышленности. Сайт продукта: https://iksar.pro/ ТГ канал продукта: https://t.me/iksarpro
VK Tech — независимая бизнес-вертикаль группы VK. В портфеле — экосистема собственных ИТ-решений для бизнеса: облачная платформа VK Cloud, сервисы для хранения и обработки данных VK Data Platform, Tarantool и Object Storage, сервисы продуктивности и бизнес-приложения. Решения используются в России и СНГ.
Объединенная компания Wildberries & Russ — международная IT-компания, лидер рынков e-commerce и наружной рекламы в России. Образована в результате слияния крупнейшего маркетплейса СНГ Wildberries и оператора наружной рекламы Russ. Бизнес-модель Wildberries & Russ построена на использовании технологий. Компания активно развивает собственную IT-инфраструктуру, а также продукты для покупателей, продавцов, рекламодателей и других категорий пользователей.
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У них десятки тысяч RPS к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
VK Tech занимается облачными решениями и не только.
МТС — одна из ведущих экосистемных компаний России. Предоставляет услуги мобильной и фиксированной связи, решения в области объединенных коммуникаций, интернета вещей, обработки данных, облачных вычислений и кибербезопасности. Штат IT-специалистов компании превышает 8 000 человек.
