H2E - High Efficiency Hosting from Parallels – как устроена наша новая хостинговая платформа Основная секция
Доклад принят в Программу конференции
Яндекс Go — продуктовая компания с устойчивой Data Driven-культурой, где все решения анализируются и проверяются с оглядкой на данные, а скрипт на Python или SQL может написать любой.
Тезисы
Тезисы:
1. Как построить высокоэффективный хостинг:
- высокая плотность - плотность сайтов, которую можно достигнуть (результаты тестирования на реальном железе)
- высокая надежность - 99,9999% готовности, реально ли это?
- схема резервирования каждого уровня и всей системы в целом
- сравнение подходов для построения высокоэффективного хостинга
- плюсы и минусы использования shared storage
- плюсы и минусы использования взаимно-реплицируемых web серверов с данными
2. Проблемы и их решение для высоко-эффективного web-hosting'а
- гарантированный уровень сервиса (SLA)
- использование технологий управления ресурсами Parallels Virtuozzo Containers для SLA
- гарантия процессорного времени с fair scheduler
- маленькие хитрости, которые различают shared хостинг и масс-хостинг
- поиск конфигурации нужного виртуального хоста становится проблемой
- запись логов на shared storage - нужно оптимизировать
- кеширование пользовательских данных (CacheFS + NFS)
- проблемы безопасности
- каждый сайт исполняется под своим пользователем
- пользователь видит только свои процессы
3. Распределение нагрузки
- как построить балансировщик нагрузки
- плюсы и минусы аппаратного решения
- плюсы и минусы балансировщика на базе linux kernel + IPVS
- плюсы и минусы балансировщика на базе linux kernel + haproxy
- резервирование с участием нескольких дата-центров
- DRBD для репликации пользовательских данных
- BGP как средство перераспределения нагрузки
Другие доклады секции Основная секция
Garage Eight — международная продуктовая компания, развивающая B2C-экосистему финтех- и инвестиционных продуктов для глобального рынка.
AdminDivision — 15 лет, инфраструктура для высоконагруженных и бизнес-критичных систем: DevOps, Kubernetes, мониторинг. Впрод — вендор инфраструктурного софта, продукт LLMaaS: платформа для запуска LLM в production на open-source стеке.
MiOps — провайдер IT-решений, который помогает бизнесу создавать, развивать и поддерживать современную инфраструктуру цифровых продуктов. Мы автоматизируем процессы разработки и эксплуатации, строим отказоустойчивые платформы, внедряем технологии искусственного интеллекта и обеспечиваем стабильную работу критически важных сервисов.
Яндекс – технологическая компания, которая создает инновационные продукты и сервисы на основе машинного обучения и нейронных сетей. Компания объединяет более 85 пользовательских сервисов. Основные бизнес-направления компании – поиск и портальные сервисы, электронная коммерция, сервисы объявлений, фантех, сервисы онлайн-заказа такси и заказа еды, автономный транспорт. Яндекс также предлагает продукты для рекламодателей и владельцев бизнеса.
Битрикс24 — одна из крупнейших IT-компаний России. Уже более 25 лет создают продукты, которые помогают работать бизнесу во всем мире. В их онлайн-сервисе собраны все нужные инструменты для работы компании и управления бизнесом. Среди них: сервис для создания, поддержки и развития веб-проектов, готовый набор инструментов для совместной работы компании и CRM-система.
Т‑Банк — онлайн-экосистема, основанная на финансовых и лайфстайл-услугах. Клиентами Т‑Банка стали 52 млн человек по всей России. Т‑Банк — второй крупнейший банк страны по количеству активных клиентов
NGENIX
VK — это более 200 технологичных и высоконагруженных проектов, свыше 15 000 сотрудников. ВКонтакте, ОК, VK Cloud, Дзен, Маруся, VK Play — это лишь часть продуктов VK, которыми ежедневно пользуются миллионы людей. ВКонтакте — крупнейшая социальная сеть в России. Команда ВКонтакте разрабатывает технологические решения, которые отвечают критериям быстродействия, отказоустойчивости и качества, чтобы пользователи получали максимум для общения, работы, учебы, развлечения и творчества.
https://www.sberbank.ru/
Авито, Sphinx
МТС — мультисервисная цифровая экосистема и ведущий телеком-оператор в России. Компания развивает сервисы и продукты в сфере больших данных, искусственного интеллекта, облачного хранения, медиа и финансов, телекоммуникаций. Штат IT-специалистов превышает 9,5 тыс. человек.
X5 Tech — IT-компания и основной цифровой партнёр торговых сетей и бизнесов X5. Команда из более 5000 специалистов разрабатывает решения, которые помогают более 417 тыс. сотрудникам группы работать с максимальным технологическим комфортом, а миллионам покупателей быстро и удобно покупать свежие продукты. Мы доказываем, что супермаркет — это тоже цифровой проект, в котором есть место большим данным, машинному зрению, мобильным приложениям и многому другому. В команде Х5 Tech сосредоточена экспертиза специалистов, которые отвечают за цифровое развитие всей компании.
Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Сбер — крупнейший банк России и технологическая компания, чья экосистема закрывает финансы, e-commerce, медиа и облачные сервисы. В команде десятки тысяч специалистов в IT, кибербезопасности и AI: собственные Big Data-платформы, модели GigaChat и Kandinsky, исследования в Институте искусственного интеллекта. Один из крупнейших IT-работодателей страны.
Райффайзен Банк, один из самых надежных российских банков, который создает финансовые решения для частных и корпоративных клиентов
Selectel — крупнейший независимый провайдер сервисов IT-инфраструктуры в России. Они создают облачные решения и предлагаем в аренду серверы, которые размещаем в своих дата-центрах в России. За каждым продуктом — опыт и экспертиза 1000+ сотрудников. Админы в Selectel работают с высоконагруженными сервисами, выстраивают и поддерживают инфраструктуру огромных масштабов. В компании 13 команд и направлений работы системных администраторов: от CloudOPS до Ceph-инженеров.
Грамант
VK — это более 200 технологичных и высоконагруженных проектов, свыше 15 000 сотрудников. ВКонтакте, ОК, VK Cloud, Дзен, Маруся, VK Play — это лишь часть продуктов VK, которыми ежедневно пользуются миллионы людей. ВКонтакте — крупнейшая социальная сеть в России. Команда ВКонтакте разрабатывает технологические решения, которые отвечают критериям быстродействия, отказоустойчивости и качества, чтобы пользователи получали максимум для общения, работы, учебы, развлечения и творчества.
Одна из самых быстрорастущих финтех-компаний в России. Мы создаем финансовые сервисы, которые встроены в повседневную жизнь клиентов.
Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
GoRunDebug - что пришло в голову когда пришла идея поработать над интересным для меня направление.
Сбер — крупнейший банк в России, поставщик технологических решений и один из ведущих финансовых институтов страны. SberDevices — исторически технологический стартап внутри Сбера, который создал «умные» устройства Sber, Jazz (платформу видеозвонков), GigaChat и многое другое.
Райффайзен Банк, один из самых надежных российских банков, который создает финансовые решения для частных и корпоративных клиентов
Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
X5 Tech — IT-компания и основной цифровой партнёр торговых сетей и бизнесов X5. Команда из более 5000 специалистов разрабатывает решения, которые помогают более 417 тыс. сотрудникам группы работать с максимальным технологическим комфортом, а миллионам покупателей быстро и удобно покупать свежие продукты. Мы доказываем, что супермаркет — это тоже цифровой проект, в котором есть место большим данным, машинному зрению, мобильным приложениям и многому другому. В команде Х5 Tech сосредоточена экспертиза специалистов, которые отвечают за цифровое развитие всей компании.
RaiffeisenBank - один из системно значимых банков Россиию
- Компания Virtual Minds - старейший adtech Германии, обслуживающий одни из самых крупных немецких компаний в publisher adserving, DSP, и SSP. - Tarantool - отечественная база данных от VK, с сервером приложений на борту, ориентированная на сверхвысокие OLTP нагрузки и исполнение кода прямо в базе.
Ви.Tech – Это компания занимающаяся разработкой для крупнейшего в россии DIY магазина
Звук — hifi-аудиомузыкальный сервис, который помогает пользователям находить и слушать музыку под настроение и стиль жизни. Фокусируется на персонализации, умных рекомендациях и удобном пользовательском опыте. Предлагает удобные подборки для любого настроения и подписку с широким каталогом треков.
Яндекс — российская технологическая компания: начинала как поисковик, а сейчас это большая экосистема сервисов (поиск, карты, такси, музыка, маркетплейс и др.). Развивает ИИ-технологии и строит высоконагруженные системы.
Разработка офисных продуктов.
Яндекс - технологическая компания.
Разработка офисных продуктов.
позже заполню
Tempesta Technologies
Raft — это компания, которая специализируется на разработке и интеграции решений с использованием новейших AI-технологий.
Data Egret
BI.ZONE — компания по управлению цифровыми рисками. Мы создаем IT-продукты для обеспечения кибербезопасности: от мобильных приложений до сложных платформ, в основе которых лежат методы машинного обучения.
Райффайзен Банк, один из самых надежных российских банков, который создает финансовые решения для частных и корпоративных клиентов
Разработка офисных продуктов.
Одна из самых быстрорастущих финтех-компаний в России. Мы создаем финансовые сервисы, которые встроены в повседневную жизнь клиентов.
Яндекс - технологическая компания.
Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
HIPER — международный производитель IT-техники для бизнеса и потребителей, на рынке с 2001 года. Продуктовый портфель: ноутбуки, мониторы, моноблоки, мини-ПК, серверное оборудование, ИБП и интерактивные панели. Произведено и продано 3 955 636 устройств корпоративного назначения; производственная мощность — до 50 000 устройств в месяц, спецпроизводство под проект — от одного месяца. Решения HIPER адаптированы для российских пользователей и закрывают ИТ-инфраструктуру бизнеса любого размера. Компания обеспечивает оперативное сервисное обслуживание и техническую поддержку через авторизованную сеть сервисных центров по всей стране. HIPER — технологии, создающие возможности.
Служила в Московском Новом Драматическом Театре. Участвует в независимых театральных проектах. С 2016 года преподавала технику речи в школе телевидения ex-tv. С 2019 года преподаватель курсов раскрепощения и творческой свободы в Школе молодых лидеров. С 2020 года преподаватель собственного курса по импровизации и раскрепощению в высшей школе медиа коммуникации.
Лидер трайба Цифровой ассистент в B2C.
платформы разработки приложений, интеграции, биллинг, телеком, немного финтеха, куча сервисов, всё норм, как сами
Райффайзен Банк, один из самых надежных российских банков, который создает финансовые решения для частных и корпоративных клиентов
Яндекс - технологическая компания.
Битрикс24 — одна из крупнейших IT-компаний России. Уже более 25 лет создают продукты, которые помогают работать бизнесу во всем мире. В их онлайн-сервисе собраны все нужные инструменты для работы компании и управления бизнесом. Среди них: сервис для создания, поддержки и развития веб-проектов, готовый набор инструментов для совместной работы компании и CRM-система.
Сбер — крупнейший банк России и технологическая компания, чья экосистема закрывает финансы, e-commerce, медиа и облачные сервисы. В команде десятки тысяч специалистов в IT, кибербезопасности и AI: собственные Big Data-платформы, модели GigaChat и Kandinsky, исследования в Институте искусственного интеллекта. Один из крупнейших IT-работодателей страны.
Ozon Fintech — технологичное подразделение экосистемы Ozon, разрабатывающее инновационные финансовые сервисы для 30+ млн пользователей. Команда создаёт продукты с нуля на микросервисной архитектуре, самостоятельно реализуя ключевые системы: банковское ядро, процессинг, AML-платформы и интеграции с платёжными сервисами, минимизируя legacy-код.
Вебпрактик разрабатывает сервисы и продукты для крупнейших корпораций в стране, много лет входит в топы разработчиков в премиум-ценовом сегменте.
РТЛабс — разработчик Госуслуг. Мы развиваем цифровую экосистему портала gosuslugi.ru и работаем над тем, чтобы изменить представление о государственных сервисах. Команда РТЛабс работает по agile, и наша главная метрика — довольный пользователь.
МТС — мультисервисная цифровая экосистема и ведущий телеком-оператор в России. Компания развивает сервисы и продукты в сфере больших данных, искусственного интеллекта, облачного хранения, медиа и финансов, телекоммуникаций. Штат IT-специалистов превышает 9,5 тыс. человек.
VK — это более 200 технологичных и высоконагруженных проектов, свыше 15 000 сотрудников. ВКонтакте, ОК, VK Cloud, Дзен, Маруся, VK Play — это лишь часть продуктов VK, которыми ежедневно пользуются миллионы людей. ВКонтакте — крупнейшая социальная сеть в России. Команда ВКонтакте разрабатывает технологические решения, которые отвечают критериям быстродействия, отказоустойчивости и качества, чтобы пользователи получали максимум для общения, работы, учебы, развлечения и творчества.
