Highload++ 2017 завершён!

Профессиональная конференция разработчиков высоконагруженных систем

СКОЛКОВО, Москва 7 и 8 ноября

11-я ежегодная конференция для разработчиков highload-систем, которая соберет   2 700 участников из разных регионов России и мира. Мероприятие направлено на обмен знаниями о технологиях, позволяющих одновременно обслуживать многие тысячи и миллионы пользователей.

Программа охватывает такие аспекты веб-разработок, как архитектуры крупных проектов, базы данных и системы хранения, системное администрирование, нагрузочное тестирование, эксплуатация крупных проектов и другие направления, связанные с высоконагруженными системами.

Горизонтальное масштабирование SQL Server на основе зависимой от данных маршрутизации
Основная секция

Доклад принят в Программу конференции
Билайн — один из ведущих поставщиков телекоммуникационных услуг в России.

Тезисы

Аннотация

Как известно, существуют два основных подхода к масштабированию приложений: вертикальное масштабирование, когда хостом выступает отдельная машина, вычислительные мощности которой наращиваются по мере необходимости, и горизонтальное масштабирование, когда вычислительная система состоит из группы однотипных серверов потребительского класса, работающих совместно. Повышение масштабируемости в этом случае осуществляется простым добавлением новых узлов в группу. Каждый подход имеет свои сильные и слабые стороны. В настоящем докладе разбираются условия, при которых предпочтительным вариантом является горизонтальное масштабирование в целом, и, в частности, метод, известный как зависимая от данных маршрутизация (Data Dependent Routing) при построени горизонтально масштабируемых систем. Доклад основывается на материалах лаборатории масштабирования SQL Server (SQL Server Scalability lab), занимавшейся практическим сценарием построения коммуникационной платформы для сайта MSN (The Microsoft Network). В качестве операционной системы выступала Microsoft Windows® Server™ 2003, Enterprise Edition.

Введение

Предыдущее десятилетие ознаменовалось взрывным ростом объемов данных. Сейчас, когда многие бизнес-приложения изначально ориентированы на работу в Интернете, компании взаимодействуют с миллионами он-лайновых пользователей, которые делают покупки, хранят сообщения электронной почты, просматривают финансовую информацию и т.д. Сердцем корпоративных информационных систем выступают, естественно, базы данных. SQL Server является одной из лидирующих платформ СУБД в центрах данных.

Каждое соединение и каждый запрос потребляют процессорное время, память, дисковые, сетевые и др.ресурсы. Поэтому традиционно масштабируемость достигалась путем апгрейда стандартных SMP-архитектур, когда в сервер ставились дополнительные процессоры, память, диски, сетевые карты и другое необходимое аппаратное обеспечение. Вертикальное масштабирование является достаточным в большинстве нынешних сценариев внедрения SQL Server. Однако машину нельзя апгрейдить до бесконечности. Когда мы ежесекундно имеем дело с миллионами пользовательских запросов могут происходить ситуации, когда сервер просто достигает предела своих аппаратных характеристик. В этом случае решение видится в горизонтальном масштабировании, когда данные и нагрузка распределяются по массиву из SMP-узлов.

Горизонтально масштабируемые системы «растут» добавлением узлов в массив. В идеале оно должно происходить прозрачно для пользователя. Равно как пользователя не должно заботить, на каком узле лежат потребные ему данные и кто из узлов в настоящий момент обрабатывает его запрос. Кластер программируется и управляется как единая система.

По аналогии с процессорной архитектурой стоит отметить, что к горизонтальному масштабированию также может применяться симметричный или асимметричный подход. В качестве иллюстрации последнего можно привести разбиение на основе сервисов, когда, например, каталог продукции располагается и обслуживается одним сервером БД, складской учет ведется на другом, корзины покупателей – на третьем и т.д. Промежуточный бизнес-слой «знает», к какому серверу обращаться по какому вопросу. Другая стратегия разбиения предполагает, что по узлам распределяются большие таблицы независимо от того, к какой БД/сервису они относятся. Этот подход носит более симметричный характер. Как бы то ни было, помимо разбиения, горизонтальное масштабирование ставит в более сложные условия процессы управления и администрирования массивов серверов, но имеет при этом следующие преимущества по сравнению с «монолитными» системами.

  • Массивы могут состоять из недорогих распространенных серверов потребительского класса, следовательно, минимальная дельта наращивания экономически эффективна.
  • Выход из строя узла не обязательно делает приложение недоступным.
  • Относительная независимость узлов облегчает повышение отказоустойчивости и высокой доступности.

Далее в докладе будут разобраны детали реализации и показатели производительности симметричного горизонтального решения на примере федерации серверов SQL Server 2005 для обслуживания сайта MSN.

Другие доклады секции
Основная секция

Бюро Розетка — это команда экспертов в образовании: мы выстраиваем корпоративное обучение, проводим конференции, организуем стажировки и формируем профессиональные сообщества с вниманием к людям и результату
МФТИ / Физтех — ведущий российский исследовательский университет. Насчитывает 10 Нобелевских лауреатов. В топ‑100 глобального рейтинга Times Higher Education. Десятки научных школ, международные лаборатории, одни из сильнейших программ.
Altenar — международная IT-b2b-компания с офисами в России, на Мальте и в Греции, которая занимается разработкой высоконагруженного программного обеспечения для сбора, обработки, анализа спортивных данных в реальном времени и их последующего преобразования в информацию для b2b-клиентов.
SberDevices — это компания полного цикла. Мы создаём идеи, самостоятельно разрабатываем продукты, занимаемся прототипированием, конструированием, придумываем дизайн, программные решения, контролируем качество на фабриках и создаём инструменты для аппаратного тестирования.
ВБТЕХ - Технологический фундамент Wildberries. Делаем покупки в интернете доступными для России, Беларуси, Казахстана, Кыргызстана, Армении и Узбекистана
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Работают над созданием удобных онлайн-сервисов в самых разных сферах.
BI.ZONE — компания по управлению цифровыми рисками. Мы создаем IT-продукты для обеспечения кибербезопасности: от мобильных приложений до сложных платформ, в основе которых лежат методы машинного обучения.
MWS Data занимается разработкой платформы для работы с данными. У них есть опыт работы с кластерами на десятки петабайт и 600+ сотрудников, активно взаимодействующих с этими данными.
Домклик — продуктовая технологическая компания, которая создает высоконагруженные проекты в сфере недвижимости, обеспечивая полный цикл от выбора квартиры, получения ипотеки, взаиморасчетов с продавцом до постпродажного сопровождения.
Команда Т-Банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 40 миллионов клиентов. Т-Банк развивает ИТ-индустрию, поддерживает комьюнити и делится экспертизой.
Команда Т-Банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 40 миллионов клиентов. Т-Банк развивает ИТ-индустрию, поддерживает комьюнити и делится экспертизой.
МФТИ / Физтех — ведущий российский исследовательский университет. Насчитывает 10 Нобелевских лауреатов. В топ‑100 глобального рейтинга Times Higher Education. Десятки научных школ, международные лаборатории, одни из сильнейших программ.
МФТИ / Физтех — ведущий российский исследовательский университет. Насчитывает 10 Нобелевских лауреатов. В топ‑100 глобального рейтинга Times Higher Education. Десятки научных школ, международные лаборатории, одни из сильнейших программ.
SberDevices — это компания полного цикла. Мы создаём идеи, самостоятельно разрабатываем продукты, занимаемся прототипированием, конструированием, придумываем дизайн, программные решения, контролируем качество на фабриках и создаём инструменты для аппаратного тестирования.
SberDevices — это компания полного цикла. Мы создаём идеи, самостоятельно разрабатываем продукты, занимаемся прототипированием, конструированием, придумываем дизайн, программные решения, контролируем качество на фабриках и создаём инструменты для аппаратного тестирования.
МТС — одна из ведущих экосистемных компаний России. Предоставляет услуги мобильной и фиксированной связи, решения в области объединенных коммуникаций, интернета вещей, обработки данных, облачных вычислений и кибербезопасности. Штат IT-специалистов компании превышает 8 000 человек.
Яндекс Доставка - это сервис, который помогает людям и бизнесу решать разные логистические задачи более чем в 1000 городов: от курьерской доставки по городу и за его пределами до грузовой доставки. Мы меняем рынок логистики с помощью технологий и данных: учим сервис эффективно подбирать курьеров на заказы, прогнозировать спрос и оптимизировать маршруты в реальном времени.
MWS Data занимается разработкой платформы для работы с данными. У них есть опыт работы с кластерами на десятки петабайт и 600+ сотрудников, активно взаимодействующих с этими данными.
VK Tech — команда из 1400 специалистов в России и Казахстане. Разрабатывают и продвигают облачные платформы и сервисы VK Cloud, in-memory СУБД Tarantool, коммуникационные решения — от почты VK WorkSpace до супераппа VK Teams и решения для автоматизации HR и финансов. Внутри: C++, Python, Go, Java, Javascript, Lua.
Крупнейшая геораспределенная сеть дата-центров Tier III в России.
Яндекс — международная IT-компания, которая более 25 лет создает технологичные продукты на основе машинного обучения и нейросетей. В их экосистеме более 90 сервисов. Среди них есть внутренние, которые обеспечивают процессы внутри компании и работу сотрудников: Yandex Infrastructure, YTeasaurus, YDB и Ecom-сценарии. А еще опенсорс-проекты Яндекс Реклама, Поиск с Нейро, Алиса, Автономный транспорт, Yandex GPT и Yandex Cloud.
МФТИ / Физтех — ведущий российский исследовательский университет. Насчитывает 10 Нобелевских лауреатов. В топ‑100 глобального рейтинга Times Higher Education. Десятки научных школ, международные лаборатории, одни из сильнейших программ.
BI.ZONE — компания по управлению цифровыми рисками. Мы создаем IT-продукты для обеспечения кибербезопасности: от мобильных приложений до сложных платформ, в основе которых лежат методы машинного обучения.
Компания MyDB разрабатывает российский форк СУБД MySQL - полностью совместимую, свободно распространяемую замену для MySQL и Percona Server с оптимизированной производительностью, адаптированную для российских пользователей и включённую в реестр российcкого ПО.
Венчурный фонд ФРИИ. 450+ инвестиций с 2013 года. Самый большой по количеству инвестиций фонд в России. Среди инвестиций: Vision Labs, Flowwow, Pravo.tech, Unim Histology, Promobot… Акселератор ФРИИ. В различных рейтингах акселераторов топ-10/топ-20 в мире. 2000+ IТ-компаний, прошедших программы акселерации. Naumen.ru. 1000+ сотрудников, лидер в сегментах рынка программных продуктов Service Desk и Call-центров.
МТС — одна из ведущих экосистемных компаний России. Предоставляет услуги мобильной и фиксированной связи, решения в области объединенных коммуникаций, интернета вещей, обработки данных, облачных вычислений и кибербезопасности. Штат IT-специалистов компании превышает 8 000 человек.
OpenYard — российский вендор и производитель серверного оборудования с собственным R&D-центром и производственной площадкой в Рязани, которая обеспечивает полный цикл выпуска серверов. В портфеле компании — корпоративные серверы (19" стоечные решения) и OCP-подобные платформы. Продукция OpenYard ориентирована на создание эффективной и надежной ИТ-инфраструктуры и входит в реестр промышленной продукции Минпромторга РФ.
RUTUBE — это крупнейшая российская платформа для просмотра и размещения аудио- и видеороликов. На платформе представлены UGC, эксклюзивные проекты RUTUBE, видео СМИ и государственных организаций, лицензионные шоу, фильмы и сериалы. Национальный видеохостинг RUTUBE входит в «Газпром-Медиа Холдинг».
ИСП РАН — ведущая научная организация в области системного программирования, специализирующаяся на исследованиях, разработках и подготовке высококвалифицированных кадров. Основные направления работы: кибербезопасность, анализ данных и искусственный интеллект. Создали несколько исследовательских центров, включая центр доверенного искусственного интеллекта и технологический центр безопасности ядра Linux.
В «Магните» отвечает за формирование стратегии архитектурного штаба, управление портфелем IT-проектов, продуктовую трансформацию IT-вертикали, развитие подходов к бюджетированию и контролю эффективности производственного цикла.
Яндекс — международная IT-компания, которая более 25 лет создает технологичные продукты на основе машинного обучения и нейросетей. В их экосистеме более 90 сервисов. Среди них есть внутренние, которые обеспечивают процессы внутри компании и работу сотрудников: Yandex Infrastructure, YTeasaurus, YDB и Ecom-сценарии. А еще опенсорс-проекты Яндекс Реклама, Поиск с Нейро, Алиса, Автономный транспорт, Yandex GPT и Yandex Cloud.
Туту — сервис путешествий, где можно найти всё для предстоящей поездки. 20 лет помогают людям покупать билеты быстрее и комфортнее, рассказывают, как лучше добираться до места назначения, и отвечают на любые вопросы про путешествия. Каждый день в путь отправляются несколько десятков самолётов и поездов только с их пользователями.
Билайн - один из ведущих поставщиков телекоммуникационных услуг в России
Т-Банк — цифровая экосистема, в основе которой один из самых технологичных банков в мире и второй банк в России по числу розничных клиентов. Сервисами Т-Банка ежедневно пользуются миллионы людей и компаний, решая повседневные задачи онлайн: переводят и инвестируют деньги, получают кешбэк, пользуются мобильной связью, бронируют билеты, гостиницы и рестораны, совершают покупки, участвуют в благотворительности и многое другое. С момента основания в 2006 году Т-Банк последовательно инвестирует в передовые технологии, в том числе в сфере искусственного интеллекта, формируя будущее банковской индустрии на глобальном уровне.
Российское решение для защиты контейнеров и Kubernetes
Яндекс — международная IT-компания, которая более 25 лет создает технологичные продукты на основе машинного обучения и нейросетей. В их экосистеме более 90 сервисов. Среди них есть внутренние, которые обеспечивают процессы внутри компании и работу сотрудников: Yandex Infrastructure, YTeasaurus, YDB и Ecom-сценарии. А еще опенсорс-проекты Яндекс Реклама, Поиск с Нейро, Алиса, Автономный транспорт, Yandex GPT и Yandex Cloud.
Rambler's Top100