Highload++ 2017 завершён!

Профессиональная конференция разработчиков высоконагруженных систем

СКОЛКОВО, Москва 7 и 8 ноября

11-я ежегодная конференция для разработчиков highload-систем, которая соберет   2 700 участников из разных регионов России и мира. Мероприятие направлено на обмен знаниями о технологиях, позволяющих одновременно обслуживать многие тысячи и миллионы пользователей.

Программа охватывает такие аспекты веб-разработок, как архитектуры крупных проектов, базы данных и системы хранения, системное администрирование, нагрузочное тестирование, эксплуатация крупных проектов и другие направления, связанные с высоконагруженными системами.

Механизмы отказоустойчивости в кластерах Oracle Real Application Clusters
Основная секция

Доклад принят в Программу конференции
СберЗдоровье — российская медицинская компания, специализирующаяся на телемедицинских услугах и цифровых решениях в области здравоохранения.

SberDevices — это компания полного цикла. Создают идеи, самостоятельно разрабатывают продукты, занимаются прототипированием, конструированием, придумываем дизайна, программных решений, контролируют качество на фабриках и создают инструменты для аппаратного тестирования.

Тезисы

Тезисы:

На этом докладе Вы познакомитесь с методами защиты приложений от сбоя в Oracle Real Application Clusters (RAC) - ключевой технологией Oracle для обеспечения масштабируемости и надежности высоконагруженных промышленных баз данных.

Материал ориентирован, в основном, на разработчиков, но также будет полезен и для DBA.

Сбой узла кластера, или что такое TAF

Сбой узла кластера - это отказ экземпляра Oracle на одном из узлов кластера. Все приложения, которые имели сессии с отказавшим узлом кластера, эти соединения, разумеется, теряют. Клиентское программное обеспечение Oracle Call Interface [OCI] в этом случае обеспечит переключение на один из оставшихся в "живых" узлов. Фактически, библиотеки времени выполнения OCI в этом осуществляют закрытие "мертвой" сессии и открытие новой на одном из оставшихся работоспособных узлов кластера, причем это переключение происходит прозрачно для приложения и не требует дополнительного программирования. Данная функциональность носит название Transparent Application Failover [TAF] и поддерживается, начиная с версий Oracle Client 8.0.6.

Одно из самых распространенных заблуждений относительно Oracle RAC состоит в том, что если в момент сбоя узла кластера приложение имело на нем незавершенную транзакцию, то после прохождения переключения на другой узел транзакция продолжит свое выполнение. К сожалению, это не так!

Рассмотрим ситуацию "падения" узла кластера и выполнения TAF более подробно:

  • Приложение имеет соединение с одним из узлов кластера Oracle RAC и начинает выполнение транзакции;
  • Несколько операторов транзакции успешно выполнены, но транзакция еще не завершена (НЕ зафиксирована);
  • Происходит "падение" узла кластера, с которым приложение имело соединение;
  • Клиентское программное обеспечение OCI произвело открытие новой сессии на одном из работоспособных узлов кластера;
  • Далее приложение получает новую сессию.

После последнего шага возникает проблема: поскольку все промежуточные операции транзакции потеряны, то выполнение оставшихся операторов транзакции не будет иметь смысла (может привести к непредсказуемым результатам). Помимо этого, не следует забывать, что приложение могло иметь на сервере глобальные переменные пакетов PL/SQL, значения которых в результате сбоя также было потеряно.

Вывод: поскольку контекст выполнения сессии не дублируется на всех узлах кластера (это было бы слишком расточительно), то нормальное выполнение приложения после отработки TAF невозможно.

Для решения этой проблемы разработчики СУБД Oracle предоставили выход в виде специального callback-вызова на клиенте: приложение регистрирует в OCI свою функцию обратного вызова, эта функция будет вызываться в процессе отработки TAF. В этой функции программист может корректно обработать операцию потерю контекста сессии и, возможно, восстановить его.

В ходе презентации будут показаны примеры исходного кода для реализации TAF-callback для языков программироввания C,c#,Java, Delphi (с использованием ODAC). Также будет показана живая демонстрация приложения, которое умеет восстанавливать потерянную транзакцию и повторять ее после переключения на "живой" узел.

Упреждающее оповещение приложений о событиях в кластере, или что такое FAN

Основная проблема при использовании FAN заключается в том, что приложения узнают, что текущая сессия "мертва" только при следующем обращении к СУБД, и поэтому проведенная работа между падением узла и последним обращением к СУБД будет потеряна.

Для решения данной проблемы Oracle дополнительно предлагает новый механизм - Fast Application Notification [FAN]. Основная идея заключается в посылке сообщения приложения о событии в кластере (запуск/сбой узла, запуск/останов сервиса). Приложение также регистрирует callback на клиента, который "зажигается" в момент прихода очередного сообщения. Таким образом, клиентское приложение получает возможность быстрой реакции на события, происходящие в кластере.

В ходе презентации будут подробно рассмотрены примеры исходного кода, использующие FAN, и показан демо-пример на C#.

Также будут рассмотрены возникающие при использовании FAN особенности:

  • транспорт доставки сообщений (может быть отдельное сетевое соединение так и очередь Advanced Queueing);
  • приложение, реализующее FAN-callback становится многопоточным (callback вызывается во вторичном потоке и приложение должно использовать методы синхронизации с основным потоком - такие как мьютексы, семафоры и критические секции).

План доклада:

1. Использование TAF для восстановления контекста сессии. Демонстрация.

2. FAN - анализ и реакция на сообщения от кластера. Демонстрация.

3. Защита middleware (серверов приложений и web-серверов) в RAC. Поддержка перезапуска приложений на узлах и виртуальные IP. Демонстрация.

4. Заключение.

Целевая аудитория:

Разработчики бизнес-критичных приложений, администраторы баз данных.

Докладчики:

Мельников Игорь, cтарший консультант Oracle CIS

Краткая информация:

Старший консультант Oracle СНГ по серверным технологиям СУБД. Сфера деятельности: адаптация решений компаний-разработчиков под технологическую платформу Oracle Database. Хобби: создание и оптимизация приложений для кластеров Oracle Real Application Cluster, а также создание веб-приложений в среде Oracle Application Express.

Геннадий Сигалаев cтарший консультант Oracle CIS

Краткая информация:

Старший консультант Oracle СНГ по Oracle Database и Fusion Middleware. Основная работа связана с поддержкой технологических партнеров и заказчиков по использованию базовой платформы Oracle.

Другие доклады секции
Основная секция

Помощь в повышении квалификации для работающих разработчиков и open source-разработка.
Яндекс Go — продуктовая компания с устойчивой Data Driven-культурой, где все решения анализируются и проверяются с оглядкой на данные, а скрипт на Python или SQL может написать любой.
В «Магните» занимается управлением портфелем IT-проектов, трансформацией IT-вертикали, а также контролирует эффективность производственного цикла. Одна из задач — повышение эффективности управления изменениями для бизнес-заказчиков.
АО ИНЛАЙН ГРУП - российская компания с 25 летней историей, классический ИТ системный интегратор. Продукт ИКСАР выведен на рынок в 2018 году и на данный момент занимает лидирующие позиции на рынке AR для Промышленности. Сайт продукта: https://iksar.pro/ ТГ канал продукта: https://t.me/iksarpro
Компания Биокад — биотехнологическая компания полного цикла, то есть занимается как разработкой, так и производством лекарственных препаратов. В компании более 3000 сотрудников. Треть из них с научными степенями. IТ-департамент — более 250 человек.
Компания Maxim Technology занимается разработкой ПО и баз данных. Наши приложения используют Сервисы такси, миллионы пользователей ежедневно заказывают автомобиль через наше ПО. Наши сервисы успешно обрабатывают сотни тысяч запросов в минуту, миллионы заказов в день, благодаря распределенной инфраструктуре, собственным дата-центрам, инновационным решениям и разработкам.
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У них десятки тысяч RPS к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
Лемана ПРО (Леруа Мерлен) — лидер рынка DIY в России. Мы переосмысливаем DIY-ритейл так же, как другие технологические лидеры до этого меняли банкинг и ИТ-сервисы. В компании можно с нуля создавать диджитал-решения, примерять разные роли, использовать современные технологии, запускать новые продукты.
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Работают над созданием удобных онлайн-сервисов в самых разных сферах.
Разрабатывают софт для СберТех. Отдел занимается развитием Open Source-продуктов: Apache Ignite, Apache Kafka, Postgresql.
Объединенная компания Wildberries & Russ — международная IT-компания, лидер рынков e-commerce и наружной рекламы в России. Образована в результате слияния крупнейшего маркетплейса СНГ Wildberries и оператора наружной рекламы Russ. Бизнес-модель Wildberries & Russ построена на использовании технологий. Компания активно развивает собственную IT-инфраструктуру, а также продукты для покупателей, продавцов, рекламодателей и других категорий пользователей.
BI.ZONE — компания по управлению цифровыми рисками. Мы создаем IT-продукты для обеспечения кибербезопасности: от мобильных приложений до сложных платформ, в основе которых лежат методы машинного обучения.
MWS (МТС Web Services) - облачный сервис для внутреннего и внешнего пользователя
Ви.Tech – Это компания занимающаяся разработкой для крупнейшего в россии DIY магазина
IT-компания и основной цифровой партнер торговых сетей и бизнесов X5 Group. Команда из более 3500 специалистов разрабатывает решения, которые помогают 325 тысячам сотрудников группы работать с максимальным технологическим комфортом, а миллионам покупателей быстро и удобно покупать свежие продукты.
Команда Т-Банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 50 миллионов клиентов. Т-Банк развивает IТ-индустрию, активно внедряет современные технологии и делится экспертизой.
Авто.ру — это проект Яндекса, который помогает людям купить или продать машину
Servicepipe Компания-разработчик продуктов для высокоточной защиты от кибератак, активно развивающая технологии анализа трафика и защиты от автоматизированных угроз на L3–L7. На базе собственных технологий Servicepipe реализует сервисы по защите от продвинутых ботов, DDoS- и целевых атак.
ООО Группа Лоджик Старс является ведущим игроком на рынке IT и уже более 20 лет разрабатывает высококачественное программное обеспечение в сфере автобизнеса. Специализируются на создании инновационных решений, которые помогают ихклиентам оптимизировать бизнес-процессы, повышать эффективность и достигать высоких результатов.
Пишут системы автоматизации бизнеса, стартапы, ботов, системы аналитики, личные кабинеты торговых систем и др. Если вы хотите сделать IT-продукт от простого бота до бэкофиса торговых систем, но не знаете, как и с чего начать, то проконсультируют вас и, при необходимости, сделают продукт под заказ или вместе с вами.
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У них десятки тысяч RPS к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
ROGII — международная компания, разрабатывающая продукты для геонавигации.
Компания Maxim Technology занимается разработкой ПО и баз данных. Наши приложения используют Сервисы такси, миллионы пользователей ежедневно заказывают автомобиль через наше ПО. Наши сервисы успешно обрабатывают сотни тысяч запросов в минуту, миллионы заказов в день, благодаря распределенной инфраструктуре, собственным дата-центрам, инновационным решениям и разработкам.
НЛМК ИТ — команда, которая делает IT-системы для металлургии и генерит существенную часть успеха Группы НЛМК, лидера среди российских производителей стали. В их готовой продукции нет ни единой строчки кода, но в ее производстве участвует большая IT-команда. Поэтому они немножечко IT-металлурги. Делают цифру реальностью!
Лемана ПРО (Леруа Мерлен) — лидер рынка DIY в России. Переосмысливают DIY-ретейл так же, как другие технологические лидеры до этого меняли банкинг и IТ-сервисы. В компании можно с нуля создавать диджитал-решения, примерять разные роли, использовать современные технологии, запускать новые продукты.
AgentArea - безопасная платформа для управления ИИ-агентами. Молодая команда уже стала финалистом AI Championship в кибербезопасности.
Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
МФТИ / Физтех — ведущий российский исследовательский университет. Насчитывает 10 Нобелевских лауреатов. В топ‑100 глобального рейтинга Times Higher Education. Десятки научных школ, международные лаборатории, одни из сильнейших программ.
MAGNIT TECH — IT-компания, которая трансформирует один из крупнейших ритейлеров страны. Это более 5000 сотрудников, 800+ систем, 260+ проектов и одна цель: изменить ритейл в такт передовым технологиям. Мы не просто обслуживаем процессы, мы проектируем инновации с нуля, запускаем флагманские продукты и перестраиваем логику ритейла – от логистики и аналитики до клиентских платформ и AI-решений.
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Работают над созданием удобных онлайн-сервисов в самых разных сферах.
Инфраструктурная платформа Genesis Core максимально упрощает «пользовательский путь» разработчика, от первой строчки и до деплоя на прод через локальные стенды.
Группа компаний VK это крупнейшая ИТ компания, которая объединяет в себе социальные платформы, почту, облако, образовательные и технологические сервисы для пользователей и компаний.
MTS Digital, KION - онлайн кинотеатр, который раздает десятки гигабит видео в секунду и делает жизнь чуть интереснее
МТС — одна из ведущих экосистемных компаний России. Предоставляет услуги мобильной и фиксированной связи, решения в области объединенных коммуникаций, интернета вещей, обработки данных, облачных вычислений и кибербезопасности. Штат IT-специалистов компании превышает 8 000 человек.
AG-LEGAL — юридический консалтинг, сопровождающий IT-компании, а также крупные федеральные компании по вопросам интеллектуальной собственности, категорирования КИИ, персональных данных, включением в реестр отечественного ПО.
Servicepipe Компания-разработчик продуктов для высокоточной защиты от кибератак, активно развивающая технологии анализа трафика и защиты от автоматизированных угроз на L3–L7. На базе собственных технологий Servicepipe реализует сервисы по защите от продвинутых ботов, DDoS- и целевых атак.
SberDevices — это компания полного цикла. Мы создаём идеи, самостоятельно разрабатываем продукты, занимаемся прототипированием, конструированием, придумываем дизайн, программные решения, контролируем качество на фабриках и создаём инструменты для аппаратного тестирования.
Российская ИТ-компания Axenix предоставляет услуги в областях стратегии и бизнес-консалтинга, цифровых сервисов, облачных технологий и решений для цифровой трансформации бизнеса. Эксперты Axenix помогают реализовывать полномасштабные end-to-end проекты, от создания бизнес- и ИТ-стратегий до их полноценного внедрения, включая разработку технологических решений и программного обеспечения. Компания является одним из технологических лидеров и регулярно выводит на российский рынок инновационные импортозамещающие решения и продукты, многие из которых отмечены престижными отраслевыми премиями
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Работают над созданием удобных онлайн-сервисов в самых разных сферах.
Мы делаем ИТ для ритейла реального времени. Чтобы все нужные товары и продукты могли попадать домой к людям мгновенно, насколько это возможно в физическом мире – с помощью технологий. На наших решениях работают Самокат, Мегамаркет, логистические системы. Компания выросла из команды Samokat.tech — наше видение всегда было шире одного пользовательского сервиса. Мы хотим изменить саму модель потребления, чтобы люди по-другому относились к покупкам и своему времени. В команде больше 5000 человек — мы большие и разные, стремимся к балансу между технической выверенностью и фокусом на бизнес-ценность, уважаем процессы и избегаем закостенелости. Делаем продукты, которыми пользуемся сами.
Миссия компании — обучить хотя бы 15% руководителей современным методикам управления и сделать Россию лидером в области корпоративного менеджмента.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
AgentArea — безопасная платформа для управления ИИ-агентами. Молодая команда уже стала финалистом AI Championship в кибербезопасности.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Лемана ПРО (Леруа Мерлен) — лидер рынка DIY в России. Мы переосмысливаем DIY-ритейл так же, как другие технологические лидеры до этого меняли банкинг и ИТ-сервисы. В компании можно с нуля создавать диджитал-решения, примерять разные роли, использовать современные технологии, запускать новые продукты.
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У нас десятки тысяч RPS к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
Билайн — один из ведущих поставщиков телекоммуникационных услуг в России.
Rambler's Top100