Highload++ 2017 завершён!

Профессиональная конференция разработчиков высоконагруженных систем

СКОЛКОВО, Москва 7 и 8 ноября

11-я ежегодная конференция для разработчиков highload-систем, которая соберет   2 700 участников из разных регионов России и мира. Мероприятие направлено на обмен знаниями о технологиях, позволяющих одновременно обслуживать многие тысячи и миллионы пользователей.

Программа охватывает такие аспекты веб-разработок, как архитектуры крупных проектов, базы данных и системы хранения, системное администрирование, нагрузочное тестирование, эксплуатация крупных проектов и другие направления, связанные с высоконагруженными системами.

Механизмы отказоустойчивости в кластерах Oracle Real Application Clusters
Основная секция

Доклад принят в Программу конференции
X5 Tech — IT-компания и основной цифровой партнёр торговых сетей и бизнесов X5. Команда из более 5000 специалистов разрабатывает решения, которые помогают более 417 тыс. сотрудникам группы работать с максимальным технологическим комфортом, а миллионам покупателей быстро и удобно покупать свежие продукты. Мы доказываем, что супермаркет — это тоже цифровой проект, в котором есть место большим данным, машинному зрению, мобильным приложениям и многому другому. В команде Х5 Tech сосредоточена экспертиза специалистов, которые отвечают за цифровое развитие всей компании.

SberDevices — это компания полного цикла. Создают идеи, самостоятельно разрабатывают продукты, занимаются прототипированием, конструированием, придумываем дизайна, программных решений, контролируют качество на фабриках и создают инструменты для аппаратного тестирования.

Тезисы

Тезисы:

На этом докладе Вы познакомитесь с методами защиты приложений от сбоя в Oracle Real Application Clusters (RAC) - ключевой технологией Oracle для обеспечения масштабируемости и надежности высоконагруженных промышленных баз данных.

Материал ориентирован, в основном, на разработчиков, но также будет полезен и для DBA.

Сбой узла кластера, или что такое TAF

Сбой узла кластера - это отказ экземпляра Oracle на одном из узлов кластера. Все приложения, которые имели сессии с отказавшим узлом кластера, эти соединения, разумеется, теряют. Клиентское программное обеспечение Oracle Call Interface [OCI] в этом случае обеспечит переключение на один из оставшихся в "живых" узлов. Фактически, библиотеки времени выполнения OCI в этом осуществляют закрытие "мертвой" сессии и открытие новой на одном из оставшихся работоспособных узлов кластера, причем это переключение происходит прозрачно для приложения и не требует дополнительного программирования. Данная функциональность носит название Transparent Application Failover [TAF] и поддерживается, начиная с версий Oracle Client 8.0.6.

Одно из самых распространенных заблуждений относительно Oracle RAC состоит в том, что если в момент сбоя узла кластера приложение имело на нем незавершенную транзакцию, то после прохождения переключения на другой узел транзакция продолжит свое выполнение. К сожалению, это не так!

Рассмотрим ситуацию "падения" узла кластера и выполнения TAF более подробно:

  • Приложение имеет соединение с одним из узлов кластера Oracle RAC и начинает выполнение транзакции;
  • Несколько операторов транзакции успешно выполнены, но транзакция еще не завершена (НЕ зафиксирована);
  • Происходит "падение" узла кластера, с которым приложение имело соединение;
  • Клиентское программное обеспечение OCI произвело открытие новой сессии на одном из работоспособных узлов кластера;
  • Далее приложение получает новую сессию.

После последнего шага возникает проблема: поскольку все промежуточные операции транзакции потеряны, то выполнение оставшихся операторов транзакции не будет иметь смысла (может привести к непредсказуемым результатам). Помимо этого, не следует забывать, что приложение могло иметь на сервере глобальные переменные пакетов PL/SQL, значения которых в результате сбоя также было потеряно.

Вывод: поскольку контекст выполнения сессии не дублируется на всех узлах кластера (это было бы слишком расточительно), то нормальное выполнение приложения после отработки TAF невозможно.

Для решения этой проблемы разработчики СУБД Oracle предоставили выход в виде специального callback-вызова на клиенте: приложение регистрирует в OCI свою функцию обратного вызова, эта функция будет вызываться в процессе отработки TAF. В этой функции программист может корректно обработать операцию потерю контекста сессии и, возможно, восстановить его.

В ходе презентации будут показаны примеры исходного кода для реализации TAF-callback для языков программироввания C,c#,Java, Delphi (с использованием ODAC). Также будет показана живая демонстрация приложения, которое умеет восстанавливать потерянную транзакцию и повторять ее после переключения на "живой" узел.

Упреждающее оповещение приложений о событиях в кластере, или что такое FAN

Основная проблема при использовании FAN заключается в том, что приложения узнают, что текущая сессия "мертва" только при следующем обращении к СУБД, и поэтому проведенная работа между падением узла и последним обращением к СУБД будет потеряна.

Для решения данной проблемы Oracle дополнительно предлагает новый механизм - Fast Application Notification [FAN]. Основная идея заключается в посылке сообщения приложения о событии в кластере (запуск/сбой узла, запуск/останов сервиса). Приложение также регистрирует callback на клиента, который "зажигается" в момент прихода очередного сообщения. Таким образом, клиентское приложение получает возможность быстрой реакции на события, происходящие в кластере.

В ходе презентации будут подробно рассмотрены примеры исходного кода, использующие FAN, и показан демо-пример на C#.

Также будут рассмотрены возникающие при использовании FAN особенности:

  • транспорт доставки сообщений (может быть отдельное сетевое соединение так и очередь Advanced Queueing);
  • приложение, реализующее FAN-callback становится многопоточным (callback вызывается во вторичном потоке и приложение должно использовать методы синхронизации с основным потоком - такие как мьютексы, семафоры и критические секции).

План доклада:

1. Использование TAF для восстановления контекста сессии. Демонстрация.

2. FAN - анализ и реакция на сообщения от кластера. Демонстрация.

3. Защита middleware (серверов приложений и web-серверов) в RAC. Поддержка перезапуска приложений на узлах и виртуальные IP. Демонстрация.

4. Заключение.

Целевая аудитория:

Разработчики бизнес-критичных приложений, администраторы баз данных.

Докладчики:

Мельников Игорь, cтарший консультант Oracle CIS

Краткая информация:

Старший консультант Oracle СНГ по серверным технологиям СУБД. Сфера деятельности: адаптация решений компаний-разработчиков под технологическую платформу Oracle Database. Хобби: создание и оптимизация приложений для кластеров Oracle Real Application Cluster, а также создание веб-приложений в среде Oracle Application Express.

Геннадий Сигалаев cтарший консультант Oracle CIS

Краткая информация:

Старший консультант Oracle СНГ по Oracle Database и Fusion Middleware. Основная работа связана с поддержкой технологических партнеров и заказчиков по использованию базовой платформы Oracle.

Другие доклады секции
Основная секция

- Компания Virtual Minds - старейший adtech Германии, обслуживающий одни из самых крупных немецких компаний в publisher adserving, DSP, и SSP. - Tarantool - отечественная база данных от VK, с сервером приложений на борту, ориентированная на сверхвысокие OLTP нагрузки и исполнение кода прямо в базе.
VK — это более 200 технологичных и высоконагруженных проектов, свыше 15 000 сотрудников. ВКонтакте, ОК, VK Cloud, Дзен, Маруся, VK Play — это лишь часть продуктов VK, которыми ежедневно пользуются миллионы людей. ВКонтакте — крупнейшая социальная сеть в России. Команда ВКонтакте разрабатывает технологические решения, которые отвечают критериям быстродействия, отказоустойчивости и качества, чтобы пользователи получали максимум для общения, работы, учебы, развлечения и творчества.
VK — это более 200 технологичных и высоконагруженных проектов, свыше 15 000 сотрудников. ВКонтакте, ОК, VK Cloud, Дзен, Маруся, VK Play — это лишь часть продуктов VK, которыми ежедневно пользуются миллионы людей. ВКонтакте — крупнейшая социальная сеть в России. Команда ВКонтакте разрабатывает технологические решения, которые отвечают критериям быстродействия, отказоустойчивости и качества, чтобы пользователи получали максимум для общения, работы, учебы, развлечения и творчества.
Вебпрактик разрабатывает сервисы и продукты для крупнейших корпораций в стране, много лет входит в топы разработчиков в премиум-ценовом сегменте.
Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
X5 Tech — IT-компания и основной цифровой партнёр торговых сетей и бизнесов X5. Команда из более 5000 специалистов разрабатывает решения, которые помогают более 417 тыс. сотрудникам группы работать с максимальным технологическим комфортом, а миллионам покупателей быстро и удобно покупать свежие продукты. Мы доказываем, что супермаркет — это тоже цифровой проект, в котором есть место большим данным, машинному зрению, мобильным приложениям и многому другому. В команде Х5 Tech сосредоточена экспертиза специалистов, которые отвечают за цифровое развитие всей компании.
Битрикс24 — одна из крупнейших IT-компаний России. Уже более 25 лет создают продукты, которые помогают работать бизнесу во всем мире. В их онлайн-сервисе собраны все нужные инструменты для работы компании и управления бизнесом. Среди них: сервис для создания, поддержки и развития веб-проектов, готовый набор инструментов для совместной работы компании и CRM-система.
Битрикс24 — одна из крупнейших IT-компаний России. Уже более 25 лет создают продукты, которые помогают работать бизнесу во всем мире. В их онлайн-сервисе собраны все нужные инструменты для работы компании и управления бизнесом. Среди них: сервис для создания, поддержки и развития веб-проектов, готовый набор инструментов для совместной работы компании и CRM-система.
Райффайзен Банк, один из самых надежных российских банков, который создает финансовые решения для частных и корпоративных клиентов
Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Райффайзен Банк, один из самых надежных российских банков, который создает финансовые решения для частных и корпоративных клиентов
VK — это более 200 технологичных и высоконагруженных проектов, свыше 15 000 сотрудников. ВКонтакте, ОК, VK Cloud, Дзен, Маруся, VK Play — это лишь часть продуктов VK, которыми ежедневно пользуются миллионы людей. ВКонтакте — крупнейшая социальная сеть в России. Команда ВКонтакте разрабатывает технологические решения, которые отвечают критериям быстродействия, отказоустойчивости и качества, чтобы пользователи получали максимум для общения, работы, учебы, развлечения и творчества.
GoRunDebug - что пришло в голову когда пришла идея поработать над интересным для меня направление.
Raft — это компания, которая специализируется на разработке и интеграции решений с использованием новейших AI-технологий.
«ИТ Школа Ростелекома» - Образовательное подразделение ПАО «Ростелеком», реализующее программы профессионального обучения и дополнительного профессионального образования в области информационных технологий для корпоративных и внешних граждан
RaiffeisenBank - один из системно значимых банков Россиию
Ozon Fintech — технологичное подразделение экосистемы Ozon, разрабатывающее инновационные финансовые сервисы для 30+ млн пользователей. Команда создаёт продукты с нуля на микросервисной архитектуре, самостоятельно реализуя ключевые системы: банковское ядро, процессинг, AML-платформы и интеграции с платёжными сервисами, минимизируя legacy-код.
Сбер — крупнейший банк в России, поставщик технологических решений и один из ведущих финансовых институтов страны. SberDevices — исторически технологический стартап внутри Сбера, который создал «умные» устройства Sber, Jazz (платформу видеозвонков), GigaChat и многое другое.
МТС — мультисервисная цифровая экосистема и ведущий телеком-оператор в России. Компания развивает сервисы и продукты в сфере больших данных, искусственного интеллекта, облачного хранения, медиа и финансов, телекоммуникаций. Штат IT-специалистов превышает 9,5 тыс. человек.
«ИТ Школа Ростелекома» - Образовательное подразделение ПАО «Ростелеком», реализующее программы профессионального обучения и дополнительного профессионального образования в области информационных технологий для корпоративных и внешних граждан
MiOps — провайдер IT-решений, который помогает бизнесу создавать, развивать и поддерживать современную инфраструктуру цифровых продуктов. Мы автоматизируем процессы разработки и эксплуатации, строим отказоустойчивые платформы, внедряем технологии искусственного интеллекта и обеспечиваем стабильную работу критически важных сервисов.
Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Яндекс Go — продуктовая компания с устойчивой Data Driven-культурой, где все решения анализируются и проверяются с оглядкой на данные, а скрипт на Python или SQL может написать любой.
Сбер — крупнейший банк России и технологическая компания, чья экосистема закрывает финансы, e-commerce, медиа и облачные сервисы. В команде десятки тысяч специалистов в IT, кибербезопасности и AI: собственные Big Data-платформы, модели GigaChat и Kandinsky, исследования в Институте искусственного интеллекта. Один из крупнейших IT-работодателей страны.
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Работают над созданием удобных онлайн-сервисов в самых разных сферах.
Райффайзен Банк, один из самых надежных российских банков, который создает финансовые решения для частных и корпоративных клиентов
Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Одна из самых быстрорастущих финтех-компаний в России. Мы создаем финансовые сервисы, которые встроены в повседневную жизнь клиентов.
Яндекс – технологическая компания, которая создает инновационные продукты и сервисы на основе машинного обучения и нейронных сетей. Компания объединяет более 85 пользовательских сервисов. Основные бизнес-направления компании – поиск и портальные сервисы, электронная коммерция, сервисы объявлений, фантех, сервисы онлайн-заказа такси и заказа еды, автономный транспорт. Яндекс также предлагает продукты для рекламодателей и владельцев бизнеса.
Яндекс — российская технологическая компания: начинала как поисковик, а сейчас это большая экосистема сервисов (поиск, карты, такси, музыка, маркетплейс и др.). Развивает ИИ-технологии и строит высоконагруженные системы.
Звук — hifi-аудиомузыкальный сервис, который помогает пользователям находить и слушать музыку под настроение и стиль жизни. Фокусируется на персонализации, умных рекомендациях и удобном пользовательском опыте. Предлагает удобные подборки для любого настроения и подписку с широким каталогом треков.
HIPER — международный производитель IT-техники для бизнеса и потребителей, на рынке с 2001 года. Продуктовый портфель: ноутбуки, мониторы, моноблоки, мини-ПК, серверное оборудование, ИБП и интерактивные панели. Произведено и продано 3 955 636 устройств корпоративного назначения; производственная мощность — до 50 000 устройств в месяц, спецпроизводство под проект — от одного месяца. Решения HIPER адаптированы для российских пользователей и закрывают ИТ-инфраструктуру бизнеса любого размера. Компания обеспечивает оперативное сервисное обслуживание и техническую поддержку через авторизованную сеть сервисных центров по всей стране. HIPER — технологии, создающие возможности.
Райффайзен Банк, один из самых надежных российских банков, который создает финансовые решения для частных и корпоративных клиентов
Служила в Московском Новом Драматическом Театре. Участвует в независимых театральных проектах. С 2016 года преподавала технику речи в школе телевидения ex-tv. С 2019 года преподаватель курсов раскрепощения и творческой свободы в Школе молодых лидеров. С 2020 года преподаватель собственного курса по импровизации и раскрепощению в высшей школе медиа коммуникации.
Ви.Tech – Это компания занимающаяся разработкой для крупнейшего в россии DIY магазина
Одна из самых быстрорастущих финтех-компаний в России. Мы создаем финансовые сервисы, которые встроены в повседневную жизнь клиентов.
РТЛабс — разработчик Госуслуг. Мы развиваем цифровую экосистему портала gosuslugi.ru и работаем над тем, чтобы изменить представление о государственных сервисах. Команда РТЛабс работает по agile, и наша главная метрика — довольный пользователь.
МТС — мультисервисная цифровая экосистема и ведущий телеком-оператор в России. Компания развивает сервисы и продукты в сфере больших данных, искусственного интеллекта, облачного хранения, медиа и финансов, телекоммуникаций. Штат IT-специалистов превышает 9,5 тыс. человек.
Т‑Банк — онлайн-экосистема, основанная на финансовых и лайфстайл-услугах. Клиентами Т‑Банка стали 52 млн человек по всей России. Т‑Банк — второй крупнейший банк страны по количеству активных клиентов
Selectel — крупнейший независимый провайдер сервисов IT-инфраструктуры в России. Они создают облачные решения и предлагаем в аренду серверы, которые размещаем в своих дата-центрах в России. За каждым продуктом — опыт и экспертиза 1000+ сотрудников. Админы в Selectel работают с высоконагруженными сервисами, выстраивают и поддерживают инфраструктуру огромных масштабов. В компании 13 команд и направлений работы системных администраторов: от CloudOPS до Ceph-инженеров.
BI.ZONE — компания по управлению цифровыми рисками. Мы создаем IT-продукты для обеспечения кибербезопасности: от мобильных приложений до сложных платформ, в основе которых лежат методы машинного обучения.
Сбер — крупнейший банк России и технологическая компания, чья экосистема закрывает финансы, e-commerce, медиа и облачные сервисы. В команде десятки тысяч специалистов в IT, кибербезопасности и AI: собственные Big Data-платформы, модели GigaChat и Kandinsky, исследования в Институте искусственного интеллекта. Один из крупнейших IT-работодателей страны.
Rambler's Top100