Highload++ 2017 завершён!

Профессиональная конференция разработчиков высоконагруженных систем

СКОЛКОВО, Москва 7 и 8 ноября

11-я ежегодная конференция для разработчиков highload-систем, которая соберет   2 700 участников из разных регионов России и мира. Мероприятие направлено на обмен знаниями о технологиях, позволяющих одновременно обслуживать многие тысячи и миллионы пользователей.

Программа охватывает такие аспекты веб-разработок, как архитектуры крупных проектов, базы данных и системы хранения, системное администрирование, нагрузочное тестирование, эксплуатация крупных проектов и другие направления, связанные с высоконагруженными системами.

Механизмы отказоустойчивости в кластерах Oracle Real Application Clusters
Основная секция

Доклад принят в Программу конференции
Команда Тинькофф — это разработчики, продакт-менеджеры, дизайнеры, маркетологи, аналитики, тестировщики, SRE-инженеры и другие специалисты. Вместе они создают новые и развивают существующие финтех-продукты, которыми пользуются 25 миллионов клиентов и каждый из нас.

Росбанк — российский универсальный банк, который до апреля 2022 года входил в состав международной финансовой группы Société Générale.

Тезисы

Тезисы:

На этом докладе Вы познакомитесь с методами защиты приложений от сбоя в Oracle Real Application Clusters (RAC) - ключевой технологией Oracle для обеспечения масштабируемости и надежности высоконагруженных промышленных баз данных.

Материал ориентирован, в основном, на разработчиков, но также будет полезен и для DBA.

Сбой узла кластера, или что такое TAF

Сбой узла кластера - это отказ экземпляра Oracle на одном из узлов кластера. Все приложения, которые имели сессии с отказавшим узлом кластера, эти соединения, разумеется, теряют. Клиентское программное обеспечение Oracle Call Interface [OCI] в этом случае обеспечит переключение на один из оставшихся в "живых" узлов. Фактически, библиотеки времени выполнения OCI в этом осуществляют закрытие "мертвой" сессии и открытие новой на одном из оставшихся работоспособных узлов кластера, причем это переключение происходит прозрачно для приложения и не требует дополнительного программирования. Данная функциональность носит название Transparent Application Failover [TAF] и поддерживается, начиная с версий Oracle Client 8.0.6.

Одно из самых распространенных заблуждений относительно Oracle RAC состоит в том, что если в момент сбоя узла кластера приложение имело на нем незавершенную транзакцию, то после прохождения переключения на другой узел транзакция продолжит свое выполнение. К сожалению, это не так!

Рассмотрим ситуацию "падения" узла кластера и выполнения TAF более подробно:

  • Приложение имеет соединение с одним из узлов кластера Oracle RAC и начинает выполнение транзакции;
  • Несколько операторов транзакции успешно выполнены, но транзакция еще не завершена (НЕ зафиксирована);
  • Происходит "падение" узла кластера, с которым приложение имело соединение;
  • Клиентское программное обеспечение OCI произвело открытие новой сессии на одном из работоспособных узлов кластера;
  • Далее приложение получает новую сессию.

После последнего шага возникает проблема: поскольку все промежуточные операции транзакции потеряны, то выполнение оставшихся операторов транзакции не будет иметь смысла (может привести к непредсказуемым результатам). Помимо этого, не следует забывать, что приложение могло иметь на сервере глобальные переменные пакетов PL/SQL, значения которых в результате сбоя также было потеряно.

Вывод: поскольку контекст выполнения сессии не дублируется на всех узлах кластера (это было бы слишком расточительно), то нормальное выполнение приложения после отработки TAF невозможно.

Для решения этой проблемы разработчики СУБД Oracle предоставили выход в виде специального callback-вызова на клиенте: приложение регистрирует в OCI свою функцию обратного вызова, эта функция будет вызываться в процессе отработки TAF. В этой функции программист может корректно обработать операцию потерю контекста сессии и, возможно, восстановить его.

В ходе презентации будут показаны примеры исходного кода для реализации TAF-callback для языков программироввания C,c#,Java, Delphi (с использованием ODAC). Также будет показана живая демонстрация приложения, которое умеет восстанавливать потерянную транзакцию и повторять ее после переключения на "живой" узел.

Упреждающее оповещение приложений о событиях в кластере, или что такое FAN

Основная проблема при использовании FAN заключается в том, что приложения узнают, что текущая сессия "мертва" только при следующем обращении к СУБД, и поэтому проведенная работа между падением узла и последним обращением к СУБД будет потеряна.

Для решения данной проблемы Oracle дополнительно предлагает новый механизм - Fast Application Notification [FAN]. Основная идея заключается в посылке сообщения приложения о событии в кластере (запуск/сбой узла, запуск/останов сервиса). Приложение также регистрирует callback на клиента, который "зажигается" в момент прихода очередного сообщения. Таким образом, клиентское приложение получает возможность быстрой реакции на события, происходящие в кластере.

В ходе презентации будут подробно рассмотрены примеры исходного кода, использующие FAN, и показан демо-пример на C#.

Также будут рассмотрены возникающие при использовании FAN особенности:

  • транспорт доставки сообщений (может быть отдельное сетевое соединение так и очередь Advanced Queueing);
  • приложение, реализующее FAN-callback становится многопоточным (callback вызывается во вторичном потоке и приложение должно использовать методы синхронизации с основным потоком - такие как мьютексы, семафоры и критические секции).

План доклада:

1. Использование TAF для восстановления контекста сессии. Демонстрация.

2. FAN - анализ и реакция на сообщения от кластера. Демонстрация.

3. Защита middleware (серверов приложений и web-серверов) в RAC. Поддержка перезапуска приложений на узлах и виртуальные IP. Демонстрация.

4. Заключение.

Целевая аудитория:

Разработчики бизнес-критичных приложений, администраторы баз данных.

Докладчики:

Мельников Игорь, cтарший консультант Oracle CIS

Краткая информация:

Старший консультант Oracle СНГ по серверным технологиям СУБД. Сфера деятельности: адаптация решений компаний-разработчиков под технологическую платформу Oracle Database. Хобби: создание и оптимизация приложений для кластеров Oracle Real Application Cluster, а также создание веб-приложений в среде Oracle Application Express.

Геннадий Сигалаев cтарший консультант Oracle CIS

Краткая информация:

Старший консультант Oracle СНГ по Oracle Database и Fusion Middleware. Основная работа связана с поддержкой технологических партнеров и заказчиков по использованию базовой платформы Oracle.

Другие доклады секции
Основная секция

«Газпромбанк» (Акционерное общество) — один из крупнейших универсальных финансовых институтов России, предоставляющий широкий спектр продуктов и услуг корпоративным и частным клиентам, финансовым институтам, институциональным и частным инвесторам.
Ozon — лидирующая платформа e-commerce в России. В команде Ozon Tech 3 800 инженеров — и она продолжает расти. Десятки миллионов людей пользуются сервисами Ozon, их IT-инфраструктура управляет миллионами процессов каждый час. Микросервисы на Go и C#, в стеке технологий есть Vue.js, Swift и Kotlin, Kubernetes, Kafka, Hadoop и ClickHouse.
VK — это более 200 технологичных проектов, свыше 11 000 сотрудников и более 20 лет опыта создания высоконагруженных интернет-сервисов. ВКонтакте, Одноклассники, VK Cloud, Дзен, Маруся, VK Play — это лишь часть продуктов VK, которыми ежедневно пользуются миллионы людей по всей стране.
СберМаркет (ООО «Инстамарт Технолоджис») — технологический онлайн-сервис, который помогает делать покупки не выходя из дома. Tech-команда СберМаркета создает один из самых сложных высоконагруженных e-commerce-проектов в России и делает это с любовью.
Tarantool — middleware для эффективного создания высоконагруженных сервисов. Сочетает в себе сервер приложений, гибридное хранилище данных, а также инструменты и средства масштабирования. Производительность систем на Tarantool может достигать 1 млн транзакций в секунду.
YADRO — российская технологическая компания, которая объединяет направления разработки и производства вычислительных платформ, систем обработки и хранения данных, телекоммуникационного и сетевого оборудования, персональных и «умных» устройств, микропроцессорных ядер и fabless-разработку микропроцессоров. R&D-центры расположены в Москве, Санкт-Петербурге, Екатеринбурге, Нижнем Новгороде и Минске.
Предоставляют полный цикл DevOps-услуг и сопутствующие программные продукты.
Команда Тинькофф — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются более 38 миллионов клиентов. Тинькофф развивает IT-индустрию, поддерживает комьюнити и делится экспертизой.
Гринатом – ИТ-компания в структуре Росатом с фокусом на разработке инновационных решений для современных бизнес-процессов в атомной отрасли и за ее пределами. Мы развиваем цифровую экосистему Росатома, создаем свое ПО и обеспечиваем атомную отрасль современными ИТ-решениями, услугами и сервисами.
IT_One — компания по разработке программного обеспечения для крупных игроков российского бизнеса и созданию собственных технологических решений и инноваций. Наша команда реализует крупнейшие проекты цифровой трансформации страны.
Ozon — лидирующая платформа e-commerce в России. В команде Ozon Tech 3 800 инженеров — и она продолжает расти. Десятки миллионов людей пользуются сервисами Ozon, их IT-инфраструктура управляет миллионами процессов каждый час. Микросервисы на Go и C#, в стеке технологий есть Vue.js, Swift и Kotlin, Kubernetes, Kafka, Hadoop и ClickHouse.
Строят публичную облачную платформу Yandex Cloud, чтобы дать компаниям доступ к технологиям и сервисам, которые проверены нагрузками Яндекса. Продукты Yandex Cloud — это масштабируемая инфраструктура, сервисы хранения данных, инструменты машинного обучения и средства разработки.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
IT_One — компания по разработке программного обеспечения для крупных игроков российского бизнеса и созданию собственных технологических решений и инноваций. Наша команда реализует крупнейшие проекты цифровой трансформации страны.
Samokat.tech — продуктово-технологическая команда, которая делает IТ для ритейла реального времени. От доставки продуктов и товаров для дома за 15 минут до развития нового слоя городской инфраструктуры для мгновенной доставки любых товаров — с помощью технологий.
Vi.Tech — это дочерняя компания ВсеИнструменты.ру, в которой делают IT-продукты для одного из крупнейших игроков на рынке e-commerce.
ВКонтакте — крупнейшая социальная сеть в России и странах СНГ. Мы ставим перед собой масштабные вызовы и делаем технологии доступными для каждого пользователя. ВКонтакте помогает решать любые повседневные задачи — и даже больше!
Samokat.tech — продуктово-технологическая команда, которая делает IТ для ретейла реального времени. От доставки продуктов и товаров для дома за 15 минут до развития нового слоя городской инфраструктуры для мгновенной доставки любых товаров — с помощью технологий.
Wildberries является крупнейшим интернет-магазином России по объему онлайн-продаж согласно данным аналитического агентства Data Insight. Wildberries входит в десятку крупнейших интернет-ресурсов России по посещаемости по данным SimilarWeb.
beCloud является одним из ведущих поставщиков облачных решений, ИТ-инфраструктуры и хостинга в Беларуси. Провайдер оказывает услуги на базе опорной сети для Единой сети передачи данных и Республиканского центра обработки данных, основываясь на лучших мировых практиках и инновационном опыте лидеров. Компания, основанная 19 декабря 2012 года, стала первым инфраструктурным оператором страны.
Строят публичную облачную платформу Yandex Cloud, чтобы дать компаниям доступ к технологиям и сервисам, которые проверены нагрузками Яндекса. Продукты Yandex Cloud — это масштабируемая инфраструктура, сервисы хранения данных, инструменты машинного обучения и средства разработки.
Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Kinescope — видеоинфраструктура для интернета. Помогают бизнесу раскрыть потенциал профессиональных видеорешений для своих задач. Объединяют все необходимое для хранения, обработки, CDN-доставки и защиты видео в одном месте. Продукты Kinescope подходят как для стартапов, так и для компаний из списка РБК500 и государственных предприятий с высокими нагрузками и сложной логикой.
Samokat.tech — продуктово-технологическая команда, которая делает ИТ для ритейла реального времени. От доставки продуктов и товаров для дома за 15 минут до развития нового слоя городской инфраструктуры для мгновенной доставки любых товаров – с помощью технологий.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
СберМаркет (ООО «Инстамарт Технолоджис») — технологический онлайн-сервис, который помогает делать покупки не выходя из дома. Tech-команда СберМаркета создает один из самых сложных высоконагруженных e-commerce-проектов в России и делает это с любовью.
VK - Продукты для бизнесов и покупателей (Проект Юла)
Маркет позволяет покупателям заказывать товары прямо из дома и получать заказы по всей стране, а партнёрам — развивать свой бизнес, повышая продажи и привлекая новых клиентов. Для этого команда Маркета строит архитектуру так, чтобы можно было быстро делать новые фичи и не ломать важные сценарии, учится выдерживать многократный рост нагрузки и не перерасходовать ресурсы, следит, чтобы сайт Маркета работал как надо. У них есть целый арсенал технологий: микросервисы и микрофронты, тыквы и gracefull degradation, отложенная обработка запросов и автоматические системы нагрузочного тестирования. Изменяют архитектуру всех сервисов Маркета и помогают продуктовым командам быстро и безопасно развиваться.
Evrone — это более 15 лет опыта в разработке высоконагруженных и ресурсоемких проектов со сложной бизнес-логикой, в продуктовой разработке для стартапов, аудите и консалтинге. Команда обладает экспертизой в Ruby, Go, Python, Rust, Elixir, React.js, Vue.js и приветствует Open Source-инициативы.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Компания Last.Backend занимается созданием DevOps технологий и продуктов. Имеет собственную систему оркестровки контейнеров аналога kubernetes. Так же занимается DevOps акселерацией компаний, помогая в кратчайшие сроки получить качественную автоматизированную инфраструктуру под проект с дальнейшим 24/7 мониторингом.
Altenar — международная IT-b2b-компания с офисами в России, на Мальте и в Греции, которая занимается разработкой высоконагруженного программного обеспечения для сбора, обработки, анализа спортивных данных в реальном времени и их последующего преобразования в информацию для b2b-клиентов.
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У нас около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Мы работаем над созданием удобных онлайн-сервисов в самых разных сферах.
Яндекс Go — это суперапп, предоставляющий сервисы, связанные с передвижением по городу. Он объединяет водителей и курьеров в сервисах для заказа такси, доставки и транспортировки грузов.
KTS Студия. На данный момент работаю в штате команды MLOps AlfaBank.
ГК Юзтех входит в топ-15 лидеров разработки программного обеспечения на российском рынке согласно рейтингу CNews Analytics и в топ-7 лучших IT-работодателей России в 2022 г. по версии HH и Хабр. С 2006 года ГК Юзтех осуществляет полный спектр работ в области заказной разработки ПО для своих Заказчиков в отраслях: ретейл, финансы, телеком, IТ и в государственном секторе. Несколько фактов о ГК Юзтех: • 2000+ успешных проектов; • 50+ постоянных заказчиков; • 8 офисов по всей России; • больше половины топ-20 банков России — клиенты компании; • больше половины топ-10 российских FMCG-сетей — клиенты компании; • многие корпорации из Fortune 1000 — клиенты компании; • 20+ млн. пользователей ежедневно используют программные решения ГК Юзтех; • 60% сотрудников уровня Senior.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Райффайзен Банк — часть австрийской банковской группы Raiffeisen Bank International; работает в России с 1996 года и входит в тройку самых надежных российских банков по версии Forbes. В команде банка более 3000 IT-специалистов, которые работают над продуктами будущего и развивают финтех в России. И не любят легаси.
СберМаркет (ООО «Инстамарт Технолоджис») — технологический онлайн-сервис, который помогает делать покупки не выходя из дома. Tech-команда СберМаркета создает один из самых сложных высоконагруженных e-commerce-проектов в России и делает это с любовью.
«Флант» — лидер российского рынка DevOps и Kubernetes. №1 контрибьютор Kubernetes из России и единственный в России сертифицированный CNCF-поставщик услуг по Kubernetes (KCSP). С 2008 года занимается созданием и обслуживанием ИТ-инфраструктуры для критичных бизнес-приложений, с 2021 года предлагает продукты собственной разработки — экосистему решений Deckhouse для надежной enterprise-инфраструктуры. В 2023 году объединились с «Экспресс 42», и сегодня компания является вендором ПО и сервисной компанией по построению DevOps-решений под ключ.
Tarantool — middleware для эффективного создания высоконагруженных сервисов. Сочетает в себе сервер приложений, гибридное хранилище данных, а также инструменты и средства масштабирования. Производительность систем на Tarantool может достигать 1 млн транзакций в секунду.
Гринатом – ИТ-компания в структуре Росатом с фокусом на разработке инновационных решений для современных бизнес-процессов в атомной отрасли и за ее пределами. Мы развиваем цифровую экосистему Росатома, создаем свое ПО и обеспечиваем атомную отрасль современными ИТ-решениями, услугами и сервисами.
Одна из ведущих туристических компаний России, включающая туроператора и сеть турагентств. Компания была основана в 2009 году на базе российских туроператоров VKO Group и Mostravel и была известна как TUI Россия и СНГ. 10 марта 2022 года сменила имя на FUN&SUN.
Дзен — это контентная платформа, ленту рекомендаций которой ежедневно используют более 20 млн пользователей. Отталкиваясь от интересов каждого пользователя, Дзен собирает ленту из статей, видео, коротких видео и постов.
AG-legal - ведущая юридическая консалтинговая компания в области IT-права, предоставляет полное юридическое сопровождение для IT-компаний. Помимо участия в конференциях проводят вебинары, пишут экспертные статьи на vc.ru и активно участвуют в формировании судебной практики в спорах айти-компаний.
«Яндекс.Метрика» — бесплатный интернет-сервис компании Яндекс, предназначенный для оценки посещаемости веб-сайтов и анализа поведения пользователей. По данным w3techs.com, в 2019 году Яндекс. Метрика являлась третьей по размеру системой веб-аналитики в Европе. По данным «Лаборатории Касперского», в 2021-2022 годах она была самым распространенным трекинговым сервисом в России и странах СНГ.
IT_One — компания по разработке программного обеспечения для крупных игроков российского бизнеса и созданию собственных технологических решений и инноваций. Наша команда реализует крупнейшие проекты цифровой трансформации страны.
KTS Студия. На данный момент работаю в штате команды MLOps AlfaBank.
Миссия Skyeng — сделать образование привлекательным и приводить к результатам, которыми хочется гордиться.
Строят публичную облачную платформу Yandex Cloud, чтобы дать компаниям доступ к технологиям и сервисам, которые проверены нагрузками Яндекса. Продукты Yandex Cloud — это масштабируемая инфраструктура, сервисы хранения данных, инструменты машинного обучения и средства разработки.
Cloud.ru облачный провайдер, предоставляющий облачные решения и экспертную поддержку для бизнес-задач. Атмосфера стартапа, создание инноваций, клиентоцентричный подход –– это все мы, люди Cloud.
Rambler's Top100