Web, кэширование и memcached Основная секция
Доклад принят в Программу конференции
Talos
Руководитель разработки, разработчик, фанат Go, Python, DevOps и больших нагрузок. Руководил разработкой backend-сервисов в стартапе Qik, после его покупки продолжил работать в компаниях Skype и Microsoft. До этого участвовал в разработке и руководил созданием таких проектов, как damochka.ru, delit.net, smotri.com. Андрей - автор opensource-проектов aptly (https://github.com/smira/aptly), Redis Resharding Proxy (https://github.com/smira/redis-resharding-proxy) и txZMQ (https://github.com/smira/txZMQ). Автор мастер-класса "Разработка надёжных высоконагруженных систем" (http://smira.highload.ru/).
Тезисы
Smirnov Memcached High Load 2008
View SlideShare presentation or Upload your own.
Web, кэширование и memcached / Андрей Смирнов
Тезисы
Цель доклада – рассказать о проблемах кэширования в распределенных высоконагруженных проектах и о возможных путях решения этой проблемы. Предполагаемый уровень подготовки аудитории - начинающий++.
Современный высоконагруженный проект может использовать десятки гигабайт распределенной памяти, используемой под кэш, организованной в виде кластера memcached-серверов. Зачем нужен memcached? Как работать с таким хранилищем, как распределить ключи по элементам кластера? Как назвать ключ, соответствующий кэшу? Как обеспечить атомарность операций, “блокировки”?
Как эффективно использовать такое хранилище? Как исключить возможность одновременного построения “тяжелых” кэшей разными мордами? Как сбросить одновременно группу кэшей? Как отлаживать (собирать статистику) о кэшировании? Как работает slab-аллокатор? Для чего еще может быть полезен memcached в веб-проекте?
О докладчике
Андрей Смирнов, технический директор компании NetStream. Обладает опытом создания архитектуры и реализации высоконагруженных веб- и других сетевых проектов. Дополнительная информация: http://netstream.ru/ru/about/techdir/
Контакты: smira@netstream.ru, ICQ: 135225957
Другие доклады секции Основная секция
Авито, Sphinx
SiteGround
Делают мир удобным для бизнеса.
Hilbert Team — системный IТ‑интегратор. Отраслевой эксперт в области DevOps, DataOps, DevSecOps и FinOps.
Badoo
ВКонтакте — крупнейшая социальная сеть в России и странах СНГ. Миссия ВКонтакте — соединять людей, сервисы и компании, создавая простые и удобные инструменты коммуникации. VK — это больше 200 технопроектов. Свыше 10 000 человек создают и развивают одни из самых популярных и высоконагруженных интернет-сервисов в стране. Делают комфортнее, легче и интереснее жизнь сотне миллионов людей.
Доклад будет о личном проекте, так что в его контексте автор и есть компания :)
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Грамант
Positive Technologies создаёт продукты в области кибербезопасности. Уже 20 лет основная задача компании — предотвращать хакерские атаки до того, как они причинят неприемлемый ущерб бизнесу и целым отраслям экономики. Продукты и сервисы Positive Technologies используют более 2300 компаний по всему миру.
СберТех — российский разработчик программного обеспечения для бизнеса и государства, основной поставщик решений для Сбера. Флагманское решение компании – цифровая облачная платформа Platform V для создания приложений любого масштаба и сложности и обеспечения технологической̆ независимости на уровне ПО.
Positive Technologies — лидер рынка результативной кибербезопасности. Компания является ведущим разработчиком продуктов, решений и сервисов, позволяющих выявлять и предотвращать кибератаки до того, как они причинят неприемлемый ущерб бизнесу и целым отраслям экономики. Технологии компании используют более 3300 организаций по всему миру, в том числе 80% компаний из рейтинга «Эксперт-400».
SberDevices — IT-компания полного цикла в экосистеме Сбера, R&D-центр экспертизы в области искусственного интеллекта: речевые технологии, понимание естественного языка, компьютерное зрение, лицевая и голосовая биометрия. Производит умные устройства — от лампочек до телевизоров. В портфолио SberDevices — ruGPT-3, ruDall-E, RuSBERT и другие масштабные ML-проекты, высоконагруженные системы и технологии обработки Big Data.
Postgres Professional — разработчик Postgres Pro, самой популярной российской системы управления базами данных. В команде Postgres Professional — 70% российских разработчиков PostgreSQL. Среди заказчиков Postgres Pro — крупнейшие российские компании из списка РБК-500, а также объекты КИИ.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Tarantool — middleware для эффективного создания высоконагруженных сервисов. Сочетает в себе сервер приложений, гибридное хранилище данных, а также инструменты и средства масштабирования. Производительность систем на Tarantool может достигать 1 млн транзакций в секунду.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Технологический партнер с комплексной экспертизой в области построения и развития инфраструктуры, внедрения информационных систем, разработки программных решений и сервисной поддержки. КРОК реализует проекты, которые задают тон индустрии: от крупнейшего ЦОДа в стране до «умной» инфраструктуры спортивных объектов.
Яндекс Еда – это про скорость, про быструю доставку из кафе, ресторанов и любых магазинов.
Яндекс Еда – это про скорость, про быструю доставку из кафе, ресторанов и любых магазинов.
Развитие инженера
«Перкона» (Percona)
Крупнейшая российская IT компания с самой большой долей поиска в РФ.
Команда Тинькофф — это разработчики, продакт-менеджеры, дизайнеры, маркетологи, аналитики, тестировщики, SRE-инженеры и другие специалисты. Вместе они создают новые и развивают существующие финтех-продукты, которыми пользуются 25 миллионов клиентов и каждый из нас.
На Авито каждый может найти что-то свое среди миллионов частных объявлений и предложений компаний по всей России: от квартиры и автомобиля до работы и кандидатов на вакансии. Сервис делают более 1300 инженеров. В Авито небольшой монолит на PHP, несколько сотен микросервисов на Go и Python, фронтенд на JavaScript, базы данных PostgreSQL, MongoDB и Redis, автоматические тесты, обученная на данных система модерации и поисковый движок Sphinx. Продуктом каждый месяц пользуется треть населения России.
Яндекс Еда – это про скорость, про быструю доставку из кафе, ресторанов и любых магазинов.
Дзен — контентная платформа, которой каждый месяц пользуются 32,5 миллиона человек. Рекомендательные алгоритмы отбирают контент для персональных лент пользователей от 100 тысяч авторов из почти 5 миллионов возможных вариантов.
Доклад будет о личном проекте, так что в его контексте автор и есть компания :)
Wildberries — онлайн-платформа с 18-летней историей. География присутствия площадки охватывает 7 стран мира, в том числе Россию, Белоруссию, Казахстан, Армению, Киргизию. Ежедневно на площадке оформляется 8 млн заказов, а 90% её продавцов — представители малого бизнеса.
DDoS-Guard — cпециализированный провайдер защиты от DDoS-атак на базе собственных разработок. Им доверяют тысячи клиентов по всему миру, среди которых ISPsystem, Selectel, Reg.ru, hh.ru и другие. За 2023 год система защиты DDoS-Guard отразила 1.4 млн атак.
Data Egret
Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Газпромбанк — один из крупнейших банков России. Они не просто банкиры: создают искусственный интеллект, придумывают новые цифровые продукты и поддерживают профессиональное комьюнити. Планируют стать самым дата-центричным и диджитализированным банком страны.
«Перкона» (Percona)
Гринатом – ИТ-компания в структуре Росатом с фокусом на разработке инновационных решений для современных бизнес-процессов в атомной отрасли и за ее пределами. Мы развиваем цифровую экосистему Росатома, создаем свое ПО и обеспечиваем атомную отрасль современными ИТ-решениями, услугами и сервисами.
Altenar — международная IT-b2b-компания с офисами в России, на Мальте и в Греции, которая занимается разработкой высоконагруженного программного обеспечения для сбора, обработки, анализа спортивных данных в реальном времени и их последующего преобразования в информацию для b2b-клиентов.
IT-компания и основной цифровой партнер торговых сетей и бизнесов X5 Group. Команда из более 3500 специалистов разрабатывает решения, которые помогают 325 тысячам сотрудников группы работать с максимальным технологическим комфортом, а миллионам покупателей быстро и удобно покупать свежие продукты.
Компания «ЭвоКарго» разрабатывает автономные логистические решения. «ЭвоКарго» предлагает принципиально новую экономически эффективную логистическую услугу по сервисной модели с применением автономного транспорта собственного производства на складских и производственных площадках. За три года компания стала одной из первых в мире, успешно запустивших полностью автономный логистический сервис грузоперевозок. Сервис позволяет снизить расходы на содержание флота до 30%.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
С 2023 года я самостоятельный бизнес-тренер. Работаю с физическими лицами и корпоративными клиентами. Мои корповые клиенты - это лидеры своих отраслей (банки из ТОП-3, ритейлеры из ТОП-5, ИТ-компании из ТОП-50 по мнению hh.ru). Cайт:
Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Яндекс Еда – это про скорость, про быструю доставку из кафе, ресторанов и любых магазинов.
Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У нас десятки тысяч rps к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
Altenar — международная IT-b2b-компания с офисами в России, на Мальте и в Греции, которая занимается разработкой высоконагруженного программного обеспечения для сбора, обработки, анализа спортивных данных в реальном времени и их последующего преобразования в информацию для b2b-клиентов.
«Платформа Сфера» — универсальная экосистема продуктов для производства технологических решений, которая включает в себя более 40 инструментов для управления разработкой, тестированием, эксплуатацией программного обеспечения, а также инженерных инструментов для работы с исходным кодом и инструментами мониторинга рабочих станций и анализа бизнес-процессов.
QIWI — международная группа компаний, которая предоставляющая платежные и финансовые сервисы в России и в других странах.
СберМаркет (ООО «Инстамарт Технолоджис») — технологический онлайн-сервис, который помогает делать покупки не выходя из дома. Tech-команда СберМаркета создает один из самых сложных высоконагруженных e-commerce-проектов в России и делает это с любовью.
Экспресс 42 помогает технологическим компаниям формировать инженерные практики для производства их продуктов. Внедряют DevOps-практики и инструменты, помогают эксплуатировать интернет-проекты.
Т1 — многопрофильный холдинг, один из лидеров российского IТ-рынка, является партнером ключевых производителей и разработчиков в сфере информационных технологий. В штате — 20 тысяч сотрудников. В 2022 году оборот холдинга составил свыше 166,7 млрд рублей. По версии аналитических агентств CNews Analytics, TAdviser и RAEX, Т1 входит в топ-3 крупнейших российских IТ-компаний. В состав холдинга входят кластеры: Т1 (компании Т1 Интеграция, Т1 Консалтинг, Т1 Cloud, Сервионика), МультиКарта, Иннотех, Дататех и НОТА.
