Как мы увеличили пропускную способность поиска картинок с помощью ML и изменения архитектуры Архитектура
Руководитель службы разработки Яндекс Картинок, занимается архитектурой поиска картинок, построением поисковых баз и разными другими продуктовыми задачами, сочетающими в себе высоконагруженность и ML.
Работает в Яндекс Картинках backend-разработчиком 3 года, до этого работал в Huawei и в Уральской горнодобывающей компании. Закончил магистратуру МФТИ, участвовал в финале ICPC. Любит узнавать новое про алгоритмы и структуры данных, сложные архитектурные решения распределенных систем и углубляться в познания C++
Тезисы
Картинки — это часть поиска Яндекса, работающая с визуальным контентом и обрабатывающая более 10 000 тяжёлых запросов в секунду с помощью десятков тысяч CPU в рантайме. Мы расскажем, как, столкнувшись с необходимостью масштабирования сервиса, с помощью ML в сочетании с архитектурными изменениями смогли не только увеличить пропускную способность в ~2 раза на том же железе, но и дать инструмент для более гибких продуктовых внедрений.
В докладе затронем:
* архитектуру поиска картинок;
* какие сейчас существуют оптимизации, их преимущества и недостатки;
* что собой представляет схема с тирами, и при чем тут химический элемент с атомным номером 78;
* как шардирование в сочетании с ML помогает экономить железо;
* какой потенциал развития у схемы с различными тирами и балансировкой трафика.
