Highload++ 2017 завершён!

Профессиональная конференция разработчиков высоконагруженных систем

СКОЛКОВО, Москва 7 и 8 ноября

11-я ежегодная конференция для разработчиков highload-систем, которая соберет   2 700 участников из разных регионов России и мира. Мероприятие направлено на обмен знаниями о технологиях, позволяющих одновременно обслуживать многие тысячи и миллионы пользователей.

Программа охватывает такие аспекты веб-разработок, как архитектуры крупных проектов, базы данных и системы хранения, системное администрирование, нагрузочное тестирование, эксплуатация крупных проектов и другие направления, связанные с высоконагруженными системами.

  • Главная
  • Узкотематические секции: видео, поиск, RTB, биллинги

Sphinx 3.0 и RT-индексы на основном поиске Avito
Узкотематические секции: видео, поиск, RTB, биллинги

Доклад принят в Программу конференции
Avito

Учился в МЭИ и TU Ilmenau, работал в компаниях Playfon, Sotmarket. В Avito пришел как инженер системы поиска.

Avito

Инженер систем поиска компании Avito. Ранее работал в проектах SpyLOG, Percona и Invinco. Имеет ряд выступлений с докладами об эффективном использовании возможностей технологии SphinxSearch, в том числе на HighLoad и РИТ.

Тезисы

Десятки миллионов пользователей просматривают Avito и публикуют почти миллион новых объявлений ежедневно. Сокращение времени появления новых объявлений в поиске - одна из важных задач сервиса. Команда поиска Avito провела в этом направлении ряд оптимизаций, значительно уменьшив время индексации, и, в качестве следующего шага, рассматривала вариант c Delta-индексами, но в результате оказалось возможным реализовать Real Time-индексы. Таким образом мы обеспечили техническую возможность практически мгновенного попадания новых объявлений в поиск в условиях высоких нагрузок по чтению (до 17000 rps) и обновлению (до 1000 rps).

Решить эту и ряд других задач нам удалось после перехода на новую версию системы полнотекстового поиска SphinxSearch, появившуюся в этом году. Мы давно и успешно используем Sphinx для решения различных задач, связанных с поиском, но необходимый нам функционал был полностью доступен только в альфа-версии Sphinx 3.0. После ряда экспериментов и общения с командой разработчиков инструмента, мы решили опробовать альфа-версию в бою, чтобы быстрее получить необходимые нам улучшения, а заодно помочь довести Sphinx до стабильной версии.

В докладе мы подробно расскажем:
- чего не хватало в предыдущей версии Sphinx, какие фичи версии 3.0 были наиболее интересны нам;
- каким образом мы организовали инфраструктуру, чтобы плавно перейти на новую версию Sphinx незаметно для остальной команды, не нарушив работу сервиса, как устроены отдельные подсистемы, как они совершенствовались в ходе работы;
- с какими проблемами мы столкнулись в процессе и как их решили;
- как тестировали, фиксили баги и писали репорты, взаимодействовали с командой разработчиков Sphinx.

Кроме того, мы на реальных цифрах покажем, каким образом улучшения повлияли на производительность.

Другие доклады секции
Узкотематические секции: видео, поиск, RTB, биллинги

Rambler's Top100