Применение статистических методов и инструментов для анализа производительности систем
Тестирование

Доклад принят в Программу конференции
Яндекс

Начинал системным администратором лет 10 назад. Потом примерно год нагружал сервисы банков и телекома, работая в интеграторе. В Яндексе с 2011 года занимается тестированием производительности сетевых сервисов и мобильных приложений. Ведет open-source проект Яндекс.Танк. Докладчик на митапах и конференциях в России и за рубежом.

Применение статистических методов и инструментов для анализа производительности систем, Алексей Лавренюк (Яндекс) from Ontico

Тезисы

Я расскажу о нестандартном подходе к тестированию производительности систем. Что делать, если на вашу систему можно подавать только реальную нагрузку, которая имеет ярко выраженную сезонность? Вы всё равно должны уметь делать выводы о текущем запасе производительности и о том, как будет работать система на пределе возможностей. Вы должны чётко понимать, как проявится перегрузка. Как же в таких условиях сравнить два релиза на одном стенде?

Мы выделили входные и выходные метрики, наблюдаем за ними и сравниваем зависимости метрик друг от друга для каждого периода. Таким образом мы не только сравниваем релизы, но и обнаруживаем аномалии. В своём докладе я упомяну полезные инструменты с открытым исходным кодом, которые мы используем в работе: ipython notebook, Graphite, Diamond, pandas и scikit-learn.

Другие доклады секции
Тестирование

Dropbox, Sentry