А знаете ли вы, что вы наобучали? Автоматическая проверка точности обучения нейросетей RecSys, поиск, табличные данные
Занимается исследованиями в области математических оснований и надёжности алгоритмов машинного обучения, кандидат физико-математических наук по алгебраической геометрии.
Тезисы
При обучении нейросетей значительная часть вычислений проводится с числами с плавающей точкой. Эти вычисления принципиально не являются точными и вычислительные неточности в ряде случаев могут достигать значений, сравнимых с целевыми параметрами, после чего при обратном распространении ошибок заодно будут распространены по всем параметрам и собранные вычислительные неточности. Эта проблема становится всё актуальнее, потому что размеры применяемых нейросетей не прекращают расти, а для экономии ресурсов все чаще используются числа с более короткой мантиссой. Кроме того, что результаты, выдаваемые такой нейросетью, будут практически случайными, подобная потеря вычислительной устойчивости может стать направлением атак на нейросети.
Я расскажу на примере нашего находящегося в разработке расширения xtorch как реализуется учёт вычислительных неточностей при обучении нейросетей. Расширение создано на основе широко используемой библиотеки torch и выполнено на Rust, Cython и CUDA. Также будут описаны выявленные в библиотеке torch проблемы, которые при этом оказалось необходимо решать.
