Векторное представление текстов для задачи классификации и рекомендацийBigData и машинное обучение
Более 15 лет работаю в ИТ. Прошел путь от разработчика до руководителя кросс функциональной команды. Создаю высокоэффективные команды разработки в условиях постоянных изменений. Занимаюсь построением бизнес процессов.
Обработкой естественного языка (NLP) - активно развивающаяся научная дисциплина, занимающаяся поиском смысла и обучением на основании текстовых данных. Неважно, кто вы — опытный Data Scientist, или начинающий Python разработчик — вы всегда можете использовать текстовые данные для того, чтобы усовершенствовать продукт над которым работаете и расширить его функциональность.
В докладе, на примере сайта кулинарных рецептов, будут описаны шаги преобразования и очистки данных. Исследованы методы классификации и определения сходства текстов на основе: Mean word2vec, Tf-idf weighted word2vec, Doc2vec, fastText, Word Mover's Distance. Сравнение качества итоговых моделей. Также поговорим про внедрения в проект решения задач классификации и рекомендаций.
