Конференция завершена. Ждем вас на Highload++ в следующий раз!
Москва, СКОЛКОВО
8 и 9 ноября 2018

Использование туманных вычислений для решения задач машинного обученияBigData и машинное обучение

Доклад отклонён
Игорь Лебедев
SONM

I'm a specialist in computer science with 15 years of IT experience, including seven years developing software for enterprise. I'm an expert in classic system architectures for OLTP, MDM, DWH, OLAP, and BI system classes, databases, as well as some specialised architectures for the fog computing and microservices, smart contracts and the blockchain, automated trading systems and microelectronics. I've finished several projects in Prognoz and EPAM.
I'm the head of the SONM development team since July 2017. My team and I move forward the project and bring to the world the real working general purpose fog-computing platform. The product is already available as testnet MVP version, evolving according to the roadmap.

Тезисы

Машинное обучение и нейросети все больше используются для решения широкого круга практических задач. Разработка широкого спектра решений на основе аппарата машинного обучения и нейросетей - актуальная область реальной экономики с хорошими перспективами роста в ближайшие годы.

Обучение нейросетей очень требовательно к вычислительным ресурсам. GPU очень хорошо подходят для таких задач, их появление сделало разработку и внедрение машинного обучение более массовым.

Однако реальные большие задачи обучения все еще требуют достаточно дорогой конфигурации ПК, недоступной обычным пользователям. Единственное решение - аренда вычислительных мощностей по мере необходимости, создание единого рынка аренды мощностей для машинного обучения.

Аренда у cloud-провайдеров - тоже дорого. Однако есть люди, у которых потенциально есть много GPU по низкой цене. Это - майнеры. Потенциально их устроят доходы (за те же мощности) существенно дешевле, чем у GCP, AWS и других, а суммарная мощность GPU у них порядка 200-500 TFlops.

Для запуска машинного обучения на компьютерах майнеров надо решить несколько частных задач. Необходима платформа, которая сможет управлять вычислительными ресурсами и взаиморасчетами между участниками. Необходимо, чтобы на этой платформе работало существующее ПО машинного обучения, в том числе в режиме распределенного обучения. Крайне желателен удобный интерфейс пользователя, облегчающий запуск проектов.

Именно это предоставляет платформа SONM. Она предоставляет распределенный рынок вычислительных ресурсов, на котором любой желающий может их купить или продать. На приобретенных ресурсах заказчик может запускать свои задачи в виде docker-контейнеров, т.е. совместимо практически с любым серверным Linux-приложением. Платформой можно пользоваться для задач машинного обучения как напрямую, либо может быть создан SaaS-сервис, предоставляющий удобный интерфейс пользователя для запуска проектов машинного обучения.

Другие доклады секции BigData и машинное обучение

Rambler's Top100