В настоящее время мы живем в «эру данных», где каждый день собирается и хранится огромное количество данных. Перед лицом такого растущего объема использование методов машинного обучения стало неизбежным… Но что же такое машинное обучение? Что скрывается за этими волшебными алгоритмами? И как, они используют данные, чтобы работать так хорошо?
Формально, машинное обучение – это наука о том как, заставить компьютеры реализовывать задачу без детального программирования (explicit programming). Другими словами, большая разница между классическими и машинными алгоритмами обучения заключается в том, как мы их определяем. Большинство предпринимателей как с Украины, так и с Кремниевой долины готовы вкладывать большие деньги в развитие данного направления. Ведь пройдет еще несколько лет и даже чай будет завариваться основываясь на статистических данных прошедших чаепитий.
Отличия классических алгоритмов от алгоритмов машинного обучения.
Классические алгоритмы – это заданные точные и полные правила для выполнения задачи. Алгоритмы машинного обучения – это заданные общие рекомендации, которые определяют модель вместе с данными. Эти данные должны содержать недостающую информацию, необходимую модели для выполнения задачи. Таким образом, алгоритм машинного обучения может выполнить свою задачу, когда модель была скорректирована относительно данных. Мы говорим, что мы «приспосабливаем модель к данным» или что «модель должна быть обучена на данных».
Простой пример машинного обучения
Давайте покажем это на простом примере. Допустим, мы хотим спрогнозировать цену дома, основываясь на размере дома, размере его сада и количества имеющихся в нем комнат. Мы могли бы попытаться построить классический алгоритм, который решил бы эту проблему. Этот алгоритм, должен был бы взять три характеристики дома и вернуть прогнозируемую цену, основанную на точном правиле. В этом примере, точная формула образования цены на дом должна быть известна и закодирована подробно. Но на практике, эта формула часто не известна. С другой стороны, мы могли бы построить алгоритм машинного обучения. Во-первых, такой алгоритм определил бы модель, которая может быть неполной формулой, созданной из наших ограниченных знаний. Затем, модель будет адаптирована путем обучения на заданных (уже известных) примерах цен на жильё. И уже после этого основываясь на «полученном опыте», если можно так выразиться про алгоритм выводится конечная цена дома.
В общем, машинное обучение невероятно полезно для сложных задач, когда мы располагаем неполной информацией или информацией слишком сложной или же как с ценой дома постоянно меняющейся в зависимости не только от экономического положения покупателя, но и от погодных явлений, которые предсказать вообще невозможно, а это значит закодировать в ручную ее нельзя. В таких случаях, мы можем предоставить доступную нам информацию нашей модели и позволить один раз «выучить» недостающую информацию, которая ей нужна сама по себе. Затем, алгоритм будет использовать статистические методы для извлечения недостающих знаний напрямую из данных.
Самый яркий пример машинного обучения, с которым мы сталкиваемся ежедневно – это поисковая система. Суть в том, что алгоритмы поисковой системы настроены таким образом, что даже создатель алгоритма точно не может сказать на каком месте будет находится тот или иной сайт. Все зависит от качества контента, вовлеченности пользователя и еще сотни других факторов, которые и определяют насколько релевантен ресурс поисковому запросу.