С каждым годом количество данных демонстрирует экспоненциальный рост. На ручную обработку всех этих данных ушли бы века, но на помощь приходят когнитивные технологии, благодаря которым можно отделить до 75% полезной информации.
Ежедневно мы встречаемся с алгоритмами машинного обучения, когда проверяем почту без спама, большая часть которого отфильтрована подобными методами, выбираем, какой фильм посмотреть на любимом сайте или в какой ресторан сходить. С помощью машинного обучения социальные сети формируют индивидуальную подборку новостей. Amazon, один из крупнейших интернет-магазинов, рекомендует пользователям тот или иной товар. Активно пользуются новыми технологиями крупные компании из тех отраслей бизнеса, где необходимо быстро и качественно обрабатывать большие объемы данных: от технических систем до действий персонала, выявлять сложные связи, чтобы вырабатывать варианты решений. Это позволяет облегчить принятие решения для человека, ответственного за процесс. К компаниям, которым было бы полезно использовать машинное обучение, можно отнести крупные производства, например представителей нефтяной промышленности. Это применимо как для эффективного использования технических систем, так и для оценки действий персонала банковской и строительной отраслей, тяжелого машиностроения и т. д. Также машинное обучение применимо в отраслях, где требуются освоение и понимание большого количества информации о новых разработках, учет накопленного опыта и присутствуют высокие риски при принятии решений. Большой потенциал использования когнитивных технологий существует в медицине, где они могут помочь спрогнозировать лучший вариант лечения для каждого пациента с учетом истории его болезни.
За последние 10 лет компаниям удалось собрать немало данных посредством самых разных каналов, и сейчас пришло время применить алгоритмы к этому массиву информации. Алгоритмы помогут компаниям выйти за рамки традиционного формирования отчетов и глубже проникнуть в суть собираемой информации. Они также будут полезны и в аналитическом прогнозировании, помогая компаниям мгновенно принимать решения. Сбор данных, выявление закономерностей, умная классификация и машинное обучение изменят ситуацию в самых разных отраслях в ближайшие пять лет.
Недавно произошло большое продвижение в использовании нейронных сетей и алгоритмов обучения для обработки естественного языка. Традиционно модель модели слов вместе с классификаторами, которые используют эту модель (Maximum Entropy Classifier и др.), успешно применялась для получения очень точных прогнозов. Однако с появлением технологий глубокого обучения (deep learning) и его применения в понимании натурального языка (NLP) было сделано открытие, которое улучшает точность названных методов в двух случаях: использование контролируемой нейронной сети для выполнения ввода через несколько классификаций и в бесконтрольных нейронных сетях, оптимизирующих выбор в качестве предварительного этапа.
Обучение с учителем: от регрессии к нейронной сети
Классификатор Max Entropy (сокращенно Maxent) является общей вероятностной моделью, используемой в NLP. Учитывая некоторую контекстуальную информацию в документе (в виде мультимножеств, униграмм, биграмм и т. д.), этот классификатор пытается предсказать ярлык класса (положительный, отрицательный, нейтральный). Этот классификатор также используется в нейронных сетях и известен как слой Softmax – последний слой в сети, используемой для классификации (рис. 1). Таким образом, мы можем моделировать один нейрон в нейронной сети, вычисляя ту же функцию, что и максимальный классификатор энтропии.
Рис. 1. Схема работы одного нейрона
Здесь x – наш вектор входов; нейрон вычисляет функцию с параметрами w и b и выводит единственный результат в h.
Тогда, моделируя нейронную сеть с несколькими нейронами, можно просто подумать о том, чтобы одновременно вводить один и тот же набор переменных в несколько разных функций классификации. Нейронная сеть – это не что иное, как пропуск заданного вектора входов (х на рис. 1) через многие (в отличие от одной) функции – нейроны, где каждый нейрон представляет собой функцию регрессии. В результате получим вектор выходов (рис. 2).
Рис. 2. Модель одного слоя нейронной сети
Результат, полученный в одном слое нейронной сети, может быть передан на другой уровень (слой) функций логистической регрессии (или одной функции), пока не будет получен требуемый результат (рис. 3), который будет признаком того, что входящий вектор принадлежит определенному классу.
Рис. 3. Многослойная нейронная сеть
Применение нейронных сетей в NLP
В NLP слова и окружающие их контексты очень важны: слово, окруженное соответствующим контекстом, является ценным, а слово, окруженное, казалось бы, нерелевантным контекстом, не очень ценно. Каждое слово вместе с контекстом сопоставляется с вектором, а нейронные сети могут использоваться для изучения того, какие функции максимизируют оценку вектора слова.
Ценный предварительный этап для любой задачи обучения в NLP (например, классификация отзывов ресторанов) будет заключаться в создании векторов признаков, которые хорошо представляют слова, как говорилось в начале статьи, эти функции часто обозначаются людьми. Вместо этого для изучения таких функций можно использовать нейронную сеть.
Вход в такую нейронную сеть будет представлять собой матрицу, определяемую, например, векторами слов предложения. Для примера рассмотрим фразу и связанную с ней матрицу (рис. 4).
Рис. 4. Матрица взаимосвязей слов внутри фразы
Тогда наша нейронная сеть может состоять из нескольких слоев, где каждый слой отправляет вывод предыдущего уровня в функцию. Обучение осуществляется за счет обратного распространения: получение производных с использованием правила цепи относительно весовых коэффициентов. Исходя из этого «обучаются» весовые коэффициенты, которые определяют нейронную сеть. После обучения у нас теперь есть метод извлечения идеальных признаков векторов, благодаря которому составляется данное слово.
Современные исследователи изучают использование рекурсивных нейронных сетей, чтобы узнать, как предложения разбиваются на древовидные структуры. Эта рекурсивная сеть глубокого обучения может затем успешно научиться сопоставлять аналогичные предложения в одно и то же векторное пространство, хотя они могут состоять из слов, которые означают совершенно разные вещи.
Заключение
В современном мире важно не только обладать большим количеством данных, но и правильно ими воспользоваться для своих целей. Здесь и приходят на помощь методы машинного обучения. Предсказание прибыли, информирование о возможном выходе оборудования из строя, предложение клиенту нужного товара, визуальная идентификация посетителей, автопилот для автомобиля, написание музыки… – это далеко не полный список областей применения машинного обучения. Наиболее востребовано машинное обучение в ритейле, промышленности, производстве, логистике.
Со временем все больше компаний смогут применять машинное обучение для повышения своей эффективности. Безусловно, исследователи и практики продолжат улучшать алгоритмы и изучать их теоретические свойства. Однако одним из более важных аспектов в последние годы становится стандартизация и упрощение применения машинного обучения на практике. Уже сегодня целый ряд библиотек, по большей части с открытым исходным кодом, предоставляют широкие возможности, но для их применения по-прежнему важно понимать основы машинного обучения.
С накоплением опыта работы и успешной деятельности в той или иной области когнитивные системы можно обучать, настраивать, а также задавать режим самообучения. Поэтому когнитивные системы для бизнеса обладают одним важным качеством, которым не обладает ни одна другая система: чем дольше они работают, тем выше их коэффициент полезного действия. Системы сами по себе становятся ценнее для компании в процессе эксплуатации. И существенно, что этот накопленный опыт доступен для сотрудников компании и постоянно используется – повторно, многократно, всегда, когда это необходимо. Обычная ситуация: ушел специалист – для компании потеряны его личные знания и опыт. При внедренной когнитивной системе весь опыт остается в компании и может быть легко передан другим специалистам.
Число компаний, применяющих анализ данных и математическое моделирование бизнес-процессов для монетизации данных, будет расти лавинообразно, пропорционально будет расти необходимость в квалифицированных специалистах, способных строить качественные модели и работать с данными.
