13 ноября в Москве состоялась ежегодная конференция IDC по бизнес-аналитике и большим данным.
С точки зрения IDC, которую представил старший аналитик рынка ИТ-услуг Александр Прохоров, бизнес-аналитика и большие данные – частично пересекающиеся рыночные области. Проекты относят к сфере больших данных на основании минимум одного из четырех критериев: данные поступают из одного или нескольких источников в одном или более форматах; объем накопленных данных превышает 100 Тбайт; данные поступают через высокоскоростную потоковую передачу; объем генерируемых данных растет более чем на 60% в год.
Объем мирового рынка бизнес-аналитики (включая инфраструктуру, услуги и ПО) составил в 2013 г. 107 млрд долл., увеличившись на 8% по сравнению с предыдущим годом. Рынок больших данных был оценен в 12,6 млрд долл., при этом его рост находится на уровне 30% ежегодно. В структуре этого рынка 46% приходится на инфраструктурные решения. Вместе с тем растет интерес к ИТ-услугам на рынке больших данных. По результатам опросов IDC, за последние 12 месяцев 30% провайдеров ИТ-услуг набирали персонал в области Big Data & Analytics, а 45% планируют в течение года увеличить штат сотрудников этой специализации. Специалисты в указанной области сегодня в дефиците, вузы (в том числе российские) пытаются внести свой вклад в решение кадровой проблемы, но отдачи от их деятельности можно ожидать не раньше, чем через четыре-пять лет.
IDC отметила изменения в структуре инвестиций в программное обеспечение Big Data: инвестиции венчурного капитала и финансирование R&D сдвигаются в верхние слои программного стека Big Data, т. е. от баз данных и файловых хранилищ к инструментам BI и аналитическим приложениям.
Рост рынка Big Data будет поддерживаться облачными технологиями. Сегодня облачные решения в области аналитики и больших данных растут втрое быстрее, чем традиционные, и к 2020 г. примерно четверть решений Big Data & Analytics будут облачными. На российском рынке такие решения тоже появляются. Еще один важный фактор развития рынка Big Data – Интернет вещей.
В перспективе технологии больших данных существенно изменят деятельность людей, работающих с информацией. По прогнозу IDC, к 2020 г. порядка 15% специальностей, связанных с анализом информациии, будут трансформированы или упразднены за счет новых средств автоматизации. В некоторых компаниях появляется новая должность – Chief Analytics Officer (CAO), отчасти конкурентная по отношению к CIO. К 2020 г. CAO и другие не-ИТ-руководители будут контролировать большую часть бюджета на решения Big Data & Analytics.
Довольно убедительной иллюстрацией того, как большие данные могут влиять на некоторые области человеческой деятельности, стал доклад Андрея Себранта, директора по маркетингу сервисов «Яндекса». Хотя докладчик предпочитает термин Data Science – для получения важных результатов важны не столько объемы данных, сколько правильное обращение с ними. По мнению А. Себранта, в перспективе некоторые профессии исчезнут или их содержание сильно изменится: Data Science во многих случаях позволяет обойтись без экспертов, доверив принятие решения машинным алгоритмам. Интернет-поисковики использовали алгоритмы машинного обучения задолго до появления массового интереса к Big Data. В 2009 г. «Яндекс» перешел на алгоритм MatrixNet в ранжировании результатов поиска, после этого машинное обучение начало внедряться в разные сервисы, повысив их качество. Так, алгоритмы гораздо лучше экспертов справляются с задачами обнаружения спама и фрода, с поиском сходства, распознаванием текста и голоса и многими другими. Один из ярких кейсов – персонализация рекламы. Традиционный маркетинг пытается сегментировать аудиторию, построив портрет типичного потребителя. Алгоритм машинного обучения Crypta, который использует «Яндекс», прямо выявляет потенциальных покупателей на основе паттернов поведения.
Проблема перехода от экспертного анализа к машинным алгоритмам – преимущественно психологическая. Конечно, в жизни всегда будут оставаться сферы, где окончательное решение должен принимать человек, и ему, возможно, потребуется для этого традиционный аналитический отчет. Однако существует масса областей, где одна машина отдает команду другой, и для таких областей алгоритм машинного обучения – решение безальтернативное.
