Big Data в бизнесе – быстрый анализ и точный прогноз

Работа с непрерывно растущими потоками данных самого разного вида требует постоянного увеличения ресурсов и усложнения технологических решений. В 2008–2011 гг. появилась новая концепция в сфере взаимодействия с большими массивами данных под названием Big Data. В чем уникальность этого подхода и почему с каждым годом растет объем инвестиций в этот рынок?

Как это работает

Big Data – это набор методов обработки и анализа больших объемов разнообразной информации, которую сложно обработать с помощью обычных технологий. В результате работы с таким материалом появляется полезная информация, скрытые закономерности, незаметные для человеческого мозга. Далее этот ценный продукт может использоваться, например, для корректировки бизнес-процессов компании.

Как понять, какие данные могут считаться большими, чтобы использовать эту технологию? Основными характеристиками такой информации являются так называемые три V:

1. Объем/volume – большой физический объем массива информации. Для хранения данных используют огромные кластеры объединенных компьютеров.
2. Скорость/velocity. Массивы данных не стоят на месте, а быстро увеличиваются, и так же увеличивается скорость их обработки.
3. Разнообразие информации/variety. Одновременная работа в режиме реального времени с самыми разными типами массивов информации, как имеющих структуру так и без нее.

В качестве исходного материала выступают электронные письма, данные из профилей пользователей, любые изображения, текст, аудио- и видеофайлы, непрерывные показания датчиков, финансовые показатели и многое другое.

В работе с большими массивами информации активно используется новый подход – машинное обучение. Человек создает программу, по которой компьютер далее самостоятельно учится, анализирует данные и принимает решение, получает результат. Это направление из области искусственного интеллекта.

Один из примеров работы Big Data – вы отвечаете на вопросы анкеты и получаете свою родословную. Еще пример – с помощью анализа разрозненных потоков документооборота можно найти неплательщиков налогов. Или интересный вариант сотрудничества Microsoft и Siemens по разработке рентгенаппарата, связанного с облачной системой на основе искусственного интеллекта. Эта система анализирует и хранит огромные базы снимков, при этом постоянно самообучается. Снимок получает врач и система, после этого сравниваются диагнозы и, в случае расхождения, врачу предлагают еще раз проверить заключение. 

Условия применения Big Data 

Часто Big Data используется компаниями в качестве нового инструмента для повышения эффективности бизнес-процессов. Есть способ управления компанией исключительно на основе анализа данных (Data Driven Management). Знаменитые Гугл, Яндекс и Фейсбук давно принимают решения на основе концепции Big Data.

Рассмотрим, какие условия необходимы при работе с большими массивами:

• возможность горизонтального расширения – если информации становится больше, то и место ее хранения должно увеличиваться в этом же масштабе;
• устойчивость системы в случае выхода из строя некоторых машин, которых может быть огромное количество (только у Yahoo в системе Hadoop около 42 000 компьютеров);
• локальность информации – обработка данных должна выполняться на той же машине, где они хранятся, передача больших объемов данных слишком затратна.

Сейчас, благодаря облачным сервисам, это направление доступно практически любым, даже небольшим, компаниям.

Где находятся генераторы Больших Данных? Основные источники Big Data:

1. Интернет (информация с сайтов, блогов, соцсетей, поисковиков). База Гугла и Яндекса, например, содержит до 1500 разных видов данных о каждом активном пользователе и его предпочтениях.
2. Корпоративная информация (документы, транзакции, БД).
3. Непрерывные показания датчиков, метеоданные, астрономические наблюдения и т. д. 

Группы игроков на рынке Больших Данных 

Рассмотрим, кто входит в структуру рынка и какой выбрать вариант для внедрения технологии в вашу компанию. На рынке Big Data можно выделить несколько направлений:

• компании, в задачи которых входит хранение и начальная обработка данных (Oracle, SAP, Teradata, Microsoft, ЕМС, IBM и др.);
• разработчики ПО – обработка и поиск информации (АлгоМост, CleverData, IBS, Google BigQuery, Amazon, и др.);
• компании, которые создают системы на стороне заказчика (Крок, Форс и др.);
• фирмы-разработчики готовых приложений или платформ (часто в облаке), для широкой аудитории. Оптимальный вариант для любого бизнеса. (Auditorius, Cross, 1С-Битрикс BigData, Usalytics, Opiner и др.). 

Какие задачи решают Большие Данные 

Основные глобальные задачи, с которыми успешно справляется технология:

• сбор и хранение больших потоков непрерывно изменяющихся данных;
• управление массивами растущей информации;
• структурирование разных типов данных, поиск неявных зависимостей;
• анализ полученных данных и точное прогнозирование бизнес-процессов.

Если рассматривать более узкие задачи, которые помогает решать Big Data, то можно выделить изучение поведения клиентов и таргетинг, анализ и планирование финансовых операций, продажи и планирование запасов, анализ жизненного цикла продукта и др. Все большая роль отводится этой технологии в сфере управления человеческими ресурсами. 

Преимущества технологии 

Рассмотрим основные преимущества, которые вы можете получить от Big Data в сфере продаж и маркетинга:

1. Принятие обоснованных решений на основе анализа больших объемов информации и снижение затрат.
2. Увеличение скорости разработки и внедрения проектов, совершенствование продукта.
3. Подробный анализ деятельности ваших конкурентов.
4. Упрощение и ускорение процесса формирования целевой аудитории. На основе огромных массивов данных из интернет-ресурсов можно составить точный портрет целевой аудитории, узнать все ее предпочтения и привлечь новых клиентов.
5. Увеличение up-sale и cross-sale в результате информации о предпочтениях покупателей.
6. Позволяет находить удивительные закономерности, например, зависимость спроса на товар от погоды или мероприятий, и использовать их для увеличения продаж.
7. Можно сделать подробный анализ, который даст ответы на вопросы «Почему это происходит?», «Что ожидается в будущем?» и «Как получить нужный результат?». Например, поиск причины популярности или непопулярности товаров.

Все эти возможности позволяют улучшить обслуживание покупателей и повысить их лояльность. Когда вы не угадываете, а точно знаете «боль» потребителей, вы можете предложить им те продукты, которые полностью удовлетворят потребности. В выигрыше остаются все.

Большие Данные – это полная информация о вашем бизнесе, подробные знания о конкурентах и клиентах. 

Где используют методы Больших Данных

Наибольшее развитие концепции Big Data наблюдается в тех отраслях, где создаются и обрабатываются огромные потоки информации в режиме онлайн. Их используют в торговле, инжиниринге, здравоохранении, различных госучреждениях, телекоммуникациях, финансовой сфере и логистике. Основные три направления, в которых компании применяют Big Data, – это клиентский сервис (предпочтения клиентов), оценка эффективности бизнес-процессов и управление рисками. Рассмотрим популярные сферы применения технологии Больших Данных. 

Сфера финансов

Big Data ускоряют принятие решения о выдаче кредита, на основе анализа операций клиента подбирают оптимальный пакет банковских услуг, анализируют его кредитоспособность. Компании, которые используют технологию, могут выполнить мгновенную обработку персональных данных клиента. 

Торговля

За время деятельности магазина/компании накапливается много данных о покупателях, поставщиках, товарах и управлении запасами. На основе обработки этой информации можно управлять движением товара, прогнозировать продажи и уменьшать затраты. 

Отрасль телекоммуникаций

Эта отрасль владеет одним из самых объемных массивов данных, проводит подробный анализ информации о клиентах. Компании выполняют сегментацию аудитории, анализ трафика, борьбу с мошенничеством. Главная задача – повышение лояльности текущих и привлечение новых клиентов. 

Проблемы Big Data

Несмотря на быстрый рост популярности технологии, у нее есть свои сложности:

• высокая стоимость технологии, не приносят быстрый доход, а рассчитаны на перспективу;
• гарантия безопасности хранения и обработки информации – атаки хакеров и вирусные внедрения иногда бывают успешны;
• нехватка квалифицированного персонала – прежде чем обрабатывать данные, нужно понимать, что именно обрабатывать и уметь применить результат;
• несоответствие накопленного объема требованиям Big Data (мало данных) и некачественные данные;
• сложное внедрение новых инструментов в старую IT-систему бизнеса;
• проблемы этического характера, когда сбор данных о клиенте или пользователе граничит с нарушением прав личности. В 2019 году создан кодекс саморегулирования в области Больших Данных, который пытается решить эту проблему. 

Примеры использования технологии 

Тем не менее, рынок Больших Данных развивается ускоренными темпами. Растет число приложений, которые используют сложную прогнозную аналитику. Все больше появляется решений с алгоритмами машинного обучения, развивается обработка и аналитика медиа-данных (неструктурированная информация). Рассмотрим примеры удачных решений с применением Больших Данных:

1. В банковской сфере Big Data успешно противодействует мошенничеству с пластиковыми картами. В компании HSBC эффективность отдела безопасности выросла в три раза. А система Watson (разработка IBM) обрабатывает данные потоков денежных транзакций с целью выявления подозрительных операций.
2. В области ритейла концепция Big Data помогает с анализом поведения покупателей. Компания офисной канцелярии OfficeMax благодаря технологии увеличила продажи в В2В на 13 %.
3. Procter & Gamble использует технологию при разработке новых продуктов и маркетинговых кампаний. На основе Big Data анализируются текущие бизнес-процессы и составляются прогнозы развития компании.
4. В Германии Big Data помогает проанализировать, имеет ли право безработный на получение пособия. Внедрение технологии помогло значительно сократить расходы – около 20 % денег выдавалось незаслуженно.
5. В России сеть магазинов «Лента» одна из первых внедрила технологию и стала для анализа покупателей собирать данные из чеков. Эта информация позволяет моделировать поведение клиентов, улучшает качество принимаемых решений в области продаж и обслуживания. По данным Hadoop, внедрение Big Data в торговле увеличивает прибыль на 7–10 %.
6. В правоохранительных органах успешное соединение системы распознавания лиц с видеокамерами помогает находить опасных преступников, а системы видеонаблюдения с элементами искусственного интеллекта выявляют в магазинах покупателей с нестандартным поведением. 

Если вы хотите повысить эффективность компании, оптимизировать затраты, улучшить точность бизнес-прогнозов и свести к минимуму финансовые риски – обратите внимание на новую технологию, за которой будущее.