Десять подводных камней для Big Data в России
Концепция Big Data стала ответом ИТ-сообщества на феноменальный рост больших данных в мире. В 2011 году она впервые появилась в отчетах аналитического агентства Gartner как новая технология. Стремительное развитие отрасли больших данных в последние годы привело к тому, что в США и Западной Европе Big Data распалась на множество самостоятельных технологий, реализующих специфические задачи в общем процессе обработки данных. Комбинация этих решений позволяет успешно справляться с большинством задач из разных областей бизнеса и экономики. Российский рынок пока только развивается в указанном направлении, и его стремление шагать вровень с западным рынком сталкивается с рядом проблем. Однако их удается постепенно преодолевать, и это открывает широкие перспективы для новой ИТ-отрасли. Коротко о ситуации с большими данными в России.
1. В отечественных компаниях и на предприятиях среднего и малого бизнеса пока нет необходимой базы для накопления больших данных. Если на Западе именно колоссальные объемы информации стали драйвером развития отрасли Big Data, то в России ситуация противоположная. Производства, имеющие столь низкую эффективность, что причины этого лежат на поверхности, не испытывают потребности в больших данных. В России основные носители и пользователи Big Data сосредоточены только в банковском секторе, телекоме и торговле. Именно здесь традиционно накапливались значительные объемы данных.
2. Big Data требуют качественных сырых данных, не подверженных искажениям ни из-за низкого качества средств доставки, ни из благих или корыстных соображений. Необходимо также, чтобы данные были из нескольких источников и с большой потенциальной глубиной связей. Это еще сильнее сокращает пригодные наборы информации. В основном в России требуются дополнительные усилия для расширения набора данных и для их обогащения за счет дополнительных источников.
3. Отсутствие легального рынка купли-продажи информации и данных — специализированных бирж и брокерских площадок (Data Exchange) — не позволяет получить недостающие данные для проведения анализа.
4. Недостаточная практика анализа имеющихся данных в компаниях и на предприятиях среднего и малого бизнеса часто мешает заказчику определить цель анализа и сформулировать ожидаемые результаты.
5. Нехватка опыта использования облачных технологий и/или аутсорсинга ИТ-услуг у предприятий малого и среднего бизнеса серьезно ограничивает возможности для накопления данных и их обработки в условиях, когда невозможно содержать собственный дата-центр, соответствующий современным требованиям специалистов в области Big Data.
6. Попытки применить специфические технологии Big Data на малых наборах данных не приносят ожидаемого эффекта.
7. Для обработки разнородных и неструктурированных данных часто используются традиционные статистические или BI-подходы под видом технологий Big Data. А чтобы выявить слабые связи большой глубины, нужно применять специальные методы как на этапе подготовки данных, так и для их последующего анализа. Причем необходимо понимать, что залогом успешного анализа является включение максимально широкого спектра информации, в том числе данных, которые на первый взгляд не относятся к объекту исследования.
8. От работы с Big Data часто ошибочно ожидают предсказуемый результат за предсказуемое время, так же как при традиционных формах работы со структурированными данными. Результатом деятельности специалиста Data Scientist является методология получения количественной оценки тех или иных показателей по представленному набору данных и правил их интерпретации в контексте бизнес-модели клиента. Таким образом, имеется б?льшая удельная доля исследовательских работ по сравнению с традиционными видами анализа и обработки структурированных данных.
9. Руководители компаний не понимают, что разработанные методологии требуют последующих корректировок и оптимизации в связи с меняющимися реалиями бизнеса. Невозможно один раз провести анализ и получить решение на долгие годы. Необходимы постоянные инвестиции для поддержания и увеличения эффективности решений, полученных с помощью технологий больших данных.
10. В России пока мало специалистов, умеющих работать с неструктурированными данными, выполнять их предварительную обработку и анализ, проводить грамотную интерпретацию результатов в зависимости от прикладной области и поставленной задачи. В основном эти специалисты сосредоточены в дата-центрах банков и крупных компаний или в аутсорсинговых компаниях, предоставляющих услуги в области Big Data. Такая ситуация обусловлена малым числом успешно завершенных проектов и в дальнейшем, несомненно, будет меняться, ведь интерес бизнеса и ИТ-специалистов к технологиям Big Data неуклонно растет.
Опубликовано 13.12.2016