Big Data

Big data (Большие данные) — объём, скорость и многообразие.

Большие данные — это разнообразные данные, чей объем растёт постоянно и которые поступают с увеличивающейся скоростью. Это определение принадлежит компании Gartner. Оно появилось в 2001 году и используется до сих пор.

Чтобы разобраться в технологиях больших данных big data, надо запомнить 3 основных свойства: огромная скорость поступления, большой объём и разнообразие. Причем они могут быть как структурированными, так и нет. Их размер обычно настолько велик, что ПО для обработки не справляется с ними.

Как правило, использование Big data (Большие данные) связано с бизнес-задачами, решить которые другими методами не представлялось возможным или было слишком сложно.
Помимо свойств, которые мы указали выше, есть важные характеристики, как достоверность и ценность. Их нужно раскрыть и подтвердить, прежде чем применять данную технологию.

Обращаясь к истории внедрения понятия «Большие данные», мы должны упомянуть его создателя, редактора журнала Nature, Клиффорда Линча. Он писал о Big data в 2008 году, в специальном выпуске журнала, посвященном невероятному увеличению мировых объёмов информации. Однако, история феномена, описанного Линчем, началась задолго до этого, в 1960-70 годах, с появлением первых ЦОД.

К категории Big data, по оценке экспертов, относится большинство потоков, имеющих скорость более 100 гигабайт в день. Их размер увеличивается ежедневно благодаря цифровым технологиям и появлению интернета вещей. Недавнее стремительное развитие Big data произошло благодаря популяризации облачных вычислений и будет продолжаться.

Анализ таких данных проводят, чтобы получить новую информацию, ответ на вопрос или поставленную задачу. В процессе их изучения нередки инсайты — открытия, приводящие к внезапному пониманию сути поставленного вопроса.