大資料應完全擁有哪4種特性?

從某種程度上說,大資料是資料分析的前沿技術,從各種各樣型別的資料中,快速獲得有價值資訊的能力,就是大資料技術,也正是這一點促使該技術具備走向眾多企業的潛力。大資料最核心的價值就是在於對於海量資料進行儲存和分析,相比起現有的其他技術而言,大資料的“廉價、迅速、最佳化”這三方面的綜合成本是最優的。

儘管有些網路資料披著大資料的外衣,但並不是每一種資料融合都可以叫做大資料。有些資料擁有以下

4

種屬性中的一種或多種,也不能被歸類為大資料,要完全擁有以下

4

種特性(

大資料的4個“V”

)才能稱得上是大資料。

大資料應完全擁有哪4種特性?

1)

體量

(Volume)

大資料由大量資料組成,從幾個

TB

到幾個

ZB

百度資料表明,其新首頁導航每天需要提供的資料超過1。5PB(1PB=1024TB),這些資料如果打印出來將超過5千億張A4紙。有資料證實,到目前為止,人類生產的所有印刷材料的資料量僅為200PB。

這些資料可能會分佈在許多地方,通常是在接入因特網的計算網路中。一般來說,凡是滿足大資料的幾個

V

條件的資料都會因為太大而無法被單獨的計算機處理。單單這一個問題就需要一種不同的資料處理思路,這也使得平行計算技術(例如

MapReduce

)得以迅速崛起。

2)

多樣

(Variety)

在過去,資料或多或少是同構的,這種特點也使得它更易於管理。這種情況並不出現在大資料中,由於資料的來源各異,因此形式各異。這體現為各種不同的資料結構型別,半結構化以及完全非結構化的資料型別。在過去的幾年裡,半結構化資料和結構化資料成為了大資料的主體資料型別。

資料型別繁多不僅是文字形式,更多的是圖片、影片、音訊、地理位置資訊等多型別的資料,個性化資料佔絕對多數。

3)

準確

(Veracity)

。只要合理利用資料並對其進行正確、準確的分析,將會帶來很高的價值回報。

準確是一個在討論大資料時時常被忽略的一個屬性,部分原因是這個屬性相對來說比較新,儘管它與其他的屬性同樣重要。準確是一個與資料是否可靠相關的屬性,也就是那些在資料科學流程中會被用於決策的資料(而這不同於與傳統的資料分析流程),精確性與信噪比有關。

在大資料中發現哪些資料對商業是真正有效的,這在資訊理論中是個十分重要的概念。並不是所有的資料來源都具有相等的可靠性,在這個過程中大資料的精確性會趨於變化,如何增加可用資料的精確性是大資料面臨的主要挑戰。資料

價值密度低,商業價值高,以影片為例,在連續不間斷監控過程中,可能有用的資料僅僅有一兩秒。

4)

高速

(Velocity)

大資料是在運動著的,通常處於很高的傳輸速度之下。它經常被認為是資料流,而資料流通常是很難被歸檔的(考慮到有限的網路儲存空間,單單是高速就已經是一個巨大的問題)。這就是為什麼只能收集到資料其中的某些部分。如果我們有能力收集資料的全部,長時間儲存大量資料也會顯得非常昂貴,所以週期性的收集資料遺棄一部分資料以節省空間,僅保留資料摘要(如平均值和方差)。這個問題在未來會顯得更為嚴重,因為越來越多的資料正以越來越快的速度產生。

資料處理遵循“1秒定律”,可從各種型別的資料中快速獲得高價值的資訊,這一點也是和傳統的資料探勘技術有著本質的不同。

頂部