一提到大數(shù)據(jù)，人們首先會(huì)想到在互聯(lián)網(wǎng)和商業(yè)等環(huán)境中，利用大量的行為數(shù)據(jù)來(lái)分析用戶(hù)行為和預(yù)測(cè)市場(chǎng)趨勢(shì)等應(yīng)用。但是對(duì)工業(yè)大數(shù)據(jù)的定義和應(yīng)用卻很難直觀地理解和想象。工業(yè)大數(shù)據(jù)的挑戰(zhàn)和目的則要通過(guò)“3B” 和 “3C” 來(lái)理解。

工業(yè)大數(shù)據(jù)應(yīng)用的“3B”挑戰(zhàn)：

· Bad Quality——在工業(yè)大數(shù)據(jù)中，數(shù)據(jù)質(zhì)量問(wèn)題一直是許多企業(yè)所面臨的挑戰(zhàn)。

· Broken——工業(yè)對(duì)于數(shù)據(jù)的要求并不僅在于量的大小，更在于數(shù)據(jù)的全面性。

· Below the Surface——除了對(duì)數(shù)據(jù)所反映出來(lái)的表面統(tǒng)計(jì)特征進(jìn)行分析以外，還應(yīng)該關(guān)注數(shù)據(jù)中所隱藏的相關(guān)性。

工業(yè)大數(shù)據(jù)分析的“3C”目的：

· Comparison（比較性）——從比較過(guò)程中獲取洞察，既包括比較相似性，也包括比較差異性。

· Correlation （相關(guān)性）——如果說(shuō)物聯(lián)網(wǎng)是可見(jiàn)世界的連接，那么所連接對(duì)象之間的相關(guān)性就是不可見(jiàn)世界的連接。

· Consequence （因果性）——數(shù)據(jù)分析的重要目的是進(jìn)行決策支持，在制定一個(gè)特定的決策時(shí)，其所帶來(lái)的結(jié)果和影響應(yīng)該被同等地分析和預(yù)測(cè)。

為此，我們發(fā)現(xiàn)Spark MLlib是一款非常優(yōu)秀的工業(yè)大數(shù)據(jù)挖掘工具，擁有頂尖的數(shù)據(jù)處理、數(shù)據(jù)挖掘課數(shù)據(jù)可視化，是數(shù)據(jù)從業(yè)者必備的一把利器。Spark是一個(gè)開(kāi)源集群運(yùn)算框架，擅長(zhǎng)迭代計(jì)算。最初是由加州大學(xué)柏克利分校AMPLab所開(kāi)發(fā)。Spark使用了內(nèi)存內(nèi)運(yùn)算技術(shù)，在內(nèi)存上的運(yùn)算速度比Hadoop MapReduce的運(yùn)算速度快上100倍，即便是在磁盤(pán)上運(yùn)行也能快10倍。Spark允許將數(shù)據(jù)加載至集群內(nèi)存，并多次對(duì)其進(jìn)行查詢(xún)，非常適合用于機(jī)器學(xué)習(xí)算法。

Spark MLlib 主要包括以下幾方面的內(nèi)容：

學(xué)習(xí)算法：分類(lèi)、回歸、聚類(lèi)和協(xié)同過(guò)濾；

特征處理：特征提取、變換、降維和選擇；

管道（Pipeline）：用于構(gòu)建、評(píng)估和調(diào)整機(jī)器學(xué)習(xí)管道的工具；

持久性：保存和加載算法，模型和管道；

實(shí)用工具：線性代數(shù)，統(tǒng)計(jì)，最優(yōu)化，調(diào)參等工具。

上表總結(jié)了 Spark MLlib 支持的功能結(jié)構(gòu)，可以看出Spark MLlib是一種高效、快速、可擴(kuò)展的分布式計(jì)算框架；實(shí)現(xiàn)了常用的機(jī)器學(xué)習(xí)，如：聚類(lèi)、分類(lèi)、回歸等算法。

大數(shù)據(jù)能夠帶來(lái)巨大的商業(yè)價(jià)值已經(jīng)毋庸置疑，各行各業(yè)均已開(kāi)展了一場(chǎng)無(wú)形的較量，數(shù)據(jù)提供商、服務(wù)提供商都想在這片藍(lán)海強(qiáng)占先機(jī)。而目前，Spark已經(jīng)成為了現(xiàn)在大數(shù)據(jù)領(lǐng)域最火的開(kāi)源軟件，Spark也被許多企業(yè)尤其是互聯(lián)網(wǎng)企業(yè)廣泛應(yīng)用到商業(yè)項(xiàng)目中，在國(guó)內(nèi)包括阿里、百度、騰訊、網(wǎng)易、搜狐等。