一提到大數(shù)據(jù)，人們首先會想到在互聯(lián)網和商業(yè)等環(huán)境中，利用大量的行為數(shù)據(jù)來分析用戶行為和預測市場趨勢等應用。但是對工業(yè)大數(shù)據(jù)的定義和應用卻很難直觀地理解和想象。工業(yè)大數(shù)據(jù)的挑戰(zhàn)和目的則要通過“3B” 和 “3C” 來理解。

工業(yè)大數(shù)據(jù)應用的“3B”挑戰(zhàn)：

· Bad Quality——在工業(yè)大數(shù)據(jù)中，數(shù)據(jù)質量問題一直是許多企業(yè)所面臨的挑戰(zhàn)。

· Broken——工業(yè)對于數(shù)據(jù)的要求并不僅在于量的大小，更在于數(shù)據(jù)的全面性。

· Below the Surface——除了對數(shù)據(jù)所反映出來的表面統(tǒng)計特征進行分析以外，還應該關注數(shù)據(jù)中所隱藏的相關性。

工業(yè)大數(shù)據(jù)分析的“3C”目的：

· Comparison（比較性）——從比較過程中獲取洞察，既包括比較相似性，也包括比較差異性。

· Correlation （相關性）——如果說物聯(lián)網是可見世界的連接，那么所連接對象之間的相關性就是不可見世界的連接。

· Consequence （因果性）——數(shù)據(jù)分析的重要目的是進行決策支持，在制定一個特定的決策時，其所帶來的結果和影響應該被同等地分析和預測。

為此，我們發(fā)現(xiàn)Spark MLlib是一款非常優(yōu)秀的工業(yè)大數(shù)據(jù)挖掘工具，擁有頂尖的數(shù)據(jù)處理、數(shù)據(jù)挖掘課數(shù)據(jù)可視化，是數(shù)據(jù)從業(yè)者必備的一把利器。Spark是一個開源集群運算框架，擅長迭代計算。最初是由加州大學柏克利分校AMPLab所開發(fā)。Spark使用了內存內運算技術，在內存上的運算速度比Hadoop MapReduce的運算速度快上100倍，即便是在磁盤上運行也能快10倍。Spark允許將數(shù)據(jù)加載至集群內存，并多次對其進行查詢，非常適合用于機器學習算法。

Spark MLlib 主要包括以下幾方面的內容：

學習算法：分類、回歸、聚類和協(xié)同過濾；

特征處理：特征提取、變換、降維和選擇；

管道（Pipeline）：用于構建、評估和調整機器學習管道的工具；

持久性：保存和加載算法，模型和管道；

實用工具：線性代數(shù)，統(tǒng)計，最優(yōu)化，調參等工具。

上表總結了 Spark MLlib 支持的功能結構，可以看出Spark MLlib是一種高效、快速、可擴展的分布式計算框架；實現(xiàn)了常用的機器學習，如：聚類、分類、回歸等算法。

大數(shù)據(jù)能夠帶來巨大的商業(yè)價值已經毋庸置疑，各行各業(yè)均已開展了一場無形的較量，數(shù)據(jù)提供商、服務提供商都想在這片藍海強占先機。而目前，Spark已經成為了現(xiàn)在大數(shù)據(jù)領域最火的開源軟件，Spark也被許多企業(yè)尤其是互聯(lián)網企業(yè)廣泛應用到商業(yè)項目中，在國內包括阿里、百度、騰訊、網易、搜狐等。