深度文章:初識(shí)智能數(shù)據(jù)分析
一、什么是智能數(shù)據(jù)分析?
智能數(shù)據(jù)分析,它是指運(yùn)用統(tǒng)計(jì)學(xué)、模式識(shí)別、機(jī)器學(xué)習(xí)、數(shù)據(jù)抽象等數(shù)據(jù)分析工具從數(shù)據(jù)中發(fā)現(xiàn)知識(shí)的分析方法。智能數(shù)據(jù)分析的目的是直接或間接地提高工作效率,在實(shí)際使用中充當(dāng)智能化助手的角色,使工作人員在恰當(dāng)?shù)臅r(shí)間擁有恰當(dāng)?shù)男畔,幫助他們(cè)谟邢薜臅r(shí)間內(nèi)作出正確的決定。
智能數(shù)據(jù)分析的目的是直接或間接地提高工作效率,在實(shí)際使用中充當(dāng)智能化助手的角色,使工作人員在恰當(dāng)?shù)臅r(shí)間擁有恰當(dāng)?shù)男畔ⅲ瑤椭麄冊(cè)谟邢薜臅r(shí)間內(nèi)作出正確的決定。信息系統(tǒng)中積累的大量數(shù)據(jù),其原始數(shù)據(jù)的價(jià)值很小,只有通過(guò)智能化分析方法抽取其中的精華,才能從數(shù)據(jù)中挖掘出其中的價(jià)值,為人類(lèi)所利用。
二、智能數(shù)據(jù)分析分類(lèi)
智能數(shù)據(jù)分析方法主要為兩種類(lèi)型,一是數(shù)據(jù)抽象(DataAbstraction) ;二是數(shù)據(jù)挖掘(Date Mining)。
數(shù)據(jù)抽象:數(shù)據(jù)抽象結(jié)構(gòu)是對(duì)現(xiàn)實(shí)世界的一種抽象從實(shí)際的人、物、事和概念中抽取所關(guān)心的共同特性,忽略非本質(zhì)的細(xì)節(jié)把這些特性用各種概念精確地加以描述這些概念組成了某種模型。簡(jiǎn)而言之就是在忽略類(lèi)對(duì)象間存在差異的同時(shí),展現(xiàn)了對(duì)用戶(hù)而言最重要的特性。三種常用的抽象:分類(lèi)、聚集、概括。
數(shù)據(jù)挖掘:一般是指從大量的數(shù)據(jù)中通過(guò)算法搜索隱藏于其中信息的過(guò)程。數(shù)據(jù)挖掘通常與計(jì)算機(jī)科學(xué)有關(guān),并通過(guò)統(tǒng)計(jì)、在線(xiàn)分析處理、情報(bào)檢索、機(jī)器學(xué)習(xí)、專(zhuān)家系統(tǒng)(依靠過(guò)去的經(jīng)驗(yàn)法則)和模式識(shí)別等諸多方法來(lái)實(shí)現(xiàn)上述目標(biāo)。智能數(shù)據(jù)分析方法包括分類(lèi)、估計(jì)、預(yù)測(cè)、相關(guān)性分組或關(guān)聯(lián)規(guī)則,聚類(lèi),復(fù)雜數(shù)據(jù)類(lèi)型挖掘等。
三、智能數(shù)據(jù)分析的常見(jiàn)方法
智能分析技術(shù)在數(shù)據(jù)的處理數(shù)據(jù)中具有非常重要的意義,主要包括以下幾類(lèi)常見(jiàn)方法:
決策樹(shù):在已知各種情況發(fā)生概率的基礎(chǔ)上, 通過(guò)構(gòu)成決策樹(shù)來(lái)求取凈現(xiàn)值的期望值大于等于零的概率,評(píng)價(jià)項(xiàng)目風(fēng)險(xiǎn), 判斷其可行性的決策分析方法,是直觀運(yùn)用概率分析的一種圖解法,它是建立在信息論基礎(chǔ)之上對(duì)數(shù)據(jù)進(jìn)行分類(lèi)的一種方法。首先通過(guò)一批已知的訓(xùn)練數(shù)據(jù)建立一棵決策樹(shù), 然后采用建好的決策樹(shù)對(duì)數(shù)據(jù)進(jìn)行預(yù)測(cè)。決策樹(shù)的建立過(guò)程是數(shù)據(jù)規(guī)則的生成過(guò)程,因此,這種方法實(shí)現(xiàn)了數(shù)據(jù)規(guī)則的可視化, 其輸出結(jié)果容易理解, 精確度較好, 效率較高, 缺點(diǎn)是難于處理關(guān)系復(fù)雜的數(shù)據(jù)。常用的方法有分類(lèi)及回歸樹(shù)法、雙方自動(dòng)交互探測(cè)法等。
關(guān)聯(lián)規(guī)則:是形如X→Y的蘊(yùn)涵式,其中, X和Y分別稱(chēng)為關(guān)聯(lián)規(guī)則的先導(dǎo)(antecedent或left-h(huán)and-side, LHS)和后繼(consequent或right-h(huán)and-side, RHS) 。其中,關(guān)聯(lián)規(guī)則XY,存在支持度和信任度。這種方法主要是用于事物數(shù)據(jù)庫(kù)中,通常帶有大量的數(shù)據(jù),當(dāng)今使用這種方法來(lái)削減搜索空間。
粗糙集:是繼概率論、模糊集、證據(jù)理論之后的又一個(gè)處理不確定性的數(shù)學(xué)工具。用粗糙集理論進(jìn)行數(shù)據(jù)分析主要有以下優(yōu)勢(shì): 它無(wú)需提供對(duì)知識(shí)或數(shù)據(jù)的主觀評(píng)價(jià), 僅根據(jù)觀測(cè)數(shù)據(jù)就能達(dá)到刪除冗余信息;非常適合并行計(jì)算、提供結(jié)果的直接解釋。如下圖,X稱(chēng)為R的粗糙集。
模糊數(shù)學(xué)分析:用模糊(Fuzzy sets)數(shù)學(xué)理論來(lái)進(jìn)行智能數(shù)據(jù)分析。現(xiàn)實(shí)世界中客觀事物之間通常具有某種不確定性。越復(fù)雜的系統(tǒng)其精確性越低,也就意味著模糊性越強(qiáng)。在數(shù)據(jù)分析過(guò)程中, 利用模糊集方法對(duì)實(shí)際問(wèn)題進(jìn)行模糊評(píng)判、模糊決策、模糊預(yù)測(cè)、模糊模式識(shí)別和模糊聚類(lèi)分析, 這樣能夠取得更好更客觀的效果。
人工神經(jīng)網(wǎng)絡(luò):一種應(yīng)用類(lèi)似于大腦神經(jīng)突觸聯(lián)接的結(jié)構(gòu)進(jìn)行信息處理的數(shù)學(xué)模型。該模型由大量的節(jié)點(diǎn)(或稱(chēng)神經(jīng)元)之間相互聯(lián)接構(gòu)成。每個(gè)節(jié)點(diǎn)代表一種特定的輸出函數(shù),稱(chēng)為激勵(lì)函數(shù)(activationfunction)。每?jī)蓚(gè)節(jié)點(diǎn)間的連接都代表一個(gè)對(duì)于通過(guò)該連接信號(hào)的加權(quán)值, 稱(chēng)之為權(quán)重,這相當(dāng)于人工神經(jīng)網(wǎng)絡(luò)的記憶。網(wǎng)絡(luò)的輸出則依網(wǎng)絡(luò)的連接方式, 權(quán)重值和激勵(lì)函數(shù)的不同而不同。而網(wǎng)絡(luò)自身通常都是對(duì)自然界某種算法或者函數(shù)的逼近, 也可能是對(duì)一種邏輯策略的表達(dá)。
混沌分型理論:混沌(Chaos)和分形(Fractal)理論是非線(xiàn)性科學(xué)中的兩個(gè)重要概念, 研究非線(xiàn)性系統(tǒng)內(nèi)部的確定性與隨機(jī)性之間的關(guān)系。混沌描述的是非線(xiàn)性動(dòng)力系統(tǒng)具有的一種不穩(wěn)定且軌跡局限于有限區(qū)域但永不重復(fù)的運(yùn)動(dòng), 分形解釋的是那些表面看上去雜亂無(wú)章、變幻莫測(cè)而實(shí)質(zhì)上潛在有某種內(nèi)在規(guī)律性的對(duì)象,因此,二者可以用來(lái)解釋自然界以及社會(huì)科學(xué)中存在的許多普遍現(xiàn)象。其理論方法可以作為智能認(rèn)知研究、圖形圖像處理、自動(dòng)控制以及經(jīng)濟(jì)管理等諸多領(lǐng)域應(yīng)用的基礎(chǔ)。
自然計(jì)算分析:這種數(shù)據(jù)分析方法根據(jù)不同生物層面的模擬與仿真, 通?梢苑譃橐韵氯N不同類(lèi)型的分析方法: 一是群體智能算法, 二是免疫算術(shù)方法,三是DNA算法。群體智能主要是對(duì)集體行為進(jìn)行研究,免疫算法具有多樣性, 經(jīng)典的主要有反向、克隆選擇等,DNA 算法主要使屬于隨機(jī)化搜索方法, 它可以進(jìn)行全局尋優(yōu),在實(shí)際的運(yùn)用中一般都能獲取優(yōu)化的搜索空間,在此基礎(chǔ)上還能自動(dòng)調(diào)整搜索方向,在整個(gè)過(guò)程中都不需要確定的規(guī)則,當(dāng)前DNA算法普遍應(yīng)用于多種行業(yè)中, 并取得了不錯(cuò)的成效。

發(fā)表評(píng)論
登錄
手機(jī)
驗(yàn)證碼
立即登錄即可訪(fǎng)問(wèn)所有OFweek服務(wù)
還不是會(huì)員?免費(fèi)注冊(cè)
忘記密碼請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
圖片新聞
最新活動(dòng)更多
-
7月8日立即報(bào)名>> 【在線(xiàn)會(huì)議】英飛凌新一代智能照明方案賦能綠色建筑與工業(yè)互聯(lián)
-
7月22-29日立即報(bào)名>> 【線(xiàn)下論壇】第三屆安富利汽車(chē)生態(tài)圈峰會(huì)
-
7.30-8.1火熱報(bào)名中>> 全數(shù)會(huì)2025(第六屆)機(jī)器人及智能工廠(chǎng)展
-
7月31日免費(fèi)預(yù)約>> OFweek 2025具身智能機(jī)器人產(chǎn)業(yè)技術(shù)創(chuàng)新應(yīng)用論壇
-
免費(fèi)參會(huì)立即報(bào)名>> 7月30日- 8月1日 2025全數(shù)會(huì)工業(yè)芯片與傳感儀表展
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書(shū)》
推薦專(zhuān)題
- 1 AI 眼鏡讓百萬(wàn) APP「集體失業(yè)」?
- 2 豆包前負(fù)責(zé)人喬木出軌BP后續(xù):均被辭退
- 3 一文看懂視覺(jué)語(yǔ)言動(dòng)作模型(VLA)及其應(yīng)用
- 4 “支付+”時(shí)代,支付即生態(tài) | 2025中國(guó)跨境支付十大趨勢(shì)
- 5 中國(guó)最具實(shí)力AI公司TOP10
- 6 特斯拉Robotaxi上路,馬斯克端上畫(huà)了十年的餅
- 7 國(guó)家數(shù)據(jù)局局長(zhǎng)劉烈宏調(diào)研格創(chuàng)東智
- 8 張勇等人退出阿里合伙人
- 9 AI的夏天:第四范式VS云從科技VS地平線(xiàn)機(jī)器人
- 10 AI視頻,攪動(dòng)1.5萬(wàn)億市場(chǎng)