智慧型計(jì)算在大數(shù)據(jù)分析之應(yīng)用_數(shù)據(jù)分析師培訓(xùn)

在數(shù)據(jù)爆炸量、多樣化以及數(shù)據(jù)更新快速的時(shí)代下，大數(shù)據(jù)分析之應(yīng)用日益受到重視，在商業(yè)智慧領(lǐng)域也無法避免;過去所處理的數(shù)據(jù)大都是屬于結(jié)構(gòu)性，亦為傳統(tǒng)數(shù)據(jù)庫用于協(xié)助解決商業(yè)行為的數(shù)據(jù)結(jié)構(gòu);近年來，由于數(shù)據(jù)產(chǎn)生的多元性，數(shù)據(jù)的產(chǎn)生有「4V」特性，即數(shù)據(jù)量大(Volume)、數(shù)據(jù)多樣性(Variety)、高誤差性(Veracity)、輸入和處理速度快(Velocity)，尤其非結(jié)構(gòu)數(shù)據(jù)(如Text, image, video等)的大量形成，強(qiáng)烈沖擊傳統(tǒng)數(shù)據(jù)庫的技術(shù)與應(yīng)用;同時(shí)，因?yàn)榇髷?shù)據(jù)數(shù)據(jù)類別多、形成速度快，因此云端技術(shù)的支援與數(shù)據(jù)傳輸速度的充足與否，便是其能否順利運(yùn)作的重要關(guān)鍵，如訂票系統(tǒng)、觀看影片等，當(dāng)數(shù)據(jù)都上傳至云端時(shí)，除了有大量的數(shù)據(jù)存取空間外，頻寬也必需充足，才能讓使用者可及時(shí)下載所需數(shù)據(jù)。

但就因?yàn)閿?shù)據(jù)產(chǎn)生越來越多、瞬間產(chǎn)生越來越快、樣式越來越大，而且有不正確性、雜訊等干擾因素存在，因此軟、硬體設(shè)備都需要升級，才能因應(yīng)龐大且迅速產(chǎn)生的數(shù)據(jù)量。幸而Hadoop分散式并行處理系統(tǒng)的開發(fā)，讓數(shù)據(jù)在夠快的網(wǎng)路速度下可進(jìn)行多個(gè)CPU的平行運(yùn)算;此外，固態(tài)硬碟亦為大量數(shù)據(jù)儲存的重要硬體設(shè)備;換句話說，CPU的平行運(yùn)算、固態(tài)硬碟、及網(wǎng)路速度，在大數(shù)據(jù)的數(shù)據(jù)處理上，叁者缺一不可。本校張百棧教授所帶領(lǐng)的商業(yè)智慧團(tuán)隊(duì)，其核心技術(shù)就在于處理大數(shù)據(jù)下之非結(jié)構(gòu)性數(shù)據(jù)，利用智慧運(yùn)算(Computational Intelligence, CI)技術(shù)，對非結(jié)構(gòu)性數(shù)據(jù)進(jìn)行數(shù)據(jù)探勘(Data Mining)，而主要應(yīng)用的領(lǐng)域在于股價(jià)訊號判定以及心跳數(shù)據(jù)判定，尤其是在股價(jià)訊號判定部分，該團(tuán)隊(duì)可進(jìn)一步利用機(jī)器學(xué)習(xí)(Machine Learning)的方式進(jìn)行股價(jià)預(yù)測。

智慧型計(jì)算技術(shù)應(yīng)用在病例數(shù)據(jù)之判讀

張百棧教授所帶領(lǐng)的團(tuán)隊(duì)一直以來致于推廣智慧型計(jì)算，并結(jié)合各域知(Domain Knowledge)解決同類型之問題，包括工廠排程問題、股市預(yù)測與醫(yī)療資訊叁大域。過去多年之研究在于結(jié)合四項(xiàng)智慧型計(jì)算技術(shù)：即探勘策、(類)經(jīng)計(jì)算、演化式計(jì)算與自然計(jì)算，提出創(chuàng)新的Hybrid Model in Computational Intelligence (CI)，用SOM (Self-Organizing Maps) 或K-means 先將資做分群，再將分群后的資找出其模煳資規(guī)則，進(jìn)新的預(yù)測，所得到的正確比沒有分群高出許多。這是因?yàn)榉秩汉蟮馁Y同質(zhì)性高，從而求得之模煳資規(guī)則也具有代表性。此一模型也被國際上許多學(xué)者接受與引用。

該團(tuán)隊(duì)亦將此一模式進(jìn)行改良，并應(yīng)用于醫(yī)療領(lǐng)域中生理訊號處理與病例辨等問題。首先，將資以案例式推理方法分群，之后以模煳決策樹與基因演算法，分別建立子群體之模煳規(guī)則，藉此判斷是否為肝臟疾病與乳腺癌的病例，此項(xiàng)研究成果已發(fā)表在著名的Applied Soft Computing期刊上。近年發(fā)展出多導(dǎo)程心電圖之心臟疾病辨，主要著重在心電訊號的處理：先將解碼后的心電訊號除去雜訊，并進(jìn)行波型取樣，再以隱藏式馬可夫模型訓(xùn)練方式，找出患病與健康病例之機(jī)模型，最后結(jié)合高斯混合模型的訓(xùn)練，進(jìn)病例判讀。目前臺灣已有知名醫(yī)院將患者的心電圖資訊上傳至云端，讓醫(yī)師可以從智慧型裝置直接做判讀，但由于心電圖的判讀頗費(fèi)心力，部份醫(yī)院會將這部分的工作外包，由具專業(yè)知識的全球人才進(jìn)行心電圖的分析，然后再以機(jī)器學(xué)習(xí)演算法(Machine Learning )的方式進(jìn)行病歷數(shù)據(jù)判讀與建立數(shù)據(jù)庫，這也就是大數(shù)據(jù)的應(yīng)用。

分群技術(shù)與 TSK 模煳技術(shù)之股價(jià)指預(yù)測

此一團(tuán)隊(duì)亦運(yùn)用各種軟性計(jì)算技術(shù)，建立股價(jià)指預(yù)測之模型。其預(yù)測步驟是先將資分群，而后運(yùn)用TSK 模煳技術(shù)找出影響股價(jià)指數(shù)的重要因素，再以機(jī)器學(xué)習(xí)演算法或類神經(jīng)網(wǎng)絡(luò)分析，進(jìn)臺灣加權(quán)指預(yù)測，并從中判定低點(diǎn)、高點(diǎn)的訊號，預(yù)測準(zhǔn)確達(dá)到9成以上。目前此一預(yù)測模式僅納入兩個(gè)影響因子，分別為基本面和技術(shù)面;但如政治、經(jīng)濟(jì)、心理等「大環(huán)境」因素是最難控制的，因此未來可將出現(xiàn)在各線上新聞網(wǎng)站或社群媒體等之政經(jīng)新聞中的文字，經(jīng)處理、過濾后轉(zhuǎn)換成影響股價(jià)波動的情感訊號，準(zhǔn)確率將可望再提高，有助于降低投資風(fēng)險(xiǎn)，并提高投資報(bào)酬。

個(gè)股股價(jià)轉(zhuǎn)折點(diǎn)及潤賺取預(yù)測

圖一、方法流程圖

此一團(tuán)隊(duì)另一項(xiàng)股市預(yù)測技術(shù)，在于個(gè)別股價(jià)投資時(shí)點(diǎn)之研究。先將所欲投資的個(gè)股，其近半年至一年來的股價(jià)波動訊號，從非線性轉(zhuǎn)成線性后，在高、低點(diǎn)時(shí)之相關(guān)技術(shù)面指標(biāo)如KD、RSI、成交量等作為輸入變數(shù)(input)，并將股價(jià)轉(zhuǎn)化為交易訊號(Trading signal)以作為輸出變數(shù)(output)，進(jìn)而從中找出具代表性的變數(shù);之后再將篩選出的因子，輸入類神經(jīng)網(wǎng)路中訓(xùn)練，也就是Machine Learning，進(jìn)而預(yù)測股價(jià)之高、低點(diǎn)轉(zhuǎn)折處。此部份可是股價(jià)指數(shù)預(yù)測部份之延伸，由于已可成功預(yù)測股價(jià)指，因此進(jìn)一步探討如何在股票市場中賺取潤便相當(dāng)重要，預(yù)測出個(gè)股價(jià)格轉(zhuǎn)折點(diǎn)(Turning Point)，便可讓投資者能逢低買進(jìn)、逢高賣出，提升投資報(bào)酬率;此部份之技術(shù)基礎(chǔ)在于結(jié)合線段割(Piecewise Linear Representation, PLR)系統(tǒng)與類經(jīng)網(wǎng)預(yù)測(Back-propagation Neural Network, BPN)等技術(shù)，而以 PLR 作為判斷塬始資轉(zhuǎn)折點(diǎn)之預(yù)測工具。研究程主要分為叁個(gè)步驟：首先，為增加投資報(bào)酬，我們將提出選股塬則，并以這些塬則選出具有投資效的個(gè)股;第二步驟，用預(yù)測模型及事先交易決策分析個(gè)股買賣點(diǎn)，輸入變?yōu)榧夹g(shù)指標(biāo)值，輸出變?yōu)橘I賣時(shí)點(diǎn);第叁步驟，預(yù)測每日交易訊號，以獲得最佳買賣時(shí)機(jī)點(diǎn)，即股價(jià)轉(zhuǎn)折點(diǎn)(如圖一)。

綜上所述，張百棧教授所率領(lǐng)的商業(yè)智慧運(yùn)算團(tuán)隊(duì)，除了基礎(chǔ)分析技術(shù)超卓外，所應(yīng)用分析的領(lǐng)域涵蓋面極廣并切合實(shí)際應(yīng)用，尤其是對于生理資訊的判定方面，對于人類社會將會有長足的貢獻(xiàn)，研究成果相當(dāng)值得期待。