大數(shù)據(jù)在互聯(lián)網(wǎng)時(shí)代是敵是友_數(shù)據(jù)分析師培訓(xùn)

在互聯(lián)網(wǎng)時(shí)代，數(shù)據(jù)是企業(yè)分析市場(chǎng)與選擇企業(yè)戰(zhàn)略的基礎(chǔ)。由于互聯(lián)網(wǎng)技術(shù)的發(fā)展，信息容量以幾何級(jí)的速度增長(zhǎng)，而各種相關(guān)收集數(shù)據(jù)的工具和各大網(wǎng)站自身在提供網(wǎng)絡(luò)服務(wù)時(shí)順帶收集數(shù)據(jù)的技術(shù)也更加完善。使得各大企業(yè)收集數(shù)據(jù)更有時(shí)效性和快速性，然而網(wǎng)絡(luò)是把雙刃劍，在互聯(lián)網(wǎng)時(shí)代，大數(shù)據(jù)是敵是友？
          數(shù)據(jù)是研究的“生命之血”，現(xiàn)在對(duì)商業(yè)和工業(yè)來(lái)說，也同等重要。傳感器網(wǎng)絡(luò)等技術(shù)能夠讓我們以驚人的速度收集海量數(shù)據(jù)，這種數(shù)據(jù)的收集通常以非常復(fù)雜的方式進(jìn)行。
         從大數(shù)據(jù)集中提取信息的過程通常被稱之為“數(shù)據(jù)挖掘”，整個(gè)過程就像從廢料中搜尋寶貴的礦石。這種數(shù)據(jù)挖掘和分析能夠讓公司獲得巨大優(yōu)勢(shì)，幫助他們更好地滿足消費(fèi)者的需求。
         例如，百度在提供搜索服務(wù)的同時(shí)也在收集用戶的信息，針對(duì)單個(gè)用戶每天搜索的信息量即時(shí)推送相關(guān)搜索信息，實(shí)現(xiàn)精準(zhǔn)化營(yíng)銷。但另一方面我們可以想象，我們每天獲取的是相類似的信息，用戶體驗(yàn)的提升方面一般比較差，面對(duì)海量信息陷入了一種搜索疲勞的狀態(tài)。
         然而信息的追求是滯后的且是相對(duì)真實(shí)的，它會(huì)受到客觀技術(shù)條件和用戶主觀想象的偏差，所以，所有測(cè)量都存在不確定性或者實(shí)驗(yàn)誤差。數(shù)據(jù)收集是一項(xiàng)昂貴的業(yè)務(wù)，所研發(fā)的相關(guān)工具允許實(shí)驗(yàn)人員以一種能夠有效收集數(shù)據(jù)并在考慮不確定性情況下對(duì)數(shù)據(jù)進(jìn)行分析的方式設(shè)計(jì)他們的實(shí)驗(yàn)。大數(shù)據(jù)世界發(fā)生的變化帶來(lái)了研究和工業(yè)應(yīng)用方面一系列新的可能性。直到最近，質(zhì)量檢驗(yàn)員在監(jiān)視一條非紡織織物的生產(chǎn)線時(shí)還不得不停止生產(chǎn)，剪下一點(diǎn)檢驗(yàn)抗張強(qiáng)度和孔隙率等性能。現(xiàn)在，質(zhì)量檢驗(yàn)員可以借助攝像頭拍攝連續(xù)視頻，而后利用相關(guān)算法對(duì)視頻數(shù)據(jù)進(jìn)行分析，檢驗(yàn)這些參數(shù)。與少量數(shù)據(jù)相比，采用大數(shù)據(jù)技術(shù)對(duì)織物品質(zhì)進(jìn)行評(píng)估無(wú)疑擁有更大優(yōu)勢(shì)，在更大程度上確保產(chǎn)品質(zhì)量。
         大數(shù)據(jù)分析就是要鉆進(jìn)消費(fèi)者的腦袋，了解他們的想法，以更好地滿足他們的需要。
       亞馬遜和谷歌等信息服務(wù)提供商依靠先進(jìn)的算法對(duì)大數(shù)據(jù)進(jìn)行分析，例如根據(jù)消費(fèi)者過去的購(gòu)買行為準(zhǔn)確預(yù)測(cè)圖書、DVD等產(chǎn)品的銷售前景。有效利用大數(shù)據(jù)的公司能夠從中受益，做出正確的重要商業(yè)決策。也就是說，不擁抱大數(shù)據(jù)革命的公司可能品嘗苦果。
        大數(shù)據(jù)革命的受益者不僅僅是大公司。借助于獲取和分析海量數(shù)據(jù)的能力，醫(yī)療衛(wèi)生、環(huán)境保護(hù)、交通管理和很多科學(xué)研究領(lǐng)域都能成為受益者。醫(yī)療領(lǐng)域出現(xiàn)一門名為“生物信息學(xué)”的新學(xué)科。生物信息學(xué)技術(shù)允許研究人員在越發(fā)清晰的人類基因組圖譜中搜尋，確定與特定基因構(gòu)成和疾病有關(guān)的形態(tài)。在所謂的生物標(biāo)記中鎖定有害形態(tài)有助于醫(yī)生更早預(yù)測(cè)疾病的產(chǎn)生，進(jìn)而更早地采取對(duì)策，防止疾病形成。從這個(gè)意義上說，大數(shù)據(jù)技術(shù)能夠扮演生命拯救者的角色。
       不過，分析和利用大數(shù)據(jù)也存在自身問題。大數(shù)據(jù)分析需要采用嚴(yán)格的統(tǒng)計(jì)學(xué)方式，但分析技術(shù)的進(jìn)步速度并沒有跟上“數(shù)據(jù)海嘯”的增長(zhǎng)速度。對(duì)大數(shù)據(jù)的分析可能產(chǎn)生徒有其表的結(jié)果，例如亞馬遜通過大數(shù)據(jù)分析認(rèn)為你可能對(duì)一本書感興趣，而實(shí)際情況卻是，你對(duì)這本書沒有絲毫興趣。
如果僅限于此，問題也不是特別嚴(yán)重，但是，當(dāng)類似這樣具有欺騙性的聯(lián)系導(dǎo)致不恰當(dāng)?shù)尼t(yī)療診斷或信貸限制，或者一種算法錯(cuò)誤地將你的電話或者網(wǎng)上活動(dòng)與恐怖主義聯(lián)系在一起，那就真的是個(gè)問題了。
     對(duì)于大數(shù)據(jù)的使用，發(fā)起者應(yīng)負(fù)起責(zé)任，解釋收集數(shù)據(jù)的目的、過程以及用途。對(duì)于大數(shù)據(jù)的收集、存儲(chǔ)、檢索和分析，仍有很多東西有待我們?nèi)チ私夂蛯W(xué)習(xí)。盡管用于數(shù)據(jù)挖掘的“機(jī)器學(xué)習(xí)”算法不斷取得進(jìn)步，但我們尚不十分清楚如何應(yīng)對(duì)大數(shù)據(jù)的不確定性。也就是說，我們需要一種新的統(tǒng)計(jì)學(xué)方法，用于大數(shù)據(jù)的分析。沒有新的統(tǒng)計(jì)學(xué)方法，我們便永遠(yuǎn)無(wú)法十分肯定我們可以相信并控制結(jié)果。
     在這個(gè)信息爆炸的時(shí)代，數(shù)據(jù)已經(jīng)不再是稀缺資源，我們?cè)诒ＷC技術(shù)提升的同時(shí)也應(yīng)該分析并甄別其中有用的信息作為企業(yè)決策的依據(jù)。正確的利用各種統(tǒng)計(jì)方法和互聯(lián)網(wǎng)工具，最終達(dá)到提升用戶體驗(yàn)的滿意度的目的。