五大商業(yè)分析技術(shù)趨勢及使用方式(1)

目前，趨勢中心對如何應(yīng)對分析挑戰(zhàn)的關(guān)注力度并不亞于他們考慮在新商業(yè)視角中如何充分利用機(jī)遇的力度。例如，隨著越來越多的公司開始不得不面對海量數(shù)據(jù)以及考慮如何利用這些數(shù)據(jù)，管理與分析大型不同數(shù)據(jù)集的技術(shù)開始出現(xiàn)。提前分析成本與性能趨勢意味著公司能夠提出比以前更為復(fù)雜的問題，提供更為有用的信息以幫助他們運(yùn)營業(yè)務(wù)。

    在采訪中，首席信息官們總結(jié)出了5大影響他們進(jìn)行分析的IT趨勢。它們分別為：大數(shù)據(jù)的增長、快速處理技術(shù)、IT商品的成本下降、移動設(shè)備的普及和社交媒體的增長。

    1. 大數(shù)據(jù)

    大數(shù)據(jù)指非常龐大的數(shù)據(jù)集，尤其是那些沒有被整齊的組織起來無法適應(yīng)傳統(tǒng)數(shù)據(jù)倉庫的數(shù)據(jù)集。網(wǎng)絡(luò)蜘蛛數(shù)據(jù)、社交媒體反饋和服務(wù)器日志，以及來自供應(yīng)鏈、行業(yè)、周邊環(huán)境與監(jiān)視傳感器的數(shù)據(jù)都使得公司的數(shù)據(jù)變得比以往越來越復(fù)雜。

    盡管并不是每個公司都需要處理大型、非結(jié)構(gòu)型數(shù)據(jù)集的技術(shù)。Verisk Analytics公司首席信息官Perry Rotella認(rèn)為所有的首席信息官都應(yīng)當(dāng)關(guān)注大數(shù)據(jù)分析工具。Verisk幫助金融公司評估風(fēng)險(xiǎn)，與保險(xiǎn)公司共同防范保險(xiǎn)詐騙，其在2010年的營收超過了10億美元。

    Rotella認(rèn)為，技術(shù)領(lǐng)導(dǎo)者對此應(yīng)當(dāng)采取的態(tài)度是，數(shù)據(jù)越多越好，歡迎數(shù)據(jù)的大幅增長。Rotella的工作是預(yù)先尋找事物間的聯(lián)系與模型。

    HMS公司首席信息官Cynthia Nustad認(rèn)為，大數(shù)據(jù)呈現(xiàn)為一種“爆炸性”增長趨勢。HMS公司的業(yè)務(wù)包括幫助控制聯(lián)邦醫(yī)療保險(xiǎn)（Medicare）和醫(yī)療補(bǔ)助（Medicaid）項(xiàng)目成本和私有云服務(wù)。其客戶包括40多個州的健康與人類服務(wù)項(xiàng)目和130多個醫(yī)療補(bǔ)助管理計(jì)劃。HMS通過阻止錯誤支付在2010年幫助其客戶挽回了18億美元的損失，節(jié)約了數(shù)十億美元。Nustad稱：“我們正在收集并追蹤大量素材，包括結(jié)構(gòu)性與非結(jié)構(gòu)性數(shù)據(jù)，因?yàn)槟悴⒉皇强偸侵滥銓⒃谄渲袑ふ沂裁礀|西。”

    大數(shù)據(jù)技術(shù)中談?wù)撟疃嗟囊豁?xiàng)技術(shù)是Hadoop。該技術(shù)為開源分布式數(shù)據(jù)處理平臺，最初是為編輯網(wǎng)絡(luò)搜索索引等任務(wù)開發(fā)的。Hadoop為多個“非關(guān)系型（NoSQL）”技術(shù)（其包括CouchDB 和 MongoDB）中的一種，其通過特殊的方式組織網(wǎng)絡(luò)級數(shù)據(jù)。

    Hadoop可將數(shù)據(jù)的子集合分配給成百上千臺服務(wù)器的處理，每臺服務(wù)器匯報(bào)的結(jié)果都將被一個主作業(yè)調(diào)度程序整理，因此其具有處理拍字節(jié)級數(shù)據(jù)的能力。Hadoop既能夠用于分析前的數(shù)據(jù)準(zhǔn)備，也能夠作為一種分析工具。沒有數(shù)千臺空閑服務(wù)器的公司可以從亞馬遜等云廠商那里購買Hadoop實(shí)例的按需訪問。

    Nustad稱，盡管并不是為了其大型的聯(lián)邦醫(yī)療保險(xiǎn)和醫(yī)療補(bǔ)助索賠數(shù)據(jù)庫，但是HMS正在探索NoSQL技術(shù)的使用。其包括了結(jié)構(gòu)性數(shù)據(jù)，并且能夠被傳統(tǒng)的數(shù)據(jù)倉庫技術(shù)所處理。她稱，在回答什么樣的關(guān)系型技術(shù)是經(jīng)實(shí)踐證明最好用的解決方案時，從傳統(tǒng)關(guān)系型數(shù)據(jù)庫管理出發(fā)是并不明智。不過，Nustad認(rèn)為Hadoop正在防止欺詐與浪費(fèi)分析上發(fā)揮著重要作用，并且具備分析以各種格式上報(bào)的病人看病記錄的潛力。

    在采訪中，那些體驗(yàn)過Hadoop的受訪首席信息官們，包括Rotella和Shopzilla 公司首席信息官Jody Mulkey在內(nèi)都在將數(shù)據(jù)服務(wù)作為公司一項(xiàng)業(yè)務(wù)的公司中任職。

    Mulkey稱：“我們正在使用Hadoop做那些以往使用數(shù)據(jù)倉庫做的事情。更重要的是，我們獲得了以前從未用過的切實(shí)有用的分析技術(shù)。”例如，作為一家比較購買網(wǎng)站，Shopzilla每天會積累數(shù)太字節(jié)的數(shù)據(jù)。他稱：“以前，我們必須要對數(shù)據(jù)進(jìn)行采樣并對數(shù)據(jù)進(jìn)行歸類。在處理海量數(shù)據(jù)時，這一工作量非常繁重?！弊詮牟捎昧?a href='/map/hadoop/' style='color:#000;font-size:inherit;'>Hadoop，Shopzilla能夠分析原始數(shù)據(jù)，跳過許多中間環(huán)節(jié)。

    Good Samaritan醫(yī)院是一家位于印第安納州西南的社區(qū)醫(yī)院，其處于另一種類型。該醫(yī)院的首席信息官Chuck Christian稱：“我們并沒有我認(rèn)為是大數(shù)據(jù)的東西?！北M管如此，管理規(guī)定要求促使其存儲整如龐大的電子醫(yī)療記錄等全新的數(shù)據(jù)類型。他稱，這無疑要求他們要能夠從數(shù)據(jù)中收集醫(yī)療保健品質(zhì)信息。不過，這可能將在地區(qū)或國家醫(yī)療保健協(xié)會中實(shí)現(xiàn)，而不是在他們這種單個醫(yī)院中實(shí)現(xiàn)。因此，Christian未必會對這種新技術(shù)進(jìn)行投資。

    Island One Resorts公司首席信息官John Ternent稱，其所面臨的分析挑戰(zhàn)取決于大數(shù)據(jù)中的“大”還是“數(shù)據(jù)”。不過，目前他正在謹(jǐn)慎地考慮在云上使用Hadoop實(shí)例，以作為一種經(jīng)濟(jì)的方式分析復(fù)雜的抵押貸款組合。目前公司正在管理著佛羅里達(dá)州內(nèi)的8處分時度假村。他稱：“這種解決方案有可能解決我們目前正遇到的實(shí)際問題?！?/span>

    2.商業(yè)分析速度加快

    肯塔基大學(xué)首席信息官Vince Kellen認(rèn)為，大數(shù)據(jù)技術(shù)只是快速分析這一大趨勢中的一個元素。他稱：“我們期待的是一種更為先進(jìn)的海量數(shù)據(jù)分析方法?！迸c更為快速地分析數(shù)據(jù)相比，數(shù)據(jù)的大小并不重要，“因?yàn)槟阆胱屵@一過程快速完成”。

    由于目前的計(jì)算能夠在內(nèi)存中處理更多的數(shù)據(jù)，因此與在硬盤中搜索數(shù)據(jù)相比，其計(jì)算出結(jié)果的速度要更快。即使你僅處理數(shù)G數(shù)據(jù)，但情況依然與此。

    盡管經(jīng)過數(shù)十年的發(fā)展，通過緩存頻繁訪問的數(shù)據(jù)，數(shù)據(jù)庫性能提升了許多。在加載整個大型數(shù)據(jù)集至服務(wù)器或服務(wù)器集群的內(nèi)存時，這一技術(shù)變得更加實(shí)用，此時硬盤只是作為備份。由于從旋轉(zhuǎn)的磁盤中檢索數(shù)據(jù)是一個機(jī)械過程，因此與在內(nèi)存中處理數(shù)據(jù)相比，其速度要慢許多。

    Rotella稱，他現(xiàn)在幾秒中進(jìn)行的分析在五年前需要花上一個晚上。Rotella的公司主要是對大型數(shù)據(jù)集進(jìn)行前瞻性分析，這經(jīng)常涉及查詢、尋找模型、下次查詢前的調(diào)整。在分析速度方面，查詢完成時間非常重要。他稱：“以前，運(yùn)行時間比建模時間要長，但是現(xiàn)在建模時間要比運(yùn)行時間長?！?/span>

    列式數(shù)據(jù)庫服務(wù)器改變了關(guān)系型數(shù)據(jù)庫的傳統(tǒng)行與列結(jié)構(gòu)，解決了另一些性能需求。查詢僅訪問有用的列，而不是讀取整個記錄和選取可選列，這極大地提高了組織或測量關(guān)鍵列的應(yīng)用的性能。

    Ternent警告稱，列式數(shù)據(jù)庫的性能優(yōu)勢需要配合正確的應(yīng)用和查詢設(shè)計(jì)。他稱：“為了進(jìn)行區(qū)別，你必須以適當(dāng)?shù)姆绞絾査m當(dāng)?shù)膯栴}。”此此同時，他還指出，列式數(shù)據(jù)庫實(shí)際上僅對處理超過500G字節(jié)數(shù)據(jù)的應(yīng)用有意義。他稱：“在讓列式數(shù)據(jù)庫發(fā)揮作用之前，你必須收集一規(guī)模的數(shù)據(jù)，因?yàn)樗蕾囈欢ㄋ降闹貜?fù)提升效率?！?/span>

    保險(xiǎn)與金融服務(wù)巨頭John Hancock公司的首席信息官Allan Hackney稱，為了提高分析性能，硬件也需要進(jìn)行提升，如增加GPU芯片，其與游戲系統(tǒng)中用到的圖形處理器相同。他稱：“可視化需用到的計(jì)算方法與統(tǒng)計(jì)分析中用到的計(jì)算方法非常相似。與普通的PC和服務(wù)器處理器相比，圖形處理器的計(jì)算速度要快數(shù)百倍。我們的分析人員非常喜歡這一設(shè)備?！?/span>