城市大數(shù)據(jù)分析的價值展望(2)_數(shù)據(jù)分析師

3 城市大數(shù)據(jù)分析的保障性措施建議

　　3.1 與云基地的建設(shè)協(xié)同發(fā)展

　　各地云基地的建設(shè)意味著海量的數(shù)據(jù)將進(jìn)行集中管理。其中存儲、運(yùn)算服務(wù)伴隨云基地的設(shè)備到位就可以支持規(guī)模性增長，也為大數(shù)據(jù)分析奠定了基礎(chǔ)，而大數(shù)據(jù)分析也使得多地的云基地建設(shè)有最切合的用武之地，不至于成為一朵“浮云”。

　　3.2 成立城市大數(shù)據(jù)中心

　　政府應(yīng)用數(shù)據(jù)存在敏感性、保密性等特點(diǎn)，部分甚至涉及國家安全與政府機(jī)密，存在較大的管理風(fēng)險，不便與其他數(shù)據(jù)混合管理。城市大數(shù)據(jù)挖掘將整合強(qiáng)大的存儲平臺和運(yùn)算系統(tǒng)，綜合分析跨地域、跨行業(yè)、跨部門的海量數(shù)據(jù)，而群體事件發(fā)現(xiàn)、警情分析等功能需要較快速的反應(yīng)能力，因此，只有專門的設(shè)施與專業(yè)的團(tuán)隊(duì)配備才能滿足這樣大規(guī)模、高敏捷的需求。

　　3.3 做好人文保障工作

　　要做好人文保障工作，必須做到其一是基本的安全問題，必須有系統(tǒng)化的策略進(jìn)行安全和訪問控制。城市數(shù)據(jù)中心是最讓黑客們感興趣的潛在單點(diǎn)，因而要求最嚴(yán)格的安全。

　　其二是數(shù)據(jù)利用方面要小心謹(jǐn)慎，不能濫用。如移動電話數(shù)據(jù)可以在設(shè)備擁有者明確同意后，用于感知交通擁塞，但是不能作為超速駕駛的依據(jù)，不能讓市民感覺身處“全景監(jiān)獄”。新模型的使用模式對自愿加入的個人及單位要盡可能透明化，日常分析利用時需確保數(shù)據(jù)中敏感隱私的剝離。

　　此外還有許多有待討論的問題，如是否可以“預(yù)測即懲罰”。若通過監(jiān)控個人的特征和行為發(fā)現(xiàn)恐怖分子，那么在恐怖活動未實(shí)施之前，能否對看上去證據(jù)確鑿的某個人實(shí)施控制?數(shù)據(jù)的記憶能力及對數(shù)據(jù)的接觸能力將加深“信息的貧富差距”，如何讓大數(shù)據(jù)走向信息互惠?[2]

　　3.4 頂層設(shè)計中融入大數(shù)據(jù)理念

　　未雨綢繆。在系統(tǒng)的建設(shè)初期就應(yīng)該集中考慮標(biāo)準(zhǔn)化、端口與互操作問題。不同的城市，甚至同一城市的不同機(jī)構(gòu)，使用不同的模型管理信息。各個部門若形成信息孤島，加之大數(shù)據(jù)中存在的眾多半結(jié)構(gòu)化數(shù)據(jù)、無結(jié)構(gòu)數(shù)據(jù)，將會進(jìn)一步導(dǎo)致分析困難。因此在城市信息化的潮流中，應(yīng)首先進(jìn)行以大數(shù)據(jù)為核心的頂層設(shè)計[3]，瞄準(zhǔn)城市基礎(chǔ)架構(gòu)與服務(wù)中各利益相關(guān)者的需求，并注重標(biāo)準(zhǔn)規(guī)范建設(shè)。

　　3.5 解決關(guān)鍵技術(shù)問題

　　從國家近年來政策動向及科技基金來看，非常鼓勵大數(shù)據(jù)產(chǎn)業(yè)及相關(guān)的研究。各城市也應(yīng)當(dāng)在應(yīng)用、實(shí)踐的過程中，研究攻克大數(shù)據(jù)分析中技術(shù)方面的問題。

　　3.5.1 基礎(chǔ)技術(shù)問題

　　目前大數(shù)據(jù)分析所普遍采用的MapReduce分析技術(shù)在同等硬件條件下，性能遠(yuǎn)低于并行數(shù)據(jù)庫;但并行數(shù)據(jù)庫在擴(kuò)展性、容錯性的短板導(dǎo)致其無法“勝任”大數(shù)據(jù)分析的任務(wù)。于是，研究人員致力于整合二者的優(yōu)點(diǎn)，將諸如Vertica、HadoopDB、Teradata等數(shù)據(jù)庫對MapReduce和并行數(shù)據(jù)庫進(jìn)行了集成，但解決方案還是基于各方的優(yōu)缺點(diǎn)進(jìn)行折衷。例如，HadoopDB能實(shí)現(xiàn)關(guān)系數(shù)據(jù)庫的高性能和MapReduce的擴(kuò)展性、容錯性，但同時也喪失了MapReduce低預(yù)處理代價和維護(hù)代價、關(guān)系數(shù)據(jù)庫動態(tài)數(shù)據(jù)重分布等正面特性[5]。

　　3.5.2 傳統(tǒng)分析手段改進(jìn)

　　目前各領(lǐng)域采集到的數(shù)據(jù)85%以上是非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)[6]，但較為成熟的數(shù)據(jù)分析方法與技術(shù)主要還是針對結(jié)構(gòu)化數(shù)據(jù)的。以輿情分析為例，目前主要還是依賴主題檢測和追蹤、文本分類、觀點(diǎn)傾向性識別、自動摘要等基于文本信息識別的技術(shù)。隨著非結(jié)構(gòu)化、多樣性數(shù)據(jù)的爆炸式增長，對諸如聲音、視頻、地理位置等所產(chǎn)生的數(shù)據(jù)進(jìn)行綜合分析是未來的發(fā)展趨勢，也是必須攻克的技術(shù)難點(diǎn)。

　　3.5.3 技術(shù)人員培養(yǎng)

　　大數(shù)據(jù)分析技術(shù)人員的缺乏也是制約發(fā)展的因素之一。目前數(shù)據(jù)挖掘、大數(shù)據(jù)分析行業(yè)的分析師比較缺乏，以互聯(lián)網(wǎng)行業(yè)為代表的各大公司展開了人才競爭，而城市級大數(shù)據(jù)分析要求較高，更增加了對技術(shù)人員的職業(yè)要求。所以各城市要注重大數(shù)據(jù)分析師的培養(yǎng)，做好人員準(zhǔn)備。

  CDA注冊數(shù)據(jù)分析師協(xié)會在順應(yīng)大數(shù)據(jù)、云計算的潮流下發(fā)起成立的職業(yè)簡稱。旨在加強(qiáng)國內(nèi)外乃至全球范圍內(nèi)正規(guī)化、科學(xué)化、專業(yè)化的數(shù)據(jù)分析人才隊(duì)伍建設(shè)，進(jìn)一步提升數(shù)據(jù)分析師的職業(yè)素養(yǎng)與能力水平，促進(jìn)數(shù)據(jù)分析行業(yè)的高質(zhì)量持續(xù)快速發(fā)展。CDA數(shù)據(jù)分析師項(xiàng)目包括教育，咨詢，考試，認(rèn)證，機(jī)構(gòu)招聘合作。CDA注冊數(shù)據(jù)分析師協(xié)會會員是來自學(xué)界、實(shí)務(wù)界，國內(nèi)大陸、臺灣及國外數(shù)據(jù)分析和數(shù)據(jù)挖掘相關(guān)領(lǐng)域頂尖的教授、專家.CDA數(shù)據(jù)分析師的就業(yè)前景可選擇于通訊、醫(yī)療、銀行、證券、保險、制造、商業(yè)、市場研究、科研、教育等多個行業(yè)和領(lǐng)域。