北大沈艷：警惕大數據神話，大數據分析有其門檻

大數據是近幾年最熱門的IT概念之一，并已在許多領域實現落地。從淘寶利用平臺數據解讀中國消費趨勢和地區(qū)差異到出行類APP在擁塞的城市中為用戶提供快速的車輛調度，從數據分析團隊在奧巴馬連任競選中發(fā)揮巨大作用到谷歌智能系統(tǒng)AlphaGo在人機圍棋大戰(zhàn)中獲勝，呼喊大數據力量神奇的聲音從未停歇。

然而人們也不得不承認大數據應用喜憂參半的事實，特別是曾作為大數據具備革命性潛力證明的谷歌流感趨勢近幾年的預測結果并不盡如人意。大數據是否被過度熱炒和不恰當運用？現行大數據分析是否科學可靠？疑問接踵而至。

如今，大數據已作為我國的國家戰(zhàn)略被寫進“十三五”規(guī)劃綱要，被期助力產業(yè)轉型升級和社會治理創(chuàng)新，對于大數據相關疑問的思考尤為重要。海外網財經對話北京大學國家發(fā)展研究院教授沈艷，探討大數據應用的陷阱和門檻，以期為“十三五”藍圖中大數據產業(yè)的健康發(fā)展建言獻策。

大數據不能替代小數據

海外網：大數據是這幾年提出來的一個概念，但對海量數據的處理早已存在。大數據與從前對數據的采集分析有哪些不同？

沈艷：我們可以先梳理一下數據使用的變遷。早期，人們用統(tǒng)計方法來觀察和研究世界探求規(guī)律時，認為數據量越大越好。到了近一百年前，英國統(tǒng)計學家開始將抽樣技術用于社會調查中。抽樣技術的使用基于這樣的認知：如果界定出清晰的總體，那么通過隨機抽樣技術，只要能把關鍵節(jié)點描摹出來，就能用有限的樣本去推斷人們關心的總體。在科學抽樣概念的基礎之上，數據調查產業(yè)、以及很多分析行業(yè)就發(fā)展起來。到了21世紀，隨著計算機技術的發(fā)展，比過去大得多的數據量出現了。

一種對于大數據優(yōu)越性的看法是，有了大數據就有了總體，就不再需要抽樣了。這種看法的邏輯似乎是，只要數據量足夠大，那么通常利用有限信息來推測真實狀況的不確定性就可以迎刃而解。這一觀點似是而非。 首先大數據和傳統(tǒng)數據最主要的不同在于，大數據的采集過程更多是生產經營等各類活動的未經處理的附屬產品。傳統(tǒng)的數據收集模式，或者通過問卷調查；或者即便是經營活動留下的數據，往往也有比較規(guī)范的標準，使得數據的含義前后盡可能可比。由于收集的信息只是經營活動的附屬產品，數據反映的信息可能只是總體的一部分，其他部分是缺失的。另一方面，何為總體取決于人們關心的問題，而隨著時間的變化，總體可能還會發(fā)生變化，因為有一些新信息在時間推移中才能夠出現。例如，谷歌有其所有用戶的瀏覽點擊記錄，如果將總體就定義為“谷歌所有用戶的瀏覽行為”，那么谷歌數據可以被看作總體；但是如果總體是“互聯網所有用戶的瀏覽行為”，那么顯然谷歌數據只是其中一部分；再如，“使用谷歌搜索流感相關信息的用戶” 和“美國流感人群”這個總體之間，恐怕只有一部分重合，因此用后者預測流感趨勢，存在先天不足。

事實上，大數據相比過往的數據處理給我們帶來了更多挑戰(zhàn)：算法不同帶來數據生成機制的不同；時間頻率增大、顆粒度變小之后噪音也越大等。

海外網：如今大數據已被提升到國家戰(zhàn)略的地位，數據正在成為我們戰(zhàn)略性的基礎資源，甚至被稱為“新的石油”、“類似貨幣或黃金的新型經濟資產”，您如何評價這些說法？

沈艷：數據的確已經開始成為新的戰(zhàn)略性基礎資源。在大數據被提升到國家戰(zhàn)略地位時，數據資源的歸屬、開發(fā)、轉讓等規(guī)則，需要盡快明確。例如，在研究中我們常常發(fā)現，其他國家可以免費獲取的一些基本公共數據，在我國往往難以獲取?；蛘呤菙祿@取渠道不清晰，或者即便找到了獲取渠道，往往也不得不支付高昂的費用來獲取在其他國家可以免費獲得的資料。另外還存在這樣的情形，就是有關部門公布了一部分數據之后，發(fā)現這些數據引發(fā)了質疑、爭論，之后就索性不再更新相關數據，導致無法及時厘清信息真相的局面?！皩嵤虑笫恰?，首先要能對“實事”給出基本描述，不然就會產生具有煽動性的、不準確的信息在民間流傳，而希望分析可靠數據、澄清錯誤觀念的努力又因為缺乏數據而無法有效實現的局面。在“十三五”規(guī)劃中，很高興可以看到“加快建設國家政府數據統(tǒng)一開放平臺，推動政府信息系統(tǒng)和公共數據互聯開放共享。制定政府數據共享開放目錄，依法推進數據資源向社會開放”這樣的內容，盼望可以盡快落到實處，避免一旦認定數據成為戰(zhàn)略性基礎資源，就迅速成為政府新的壟斷資源，政府何時公開、對誰公開都由有關部門自行把握的局面。

海外網：如何理解大數據成為國家戰(zhàn)略的經濟和社會背景？它在產業(yè)轉型和社會治理方面能夠產生怎樣的助推力？

沈艷：大數據被放到了一個非常重要的位置，表明我們國家在推動創(chuàng)新這方面有很大的決心。這背后還有一個大的背景，就是在全球需求疲軟的情形當中，傳統(tǒng)出口導向的經濟模式已經難以繼續(xù)支撐中國經濟的增長，我們的經濟迫切需要轉型；而在尋找新的增長點的時候，我們會發(fā)現數據在新興行業(yè)中的重要性越來越顯著。合理使用數據，對未來中國經濟成長具有重要意義。

如果運用得當，大數據能夠幫助我們快速刻畫新舊經濟的更替和發(fā)展趨勢，發(fā)現新的增長點。拿我們做的一個課題新經濟指數為例，我們的目標是用該指數來刻畫中國經濟轉型過程中新經濟的成長與變遷。由于新經濟是新概念，現有的統(tǒng)計還沒有對相應內涵的界定和度量，因此依靠傳統(tǒng)數據，我們無法對于新經濟的成長和變遷得出及時的描繪。 這里，大數據給我們提供了在短時間內刻畫國家新經濟基本狀況的可能性。因此你可以想象很多嶄新的機會，比如刻畫一個地區(qū)的產業(yè)布局以及與其他地區(qū)產業(yè)布局相比的高下特征，這將給當地產業(yè)的發(fā)展方向提供可視化指導，也可以為政府決策提供一定參考。

比如在北京，交通擁堵問題非常受關注。過去提供給決策者的數據往往來自抽樣調查，到了現在大數據已經可以實時記錄路面狀況，記錄具體流向，記錄交通高峰和低谷。如果充分利用這些信息，那么在解決交通擁堵這一問題上，也許可以采取一些措施， 考慮鼓勵或不鼓勵人們在某些時段走某些路段，而不是不管人們的實際需要，簡單采取限號措施、甚至采用單雙號限行。恰當運用大數據為更低成本地、更精準地管理城市提供了可能。

海外網：“大數據+”被認為有助于許多行業(yè)的創(chuàng)新發(fā)展。在您看來，大數據更可能給哪些行業(yè)帶來變革性的影響？

沈艷：我想是新經濟指數中的新經濟行業(yè)，它們在未來決策中可能需要使用更多的數據。我們說的新經濟行業(yè)是指那些高技術投入、高人力資本、輕資產的行業(yè)；最近幾年有持續(xù)增長的行業(yè)，以及符合國家產業(yè)政策方向的行業(yè)。例如電子信息行業(yè)、科研和技術服務行業(yè)、金融和法律服務相關行業(yè)等。不過大數據在行業(yè)中的應用還是會有一個逐步推進的過程，其中一個原因是會牽涉到既定的行業(yè)標準。例如在美國，大數據在醫(yī)療行業(yè)的應用就相對要慢一些。所以雖然大數據成為我們的國家戰(zhàn)略，但這并不意味著每一個行業(yè)都該去做大數據分析。

海外網：傳統(tǒng)企業(yè)如果希望建立自己的大數據戰(zhàn)略，應該從哪些方面考慮戰(zhàn)略實施的可行性？

沈艷：不是所有的行業(yè)、企業(yè)都必須考慮大數據戰(zhàn)略，因為大數據分析有其門檻。成立時間比較久、規(guī)模比較大但又有能力快速革新的企業(yè)，可以考慮梳理自身已有的數據（無論大小），然后考慮大數據和小數據相結合，逐步推進。如果身處傳統(tǒng)行業(yè)但是規(guī)模不夠大的企業(yè)，可以考慮購買相應的服務。

最重要的是要防止一哄而上、不管是否適合自己都要趕上潮流。大數據的適用應當審慎、漸進。這主要是因為數據分析很有挑戰(zhàn)，需要一段時間來驗證其效果。

海外網：這里所說的小數據是如何定義的？

沈艷：就是相對于大數據的一些傳統(tǒng)的數據搜集模式，包括問卷調查得到的數據、生產生活當中產生的一些數據等。

數據分析門檻并不低

海外網：您強調大數據的分析是有門檻的，也曾撰文提出大數據分析的五步法?，F在大數據分析是否有確定的標準？又有哪些需要關注和解決的問題？

沈艷：目前大數據分析方法的核心還是數據挖掘方法。但是由于存在神話大數據分析的傾向，我在一篇文章中提出了大數據分析的五步法，其實這不是新東西，只是把傳統(tǒng)的規(guī)范的分析數據的方法做了重新的闡釋。重點是想強調，大數據只是分析、解決問題的一個元素，而不是全部。

我今天剛讀到一段話，它很能代表現在的一些看法，就是講數家公司的大數據平臺就像大數據的淘寶店，“無論你是什么樣的企業(yè)，只要你對數據有需求，就可以找到提供相關服務的淘寶店主，這些店主可以靈活、有針對性地幫你進行大數據部署，并且價格合理”。它輕描淡寫地說，只要你有數據方面的問題，這些店主就可以很好地為你解決，完全沒有提及對大數據使用的可行性分析。

我最近重看了一遍《皇帝的新衣》，我在想為什么騙子可以騙那么多人。這里面很重要的一點是，騙子告訴第一個來看衣服的大臣說，這是最新的技術，如果你看不見的話，你就是愚蠢的人。這個邏輯在很多時候都適用。當新技術來臨，尤其是面對經濟新舊轉型迫切需要新事物的時候，我們很容易在沒有深究的時候就相信新事物的力量，希望它帶來巨大的變化。

但實際上大數據只是我們解決問題過程中的一個部分。只有在必須要用它，并且清晰地知道它各種各樣的局限和可能出現的問題的基礎上，才能去用它。

我提出大數據分析五步法是想要強調，不管是進行學術研究還是產品開發(fā)，首先都要回歸問題本源，明確我們要解決的問題是什么。第二步，明確為解決這個問題需要探求怎樣的數據，要進行數據的可行性論證。如果小數據可以解決問題，就不需要用大數據。如果大數據被證明質量足夠好，能夠作為補充，就采用大數據和小數據結合的方式。只有在沒有小數據、大數據是唯一合適的數據的情形當中，大數據才能被單獨使用，但即便是這樣，它的使用都特別需要交叉驗證。

我們可以看一下美國的大數據行業(yè)圖景（big data landscape）。這張圖將美國大數據產業(yè)分為架構（infrastructure）、分析（analytics）和應用（applications）三個部分。當然這種劃分較為粗淺，每一部分并不是那么絕對，同一家企業(yè)可能同時涉及幾個部分。但是我們看“十三五”規(guī)劃中大數據戰(zhàn)略的內容，會發(fā)現主要是在架構和應用部分，比如加快政府數據開放共享，進行海量數據采集、存儲、清洗、分析發(fā)掘、可視化等領域關鍵技術攻關，對分析部分的強調還有待加強。

海外網：“十三五”規(guī)劃綱要里面也涉及到數據的分析發(fā)掘，和您強調的數據分析有什么不同？

沈艷：我想，數據分析既包括關鍵技術攻關，也包括實際運用。舉例來說，從傳統(tǒng)數據到大數據，數據的維度立刻變得很大，但同時數據也變得稀疏，這種稀疏會給計算帶來很多問題。關鍵技術攻關層面強調的更多是，在維度變大的情況下如何解決計算問題，那就是降維，壓縮信息使得結果盡可能穩(wěn)。 但是，如果我們缺少懂得在什么時候用什么樣的標準去壓縮信息的人才，這就不只是技術問題了。實際數據分析，需要既通曉技術又了解實際問題癥結的人才，而我們現在對分析的實際運用部分的強調還不夠。

從理論上來講，只有在架構和分析方面都處理得很好的前提下，才可以有應用，但實際是，現在的一些大數據公司在并不注重數據分析的情況下就開始了應用，最后給出一個APP之類的產品，說用這個就可以了。

可以說，即便做一些大數據產品的時候沒有遵循非?？茖W規(guī)范的分析方法，也能夠在一定程度上解決問題，但是這些商業(yè)模式是否真正可行、是否能夠持續(xù)是很難確認的，只是在沒有出現問題的時候，我們暫且認為沒有問題，應用的效果只能通過時間、通過金錢檢驗。特別是現在大數據已經上升到戰(zhàn)略高度，會很快被地方執(zhí)行。在經濟轉型的關鍵時期，如果某些關鍵行業(yè)因為數據素養(yǎng)的缺失出現重大損失，將會是很大的問題。而且當出現問題時再回頭糾正的時候，往往需要花費較大的成本。所以我特別呼吁大家關注大數據分析，理解大數據的局限性和可行性，在產業(yè)發(fā)展之初夯實基礎，從而促進產業(yè)的健康發(fā)展。

海外網：數據分析是這樣一個基本的、重要的步驟，為什么卻是常常缺失的、不被重視的？

沈艷：每一個行業(yè)的發(fā)展都需要經歷一個積累經驗的過程?，F在我們進入了大數據時代，而且大數據成為了我們的國家戰(zhàn)略，我們會突然感覺到數據分析的需求大量出現了，也才會突然看到在數據分析這里存在大的缺口。

我個人對強調產品端、輕數據開發(fā)和分析端的現象感受比較深，希望做一些對大數據分析的概念和方法的澄清，也是因為我親身參與了一些具體的大數據分析工作。

海外網：您能否再具體談談大數據分析中一些需要糾正的關鍵問題？

沈艷：除了之前說到的“有了大數據，就不再需要抽樣”，大數據分析中還有一個常見的錯誤觀點是，只用關心相關，不用關心因果。

為什么這是有問題的？舉例來說，按照這個邏輯，“雄雞一唱天下白”可以表述為，假如我知道世界上所有的公雞在什么時候打鳴，我就可以預測什么時候天亮，而公雞打鳴天就亮這個現象背后的機制是不重要的。這個表述在很多時候沒有問題，但是也會有例外，例如有些公雞到下午才打鳴。最核心的問題是，如果我們不懂得公雞為什么打鳴，以此預測天亮就很容易不準確。因此利用相關關系總結規(guī)律是有假設的，也就是大環(huán)境、相關的一些因素沒有根本性的變化，比如剛才這個情景里就是公雞的生物鐘、地球的自轉和公轉等特征沒有變化。

但是由于數據生成是經營活動的附屬產品，而企業(yè)的經營可能既要經歷經濟的繁榮期，也要經歷增速不那么快的時期。如果只關心相關而不關注因果，一些在繁榮期可以表現良好的模式可能在衰退期帶來極大損失。我們以大數據在互聯網金融中一個可能的應用場景——自動化貸款為例來說明這個問題。傳統(tǒng)的貸款依靠人工審批，速度較慢且存在人為的主觀標準，如果能夠利用大數據、通過精確算法實現審批自動化，確實可以降低交易成本，但是要注意，算法成立的基本假定是，機器學習時所用的樣本和未來經濟的樣本非常接近，其中的規(guī)律沒有發(fā)生變化。而一旦經濟發(fā)生巨大變化，比如金融危機，這時候再用先前經濟繁榮時期的模型去預測經濟衰退時期的狀態(tài)，就可能會出現發(fā)出去大量貸款收不回來的狀況，因為機器學習里沒有關于經濟衰退的知識，算法沒有為探測經濟變化做預備。就好像正在高速行駛的車輛一直預設前方道路是平坦的，當它突然遇到懸崖就會掉下去。

其實類似的突然變化在數據生成過程中會常常出現，因為大數據的收集方式和傳統(tǒng)數據收集方式有著本質的不同。大數據是現在一些快速活動的副產品，是為企業(yè)的主營業(yè)務服務的。最早的大數據收集始于谷歌，基于人們搜索、瀏覽網頁時產生的海量數據，出現了一些分布式的處理數據的系統(tǒng)。對于谷歌而言，為給用戶提供盡可能快捷便利的搜索工具，這些系統(tǒng)架構、算法會不斷調整、優(yōu)化。這就給數據分析帶來一個問題。使用新系統(tǒng)后，由于技術更新和數據分析往往不是同一群人，進行數據分析的員工并不知道系統(tǒng)已經發(fā)生了變化、或者不能深刻體會這些變化帶來的數據生成規(guī)律的變化，這時如果只關心相關而不了解因果，沿用原本的數據分析方法就很可能得出不準確的結論。

大數據應用的效果究竟如何是需要驗證的。但現在流行的不少大數據分析往往是一個“黑箱”，企業(yè)做出報告，直接告知結論，對數據來源、處理方式不做說明，這中間數據使用得好還是不好，外界不太容易驗證。所以大數據分析非常需要新的人才，他們要能夠理解數據的收集過程，并且知道數據生成當中的一些變化。

數據安全立法刻不容緩

海外網：很多時候企業(yè)大數據分析展示給公眾的只是一個結論，數據如何收集、處理無從得知。這讓我想到信息孤島的說法，某些數據僅限于某個部門或者企業(yè)知曉和使用，您認為這個孤島出現的原因是什么？如何改變這種現狀？

沈艷：從我的觀察出發(fā)，信息孤島出現有這么幾個原因。第一，由于在一個單位內部，數據的收集整理都是服務于各部門自身的業(yè)務需要，于是會出現各部門在同一指標上內涵不同的狀況。特別是我們的經濟正在轉型，業(yè)務部門是慢慢成長起來的，起初部門A出現的時候，并不知道未來會有部門BCD，當部門BCD出現的時候，也并沒有想到它的信息可能需要和部門A一起使用，這就容易出現部門之間的信息分隔。第二，度量本身是有難度的，因為經濟活動非常復雜。我自己長期參與中國健康和養(yǎng)老的追蹤調查，在參與問卷設計的時候就體會到度量比想象難得多，需要考慮對各類人群的適用，考慮各種各樣的可能。第三，數據共享涉及傳輸，傳輸環(huán)節(jié)的安全責任劃分如果不清晰，數據共享也難以實現。

當然，我國在改變信息孤島方面，還是做出了不少努力。比如我了解到，我們一些大型國有銀行在做大數據戰(zhàn)略的時候，首先就會制定統(tǒng)一的度量標準，從某個時刻開始，各部門對于同樣的指標采取近似的定義。當然這些步驟的實施并不容易，因為有些績效和這些度量結合在一起，統(tǒng)一標準未必對每個部門都有利。另外還需要制定一些數據的收集標準，這樣各方整合數據才相對容易，對監(jiān)管也更加有利。

不管是一個單位各部門之間，還是各個單位之間，數據的打通都非常需要專業(yè)人才。它們既要懂得數據內涵，又要能做打通部門數據壁壘工作，要知道目前不同標準之間的異同，哪些數據能夠合并而哪些不能。

此外還需要數據產品安全級別的界定。數據開放共享并不意味著所有人都可以免費得到所有數據。開放存在級別劃分，比如一些數據現在僅是在某部門內部使用，建立共享平臺之后，其中的某些數據可以在某些程序下被某些人使用。當然也要慢慢明確哪些數據是公眾可以自由獲得的，開放共享會是逐步推進的過程。

海外網：您提到了數據安全的問題。大數據應用使得個人和企業(yè)的信息安全存在很大隱患，保護信息安全的立法呼聲也已出現。如今是否到了數據安全相關立法的恰當時機？

沈艷：信息安全的重要性在大數據時代越發(fā)凸顯，一定程度上是因為當數據的維度越來越多，就越來越容易通過特征識別出具體的個人。信息安全方面的立法工作是非常重要和緊迫的，由于數據泄露，老百姓的損失已經確確實實存在。一切的監(jiān)管和保護要有效，還是需要堅實的司法基礎。

關于個人數據保護我們要明確的是，個人數據的出賣需要明確的標準。即便在一定情形當中，個人數據能夠被一些企業(yè)收集和使用，也要保證憑借這些數據不能精確地找到個人。比如有某人的姓名就不能同時有他的地址，而且對于姓名、地址等確切信息要特別注意，對于同時擁有這些信息的行業(yè)要有嚴密的監(jiān)管。

“十三五”規(guī)劃綱要第28章講的就是信息安全保護的內容。在“加強數據資源安全保護”這部分提到了“建立互聯網數據資源資產化和利用授信體制”“加強個人數據保護，嚴厲打擊非法泄露和出賣個人數據行為”等，希望這些內容可以得到很好的執(zhí)行。

所需人才遠不止數據科學家

海外網：歐美一些國家比我們更早、更快地發(fā)展了大數據，它們有哪些值得我們借鑒的經驗？

沈艷：和其他國家相比，我們在數據的生成和分析上的確有一些需要提高的地方。我們要特別注意，一旦數據成為一種資源，就可能會被操縱。人的利益可以影響數據，數據并不都是干凈、真實的。

我接觸過國內外一些提供搜索服務的企業(yè)，發(fā)現國外企業(yè)在搜索詞條排序上的算法是嚴格根據用戶點擊率決定的，但是國內有些企業(yè)并非如此，而是將付費和不付費的信息混雜在一起，也不會標明哪些是廣告。另外，進行民意調查、輿情監(jiān)測時，問卷設計方式也有可能影響受訪者的選擇，生成數據的公司可能會左右結果。

如果公眾想了解世界的真實狀況，自然希望拿到客觀的數據，但是數據的不客觀是真實存在的。如果分析方對此無法知曉和辨別，分析結果就可能出現重大偏差。要改善這個狀況，需要立法上的一些規(guī)定，也特別需要數據分析方面的優(yōu)秀人才來判斷數據的質量，甄別什么樣的分析是可靠的、值得信賴的。

海外網：您多次提到了對數據分析人才的需要，您是否認為大數據人才的培養(yǎng)需要國家政策方面的傾斜和引導？

沈艷：國家政策目前已經對大數據研究有所著力，但是我們還需明確，不只是硬件和軟件的開發(fā)重要，人才的培養(yǎng)更是重要，它觸及產業(yè)健康發(fā)展的核心。

人才不僅是指數據科學家，數據分析非常需要優(yōu)秀的跨界人才，既懂關鍵技術，又懂專業(yè)領域，比如金融、健康、交通。只有滿足了大數據產業(yè)對人才的需求，這個產業(yè)的發(fā)展才能夠扎實。這需要國家層面的引導，比如高校的相關課程、配備都還需要加強。

海外網：您說數據分析需要跨界人才，那對于高校而言，能不能理解為，不僅是數據分析相關的專業(yè)需要加強，其他專業(yè)的學生也需要這方面的課程？

沈艷：對的。而且不僅需要培養(yǎng)大批專業(yè)人士，還需要對決策者和民眾也有相應的培訓投入。

海外網：就目前的經濟和社會運行狀況而言，我們發(fā)展大數據具備哪些優(yōu)勢？您如何看待大數據在我國的發(fā)展前景？

沈艷：過去三十年來，我國人力資本積累快速，平均增速超過5%，為創(chuàng)新提供了基礎。技術創(chuàng)新使得許多過去無法收集的數據，可以用相對低廉的成本、在短期內被收集。再加上大數據已經上升到戰(zhàn)略高度，我對大數據產業(yè)在我國的發(fā)展前景很有信心。如果這個產業(yè)健康發(fā)展，會幫助中國的新經濟成長起來，讓中國持續(xù)成為世界經濟的引擎。