社交媒體的大數(shù)據(jù)并不可靠_數(shù)據(jù)分析師

如今，科學家們正越來越多的把目光轉向社交媒體，以研究線上及線下的人類行為，例如預測夏季股票市場的大波動。一些數(shù)據(jù)處理專家指出，使用該種方法處理數(shù)據(jù)時，研究者們須警惕超大量社交媒體數(shù)據(jù)背后可能存在的嚴重缺陷。

錯誤的結果可能產生嚴重的影響：每年，都有上千的研究報告是基于社交媒體上收集而來的數(shù)據(jù)。麥吉爾大學計算科學學院助理教授Derek Ruths稱“這些文章中有好些被用來通報和決斷公眾，行業(yè)及政府的投資決策”。

卡內基梅隆大學軟件科學院的合作作者Jürgen Pfeffer則說，“并不是所有打上“大數(shù)據(jù)”標簽的東西就都很好”，他指出許多研究者都有或是希望有如此的前提——即只要數(shù)據(jù)足夠多，他們就能修正任何可能產生的偏差?！叭欢?，行為學研究中的一句老話說的好：了解你的數(shù)據(jù)”。不過，社交媒體作為數(shù)據(jù)源之一吸引力實在驚人?！叭藗兿胍私馐澜缟险l(fā)生著什么，這無疑是快速的跟進辦法?！币?013年的波士頓馬拉松爆炸案為例，Pfeffer在兩周內收集了兩千五百萬的相關tweets（推特）。“你能了解百萬計人的行為——還都是免費的?！?/span>

數(shù)據(jù)過濾與SPAM

一篇發(fā)表在《科學》雜志上的評論中，Ruths和Pfeffer強調了可能導致社交媒體數(shù)據(jù)失真的若干因素，及它們的解決辦法。

包括：

不同社交媒體平臺吸引不同的受眾——比如，Instagram對18~29歲間的成年人吸引力最大，包括非裔美國人，拉丁人，女性和城市居民，而在Pinterest上，占主導地位的則是那些家庭年收入超過0,000，25~34歲的女性用戶。Ruths和Pfeffer指出，研究人員很少能夠知曉，更談不上正確對待這些內含的采樣偏差。

社交媒體研究所使用的公開數(shù)據(jù)并不總能準確反映平臺的總體狀況——研究者們關于網站建立者如何過濾他們的數(shù)據(jù)源常常一頭霧水。

社交媒體的設計通常會影響用戶的行為，從而改變所測量的數(shù)據(jù)。比如，F(xiàn)acebook沒有“不喜歡”的按鈕，這就使得負面內容相比于正面的“喜歡”更難被偵查到。

大量SPAM（垃圾郵件發(fā)送者和機器人）通常在社交媒體上偽裝成普通用戶，也被錯誤地納入了很多人類行為測算和預測。

研究者們還經常只報告來自于易于分類的用戶，主題和事件所得出的結論，這就使得新的方法看起來更加準備。例如，在推知Twitter用戶的政治取向時，只取得了65%的準確率——即使研究（側重于政治活躍用戶）聲稱有90%的準確度。

解決方法

Ruths和Pfeffer指出，以上很多問題都有顯而易見的解決方法，這些方法被廣泛地用在諸如流行病學，統(tǒng)計學和機械學等領域。

Ruths說，“這些問題的共同點就是，需要研究者們在分析社交媒體數(shù)據(jù)時，能更加敏銳地感知數(shù)據(jù)本身?！?/span>

社會學家應對此種挑戰(zhàn)的技術和標準已經十分純熟了。Ruths說，“1948年，臭名昭著的“杜威擊敗杜魯門”報紙標題就來自于電話調查，它最終在采樣上低估了杜魯門的支持者。這并不是在抹黑民意調查，正是那次顯而易見的錯誤導致了今天日益復雜的技術，更高的標準，以及更加準確的民調。如今，我們站在與當年類似的技術發(fā)展拐點上。通過解決面臨的問題，我們才能實現(xiàn)基于社交媒體的研究所展現(xiàn)出的巨大潛力。”