社交媒體的大數(shù)據(jù)并不可靠_數(shù)據(jù)分析師

如今，科學(xué)家們正越來越多的把目光轉(zhuǎn)向社交媒體，以研究線上及線下的人類行為，例如預(yù)測夏季股票市場的大波動。一些數(shù)據(jù)處理專家指出，使用該種方法處理數(shù)據(jù)時，研究者們須警惕超大量社交媒體數(shù)據(jù)背后可能存在的嚴重缺陷。

錯誤的結(jié)果可能產(chǎn)生嚴重的影響：每年，都有上千的研究報告是基于社交媒體上收集而來的數(shù)據(jù)。麥吉爾大學(xué)計算科學(xué)學(xué)院助理教授Derek Ruths稱“這些文章中有好些被用來通報和決斷公眾，行業(yè)及政府的投資決策”。

卡內(nèi)基梅隆大學(xué)軟件科學(xué)院的合作作者Jürgen Pfeffer則說，“并不是所有打上“大數(shù)據(jù)”標(biāo)簽的東西就都很好”，他指出許多研究者都有或是希望有如此的前提——即只要數(shù)據(jù)足夠多，他們就能修正任何可能產(chǎn)生的偏差?！叭欢?，行為學(xué)研究中的一句老話說的好：了解你的數(shù)據(jù)”。不過，社交媒體作為數(shù)據(jù)源之一吸引力實在驚人。“人們想要了解世界上正發(fā)生著什么，這無疑是快速的跟進辦法。”以2013年的波士頓馬拉松爆炸案為例，Pfeffer在兩周內(nèi)收集了兩千五百萬的相關(guān)tweets（推特）。“你能了解百萬計人的行為——還都是免費的?！?/span>

數(shù)據(jù)過濾與SPAM

一篇發(fā)表在《科學(xué)》雜志上的評論中，Ruths和Pfeffer強調(diào)了可能導(dǎo)致社交媒體數(shù)據(jù)失真的若干因素，及它們的解決辦法。

包括：

不同社交媒體平臺吸引不同的受眾——比如，Instagram對18~29歲間的成年人吸引力最大，包括非裔美國人，拉丁人，女性和城市居民，而在Pinterest上，占主導(dǎo)地位的則是那些家庭年收入超過0,000，25~34歲的女性用戶。Ruths和Pfeffer指出，研究人員很少能夠知曉，更談不上正確對待這些內(nèi)含的采樣偏差。

社交媒體研究所使用的公開數(shù)據(jù)并不總能準確反映平臺的總體狀況——研究者們關(guān)于網(wǎng)站建立者如何過濾他們的數(shù)據(jù)源常常一頭霧水。

社交媒體的設(shè)計通常會影響用戶的行為，從而改變所測量的數(shù)據(jù)。比如，F(xiàn)acebook沒有“不喜歡”的按鈕，這就使得負面內(nèi)容相比于正面的“喜歡”更難被偵查到。

大量SPAM（垃圾郵件發(fā)送者和機器人）通常在社交媒體上偽裝成普通用戶，也被錯誤地納入了很多人類行為測算和預(yù)測。

研究者們還經(jīng)常只報告來自于易于分類的用戶，主題和事件所得出的結(jié)論，這就使得新的方法看起來更加準備。例如，在推知Twitter用戶的政治取向時，只取得了65%的準確率——即使研究（側(cè)重于政治活躍用戶）聲稱有90%的準確度。

解決方法

Ruths和Pfeffer指出，以上很多問題都有顯而易見的解決方法，這些方法被廣泛地用在諸如流行病學(xué)，統(tǒng)計學(xué)和機械學(xué)等領(lǐng)域。

Ruths說，“這些問題的共同點就是，需要研究者們在分析社交媒體數(shù)據(jù)時，能更加敏銳地感知數(shù)據(jù)本身?！?/span>

社會學(xué)家應(yīng)對此種挑戰(zhàn)的技術(shù)和標(biāo)準已經(jīng)十分純熟了。Ruths說，“1948年，臭名昭著的“杜威擊敗杜魯門”報紙標(biāo)題就來自于電話調(diào)查，它最終在采樣上低估了杜魯門的支持者。這并不是在抹黑民意調(diào)查，正是那次顯而易見的錯誤導(dǎo)致了今天日益復(fù)雜的技術(shù)，更高的標(biāo)準，以及更加準確的民調(diào)。如今，我們站在與當(dāng)年類似的技術(shù)發(fā)展拐點上。通過解決面臨的問題，我們才能實現(xiàn)基于社交媒體的研究所展現(xiàn)出的巨大潛力。”