大數(shù)據(jù)媒體案例02：“駕校投訴”文本數(shù)據(jù)挖掘

有關(guān)數(shù)據(jù)分析在媒體行業(yè)中的應(yīng)用，我前面已經(jīng)給大家介紹了《陜西媽媽大數(shù)據(jù)》案例，是基于調(diào)查問卷數(shù)據(jù)分析得出相應(yīng)總結(jié)性報告的常規(guī)模式。大數(shù)據(jù)概念以及技術(shù)實施的普及，獲取及處理數(shù)據(jù)的技術(shù)越來越豐富，而且往往都是突破傳統(tǒng)方法，越來越多，越來越科學(xué)的媒體行業(yè)大數(shù)據(jù)案例正在涌現(xiàn)。

華商報綜合2015年前7個半月新聞熱線收到的大量駕校投訴，經(jīng)過對這些非常規(guī)數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗及深度的挖掘，從看似混亂的新聞素材中提煉出有價值的信息，用華商巷議報告的形式向社會發(fā)布，這樣的數(shù)據(jù)項目值得媒體機(jī)構(gòu)和媒體人關(guān)注和借鑒。

數(shù)據(jù)來源

2015年1月1日-8月17日，以及2013年、2014年，陜西省范圍內(nèi)，華商報24小時新聞熱線029-88880000收集到的有關(guān)駕校投訴信息。

數(shù)據(jù)處理方法

以下文字為數(shù)據(jù)小兵博客補(bǔ)充，原巷議報告未提及。

通過新聞熱線打入的素材，一般為語音音頻，首先需要將音頻轉(zhuǎn)化為文本信息，再對文本信息進(jìn)行歸類，提取關(guān)鍵詞，按投訴對象分組，按投訴內(nèi)容分組，組內(nèi)匯總等。這些是比較傳統(tǒng)的辦法，對于案例中提到的457條信息來說，處理起來并不費力。

如果數(shù)據(jù)量龐大，成千上萬，百萬條、甚至更多，此時手工處理顯然不夠科學(xué)和快捷。此時需要用到分詞技術(shù)，詞頻統(tǒng)計，關(guān)聯(lián)等方法。

數(shù)據(jù)分析報告體現(xiàn)的分析方法

1、對比分析

2015年駕校投訴量暴增，投訴的有效數(shù)據(jù)，2013年268條，2014年474條，2015年截至8月17日457條。2015年激增的原因，報告認(rèn)為與2014年10月駕考系統(tǒng)升級、考試難度增加、考試預(yù)約困難等原因?qū)е峦ㄟ^率低，由此引發(fā)的問題延伸至2015年有關(guān)。

2、分組歸類、排序、二八定律

將457條信息按照投訴對象分組歸類，并組內(nèi)排序，最后采用二八定律截取前十個被投訴駕校的占比。報告稱2015年的457條有效數(shù)據(jù)中，有具體駕校名稱投訴共計237條，涉及72所駕校。其中投訴量排名前十的駕校共計175條，涉及駕校投訴量的七成。

3、關(guān)鍵詞提取分詞技術(shù)

457條有效投訴消息，從文本內(nèi)容中提取主事件關(guān)鍵詞，例如“不安排考試”、“亂收費”等，并進(jìn)行詞頻統(tǒng)計，最后輸出投訴內(nèi)容不同主關(guān)鍵詞占比比例，抓住核心，突出重點。

報告稱投訴內(nèi)容“不安排考試”占近四成，涉及投訴內(nèi)容最多的是“不安排考試“

這項工作數(shù)量不大時，一般人工分類處理。

4、成分分解

“不安排考試”占近四成，如果對這部分投訴信息進(jìn)行深入剖析分解呢，是不是會得到更有意思的描述，這部分信息有沒有某些共性。報告中這樣寫：181條“不安排考試”的投訴數(shù)據(jù)中，提及時長的共計162條，其中“半年至一年”的投訴最多，大多均未安排過任何一門考試，“一年至二年”的投訴則主要集中在不安排部分科目考試上。

還有，亂收費”焦點在“考試費”，457條有效數(shù)據(jù)中，涉及“亂收費”的投訴共計92條，其中“考試費”是“亂收費”投訴的焦點，主要涉及考試前收取三百至一千元不等的考試費、未通過的科目還要收取二百至七百元不等的補(bǔ)考費。而收取的“保過費”，最低600元，最高達(dá)1000元?！笆掷m(xù)費”則是退費時扣除的費用，一般在一千多至數(shù)千元不等

逐層分解，問題不斷被剖析，理順關(guān)系，看清特征。

這個案例十分典型，也能從側(cè)面說明該媒體日常運(yùn)營中對數(shù)據(jù)的收集和監(jiān)測能力，與其說是能力，不如說是意識，這難能可貴，同城媒體比較而言，試問在數(shù)據(jù)新聞領(lǐng)域都有過哪些嘗試呢？

最后不得不說，這篇文章可能僅適合我的博客讀者朋友們，因為通過學(xué)習(xí)和借鑒這個案例中所體現(xiàn)的數(shù)據(jù)處理及分析的方法，能增加數(shù)據(jù)分析愛好者、從業(yè)者、數(shù)據(jù)分析師們的數(shù)據(jù)思維，僅此。