
一位數(shù)據(jù)挖掘成功人士給數(shù)據(jù)挖掘在讀研究生的建議
關(guān)于數(shù)據(jù)挖掘方面的研究,我原來也走過一些彎路。其實(shí)從數(shù)據(jù)挖掘的起源可以發(fā)現(xiàn),它并不是一門嶄新的科學(xué),而是綜合了統(tǒng)計分析、機(jī)器學(xué)習(xí)、人工智能、數(shù)據(jù)庫等諸多方面的研究成果而成,同時與專家系統(tǒng)、知識管理等研究方向不同的是,數(shù)據(jù)挖掘更側(cè)重于應(yīng)用的層面。
因此來說,數(shù)據(jù)挖掘融合了相當(dāng)多的內(nèi)容,試圖全面了解所有的細(xì)節(jié)會花費(fèi)很長的時間。因此我建議你的第一步是用大概三個月的時間了解數(shù)據(jù)挖掘的幾個常用技術(shù):分類、聚類、預(yù)測、關(guān)聯(lián)分析、孤立點(diǎn)分析等等。這種了解是比較粗的,目標(biāo)是明白這些技術(shù)是用來干什么的,典型的算法大致是怎樣的,以及在什么情況下應(yīng)該選用什么樣的技術(shù)和算法。
經(jīng)過初步了解之后,就要進(jìn)入選題的階段,選擇自己感興趣的某個具體方向,然后通讀該方向的經(jīng)典論文(綜述、主要發(fā)展方向、應(yīng)用成果)。選題階段可能會花費(fèi)較長的時間,比如一年。此時,要逐漸明確突破點(diǎn),也就是將來你論文的創(chuàng)新點(diǎn)。創(chuàng)新對于研究來說非常重要,一方面該創(chuàng)新的確比原來的方法要好,另一方面該創(chuàng)新的確具有實(shí)用的價值。
隨后,就要來實(shí)現(xiàn)自己的想法。通常對于碩士論文來說,需要建立原型系統(tǒng),進(jìn)行試驗,并用試驗結(jié)果來支持自己的論文主題。原型系統(tǒng)就是對自己創(chuàng)新點(diǎn)的實(shí)現(xiàn),需要很好地設(shè)計和開發(fā)。需要注意的是,原型系統(tǒng)的建立和開發(fā)商用系統(tǒng)不同,需要體現(xiàn)比較好的理論基礎(chǔ)。也就是說,原型系統(tǒng)并不是簡單地用于實(shí)現(xiàn)功能,而是將你的一整套理論付諸實(shí)現(xiàn)。這種理論基礎(chǔ)也將會包含在你的論文中,以體現(xiàn)論文的理論高度。
原型系統(tǒng)的搭建以及產(chǎn)生令人信服試驗結(jié)果,這個過程一般需要至少一年的時間。所以要集中精力于核心部分(體現(xiàn)論文創(chuàng)新點(diǎn)的部分),外圍的界面等等不應(yīng)投入太多的精力,以免進(jìn)度失控。
最后是論文的整理和寫作了。建議你在之前的階段中逐步先寫出一些篇幅較短的論文(用于發(fā)在期刊、會議上),比如綜述、體系框架、算法內(nèi)核、應(yīng)用等等。這樣在最后寫畢業(yè)論文時就有了足夠多的內(nèi)容,會寫得更好更快一些。
以上只是泛泛而談。其實(shí)我覺得其中的關(guān)鍵點(diǎn)在于選題,而選題的好壞取決于你對數(shù)據(jù)挖掘研究現(xiàn)狀的了解、你的興趣和專長、以及該方向在應(yīng)用上的意義。建議你和導(dǎo)師、同行多交流,能夠讓自己的方向更清晰。
至于數(shù)據(jù)挖掘領(lǐng)域的就業(yè),應(yīng)該來說還是前景不錯的。如果你對研究有興趣,象微軟研究院、Google、高校研究所都是不錯的地方;如果你對實(shí)際應(yīng)用有興趣,很多大的公司包括IBM、Accenture、亞信等等都有相應(yīng)的人力需求,當(dāng)然一些甲方的單位比如證券、保險、金融等等單位也都需要分析人才。
關(guān)于論文如何創(chuàng)新
“創(chuàng)新”是個很尖銳的問題。以前我?guī)蛯?dǎo)師審論文時,給論文評分包括幾個要素,分別是理論基礎(chǔ)是否堅實(shí)、研究問題的重要性、研究成果的創(chuàng)新性等。
所謂創(chuàng)新,就是你解決問題的方法是否和其他人的解決方法有所不同,而這種不同又是否更有利于解決問題。因此,要發(fā)現(xiàn)創(chuàng)新點(diǎn),實(shí)際上需要充分的準(zhǔn)備和深入的研究。
①充分的準(zhǔn)備:既然創(chuàng)新是找出解決問題的更好方法,那么首先你就要發(fā)現(xiàn)問題,而且要發(fā)現(xiàn)有價值的問題。當(dāng)找到這種問題時,再去查找有沒有人提出了解決這個問題的方法,他們的方法是怎樣的,還存在什么不足之處。
這個階段需要做大量的調(diào)查搜集的工作,也是做研究的準(zhǔn)備階段,常常需要通讀相關(guān)研究領(lǐng)域的經(jīng)典文獻(xiàn)以及最新進(jìn)展,寫讀書筆記予以總結(jié)。
②深入的研究:當(dāng)你發(fā)現(xiàn)了值得研究的問題,并且知道在這個問題上還沒有很好的解決方法時,你就有了創(chuàng)新的機(jī)會。找出現(xiàn)有解決方法的不足之處,提出自己的解決思路,并予以驗證,通過試驗或者推理證明你的方法是有效的,創(chuàng)新點(diǎn)也就產(chǎn)生了。說起來容易做起來難,就象醞釀一個新發(fā)明一樣,常常會需要大量的試驗和周密的思考,而且也有可能忙了很久而一無所獲。
希望說到這里沒有讓你心生懼怕,但我見過的一些認(rèn)真做研究的人的確投入了很多的時間和精力才有所成就。當(dāng)然對于國內(nèi)的研究生來說,我倒是覺得在碩士階段去追求顯著的創(chuàng)新是不切實(shí)際的(個人的一管之見),其實(shí)把第一步做好已經(jīng)不錯了。如果沒有做好第一步,打好基礎(chǔ),就急于找些創(chuàng)新點(diǎn),那么這些所謂的創(chuàng)新點(diǎn)常常是毫無意義的,寫出來的論文最終避免不了被扔到垃圾桶的命運(yùn)(我以前寫的一些論文也是如此)。大家常常說國內(nèi)的研究論文質(zhì)量很差,很大程度上也是源于我們現(xiàn)在的教育制度,要求研究生畢業(yè)前必須在SCI、EI或核心期刊上發(fā)表若干篇論文,重量而不重質(zhì),造就了現(xiàn)在的核心期刊完全變成了完成畢業(yè)任務(wù)的自留地。
話題扯遠(yuǎn)了,回到你關(guān)心的問題-如何找創(chuàng)新點(diǎn)。必要的文獻(xiàn)閱讀是不可缺的,了解研究現(xiàn)狀和背景,才可能發(fā)現(xiàn)創(chuàng)新點(diǎn)。如果你想這個階段快一些的話,也有些捷徑,比如你可以到一些研究單位或?qū)W者的站點(diǎn)上,察看他們目前的研究動態(tài),一般來說他們正在研究的內(nèi)容常常是目前還未解決的,這樣你可以盡快找到創(chuàng)新點(diǎn)的主攻方向。
1數(shù)據(jù)挖掘人員從事的工作內(nèi)容
是不是開發(fā)數(shù)據(jù)挖掘平臺、為別的企業(yè)單位量身制作DM、DW系統(tǒng)?除了這些還能有些什么?
2讀博深造的必要性
現(xiàn)在只是無指導(dǎo)的自學(xué)狀態(tài),能否在碩士畢業(yè)后勝任數(shù)據(jù)挖掘方面的工作呢?考取名校的博士進(jìn)一步深入學(xué)習(xí)的必要性大不大?
3自學(xué)時的大方向
文本、Web等,讀博時肯定就某種具體方向深入研究,現(xiàn)在是否應(yīng)該也自己重點(diǎn)專注于一種方向,而不是僅泛泛的熟悉各個方面?
以下為blog主人的回復(fù):
1.數(shù)據(jù)挖掘人員從事的工作和你所說的差不多,我認(rèn)識的一些朋友大多在IT公司,為甲方實(shí)施DM、DW和BI等項目;還有一些是在甲方做分析人員,利用所掌握的數(shù)據(jù)挖掘知識來解決一些業(yè)務(wù)問題。
2.就以上的工作內(nèi)容來說,我覺得碩士已經(jīng)足以勝任,當(dāng)然最重要的不是學(xué)位,而是運(yùn)用你學(xué)到的知識來解決問題的能力。如果希望在理論研究上進(jìn)一步發(fā)展,讀博也不錯,但發(fā)展方向會有所不同。
3.在碩士階段,我覺得還是全面了解會更好一些。當(dāng)然,因為數(shù)據(jù)挖掘涉及的內(nèi)容較多,還是應(yīng)該在一些方面有所側(cè)重,比如那些得到廣泛應(yīng)用的算法及其應(yīng)用上,包括決策樹、聚類、回歸、神經(jīng)網(wǎng)絡(luò)等等。這樣即便你以后不去讀博,對找工作也會有所幫助。
請問:現(xiàn)在數(shù)據(jù)挖掘開發(fā)主流平臺和編程語言。那些更有優(yōu)勢呢?現(xiàn)在大都用什么呢 謝謝
以下為blog主人的回復(fù):
現(xiàn)在一般應(yīng)該是用Java開發(fā)的比較多,據(jù)我所知的,SAS Enterprise Miner客戶端是用Java開發(fā),開源的數(shù)據(jù)挖掘工具Weka也是用Java開發(fā)的。當(dāng)然其后臺服務(wù)器端的軟件有部分可能會是C開發(fā)的,主要是出于性能的考慮。
請教: 1 為甲方做的針對行業(yè)的數(shù)據(jù)挖掘中,如果通過SAS等通用的軟件,如何體現(xiàn)行業(yè)不同、部門不同的特色要求?為他建立預(yù)測模型的過程中會對SAS的功能進(jìn)行插件式的擴(kuò)展嗎,還是SAS本身已經(jīng)足夠建立特定的模型?
也就是說所謂的量身定制,也就是使用同一個軟件建立不同的模型,開發(fā)過程中不涉及軟件的改造?
2 是否數(shù)據(jù)挖掘人員不必是一個程序員?日常的工作已經(jīng)很少涉及編程?
以下為blog主人的回復(fù):
1.SAS的Enterprise Miner是通用型的數(shù)據(jù)挖掘軟件,所以要滿足客戶的特定分析需求,常常會采取兩種方法實(shí)現(xiàn):一是做項目,通過項目團(tuán)隊的開發(fā)和實(shí)施,來建立客戶所需的應(yīng)用;另一種是采用SAS的行業(yè)解決方案(是SAS通過多年來對行業(yè)需求及解決方案的總結(jié),形成的完整的solution),然后進(jìn)行客戶化定制。
大多數(shù)情況下,不需要對SAS的功能進(jìn)行擴(kuò)展,而是用SAS的軟件就可以解決業(yè)務(wù)問題。所以我們通常做的項目不是軟件開發(fā),而是項目實(shí)施。
2.如果單純從建立挖掘模型的角度來說,挖掘人員的確不必是程序員,只要應(yīng)用合適的挖掘算法,基于分析數(shù)據(jù)進(jìn)行建模,并對模型進(jìn)行調(diào)優(yōu)就可以了。但實(shí)際上,挖掘人員并不只做這些,更多的時候是做數(shù)據(jù)準(zhǔn)備和數(shù)據(jù)探索,其中就可能需要進(jìn)行編程,當(dāng)然這些程序通常用于數(shù)據(jù)處理、模型結(jié)果的發(fā)布等等。
就我個人的經(jīng)驗和了解,數(shù)據(jù)準(zhǔn)備常常占一個數(shù)據(jù)挖掘項目工作量的60%~70%左右。
張前輩:您好!
我是中國海洋大學(xué)一名研一生,專業(yè)是數(shù)據(jù)庫。我想自己選擇一門方向,認(rèn)真的學(xué)習(xí),作為終身職業(yè)。譬如 java程序員、數(shù)據(jù)挖掘人員、數(shù)據(jù)庫管理人員等等。我比較喜歡數(shù)據(jù)挖掘,但是若干問題難以釋惑。
問題1:現(xiàn)在選擇數(shù)據(jù)挖掘作為終身職業(yè)是明智之舉嗎?
現(xiàn)在網(wǎng)上對數(shù)據(jù)挖掘的前景討論的很厲害,褒貶不一。但是至少可以確定的是數(shù)據(jù)挖掘已經(jīng)越來越被重視了。如你所言,大家看到的只是表面,許多成功的案例企業(yè)沒有對外公開。但不可否認(rèn)的是,數(shù)據(jù)挖掘在中國的應(yīng)用有屠龍之技的嫌疑,廣大的企業(yè)還沒有重視起來。
總之,男怕投錯行,這個問題總是敲擊著我。如果我是您的弟弟,您會鼓勵我走數(shù)據(jù)挖掘之路嗎?還是推薦其他的IT職業(yè)?
IDMer:
就我個人的觀點(diǎn),數(shù)據(jù)挖掘的發(fā)展還是前途很廣闊的。說白了,數(shù)據(jù)挖掘就是一種分析問題的手段,問題一直會有,解決問題的手段也就一直有存在的必要。也許你聽說過美國早期西部淘金熱的時候,富起來的不是淘金者,而是為淘金者提供工具、水的人,甚至因為礦工需要結(jié)實(shí)耐磨的衣服,以致于牛仔褲風(fēng)行起來并經(jīng)久不衰。
至于你提到“屠龍之技”之說,只是很多人因為不熟悉數(shù)據(jù)挖掘的內(nèi)部技術(shù)而產(chǎn)生的莫測高深的感覺。其實(shí),數(shù)據(jù)挖掘本身并不是新技術(shù),它融合了來自于統(tǒng)計學(xué)、數(shù)據(jù)庫和機(jī)器學(xué)習(xí)等多學(xué)科已經(jīng)成熟的內(nèi)容,冠上了一個看起來比較時髦的名字而已。
組成數(shù)據(jù)挖掘的這三門支柱學(xué)科都已經(jīng)發(fā)展了多年,也已得到了廣泛的應(yīng)用。那么我們也有理由相信它們的融合,能幫助我們解決更多的分析方面的問題。何況,業(yè)界還是有很多的成功案例,體現(xiàn)出數(shù)據(jù)挖掘所帶了獨(dú)特優(yōu)勢,而這些,是傳統(tǒng)的BI(報表、OLAP等)無法支持的。
以上說了不少數(shù)據(jù)挖掘的好話,下面再看看硬幣的另一面。如果你是我的弟弟(呵呵,雖然我沒有,但也和很多年輕的師弟師妹聊過擇業(yè)的話題),我會建議你不做IT業(yè),哈哈,一句半真半假的玩笑。因為在IT這個行業(yè)看起來還是滿辛苦的,而且在很多項目中,常常需要重復(fù)一些沒什么技術(shù)含量的任務(wù),消耗的精力不少,獲得的成就感卻不多。
Anyway,我的建議,其實(shí)也是我原來給自己的一句座右銘:認(rèn)為對的就去做。找到自己的興趣所在,并且感覺也有發(fā)展,那就盡力去做好了。
問題2:如果我現(xiàn)在選擇了數(shù)據(jù)挖掘,應(yīng)該怎么做?
您曾經(jīng)在博客上回復(fù)一位北郵同學(xué),建議熟悉學(xué)習(xí)各種算法;建立模型,創(chuàng)新思路改進(jìn)算法撰寫論文。
我當(dāng)前的計劃是 學(xué)習(xí)各種算法的原理;學(xué)習(xí)java語言;研究weka源碼,深入了解幾種經(jīng)典算法的步驟;學(xué)習(xí)了解ETL,數(shù)據(jù)倉庫、OLAP等;通過使用的數(shù)據(jù)集建立挖掘模型;思考論文;有空的話 還得SPSS或其他一個流行軟件的使用方法。其中,我覺得難點(diǎn)是對數(shù)據(jù)集的整理形成挖掘流程的輸入。
其中,我也有若干疑惑:掌握一門數(shù)據(jù)庫是很重要的,但是沒有時間一一了解SQLServer、Oracle、DB2等,但是在求職時,又說不定單位要求會哪門數(shù)據(jù)庫???我想就SQL Server單獨(dú)進(jìn)行深入的學(xué)習(xí),包括學(xué)習(xí)在SQL Server中數(shù)據(jù)倉庫的建立和數(shù)據(jù)挖掘的應(yīng)用,其他的也就不管了。不知我這個選一而棄其他的打算可取不可???
IDMer:
從你的計劃來看,還是對自己要掌握的知識和技能,劃出了一個范圍??瓷先ミ€不錯,我只是從個人的經(jīng)驗出發(fā),建議你不必苛求自己十八般武藝樣樣精通,很多方面只需基本了解,選擇幾個重點(diǎn)來練成自己的絕活。人的精力畢竟有限,目標(biāo)越大就越難實(shí)現(xiàn)。
至于選擇那些作為重點(diǎn),就需要在廣泛了解的基礎(chǔ)上,結(jié)合自己的興趣進(jìn)行篩選了。
關(guān)于數(shù)據(jù)庫的掌握,我覺得熟悉一種產(chǎn)品已經(jīng)足夠。SQL Server、Oracle、DB2都是關(guān)系數(shù)據(jù)庫,在學(xué)生階段把關(guān)系數(shù)據(jù)庫的基礎(chǔ)理論打牢,熟練運(yùn)用SQL語句就可以了。這些主流數(shù)據(jù)庫之間的差異,不是遵循的標(biāo)準(zhǔn)不同,而是產(chǎn)品的特性有別,以及在性能調(diào)優(yōu)時的技巧。
問題3:如何使學(xué)習(xí)階段與行業(yè)應(yīng)用靠攏?
有一位學(xué)長,建議我學(xué)技術(shù)的時候要和行業(yè)靠攏,否則,“沒有行業(yè)背景的技術(shù)會很飄”。我覺得他說的有道理,技術(shù)是相當(dāng)寬泛的,你不可能面面俱到;而且,當(dāng)你實(shí)際工作后,也就專于一個行業(yè),技術(shù)的需要面也就變窄了。這樣,有利于學(xué)習(xí)重點(diǎn),不至于在學(xué)習(xí)時,面面俱到,沒有突出。
但是,在數(shù)據(jù)挖掘方面,曾經(jīng)請教過你,數(shù)據(jù)挖掘人員的工作性質(zhì)。一種是在甲方做分析人員,利用所掌握的數(shù)據(jù)挖掘知識來解決一些業(yè)務(wù)問題。一種是在IT公司,為甲方實(shí)施DM、DW和BI等項目(前輩自己便屬于此類?)。
在這里,我不太明白作為甲方,日常具體做些什么?難道是類似于網(wǎng)管性質(zhì)的?那樣不更傾向于數(shù)據(jù)庫管理人員?他們還算是專業(yè)的數(shù)據(jù)挖掘人員嗎,怎么覺得公司不大會安排這樣的職位呢?
我比較傾向于做乙方,那樣好像更專業(yè)似的。但是,乙方的話,都說數(shù)據(jù)挖掘在金融、電信、銀行還是銷售等方面主要應(yīng)用。難道這意味著要學(xué)習(xí)或了解金融電信的背景、CRM、經(jīng)濟(jì)學(xué)、Excel……?
還有,您曾提到,畢業(yè)后也可以做研究工作,我覺得提供研究工作的崗位畢竟是少的。而且,那樣掙錢多嗎(流汗中)?
是否現(xiàn)在應(yīng)該考慮以后進(jìn)哪個(哪類)公司,現(xiàn)在根據(jù)它的要求來強(qiáng)化自己呢?
數(shù)據(jù)挖掘交流討論(3,答Freshm 2008-12-9的留言)
博士你好: 從事數(shù)據(jù)挖掘應(yīng)用,要打好那些基礎(chǔ),望結(jié)合您的經(jīng)驗給予詳細(xì)指導(dǎo),以及給一點(diǎn)應(yīng)用于移動方面的實(shí)踐案例。
我的回復(fù):不好意思,我不是博士,請別叫我博士。非常高興跟你交流數(shù)據(jù)挖掘的應(yīng)用。數(shù)據(jù)挖掘因為是個綜合性應(yīng)用,涉及的專業(yè)知識很多(有數(shù)據(jù)倉庫、統(tǒng)計專業(yè)、編程能力、展示展現(xiàn)技術(shù)、挖掘技能、所具體應(yīng)用的相關(guān)業(yè)務(wù)能力),但是真正從數(shù)據(jù)挖掘項目實(shí)踐的角度講,溝通能力和對挖掘的興趣愛好是最重要的,有了愛好才可以愿意鉆研,有了不錯的溝通能力,才可以正確理解業(yè)務(wù)問題,才能正確把業(yè)務(wù)問題轉(zhuǎn)化成挖掘問題,才可以在相關(guān)不同專業(yè)人才之間清楚表達(dá)你的意圖和想法,取得他們的理解和支持。所以我認(rèn)為溝通能力和興趣愛好是個人的數(shù)據(jù)挖掘的核心競爭力,是很難學(xué)到的;而其他的相關(guān)專業(yè)知識誰都可以學(xué),算不上個人發(fā)展的核心競爭力。
除了最重要的溝通能力和興趣愛好外,在專業(yè)能力培養(yǎng)中,如果你一定要排個先后次序的話, 一方面看你職業(yè)興趣的側(cè)重點(diǎn),另一方面對于數(shù)據(jù)挖掘的應(yīng)用來說,我覺得數(shù)據(jù)挖掘技能可能是相對而言最重要的, 因為數(shù)據(jù)挖掘作為一個典型的團(tuán)隊作業(yè),一個人不可能完成所有相關(guān)專業(yè)的工作,而其中數(shù)據(jù)挖掘能力可能是挖掘?qū)嵺`中專業(yè)能力的核心,當(dāng)然相關(guān)業(yè)務(wù)的能力同樣(甚至更)重要,比如做數(shù)據(jù)庫營銷時,你不但應(yīng)該有好的挖掘技能,你更應(yīng)該是個市場營銷專家。所以國內(nèi)外面臨數(shù)據(jù)挖掘復(fù)合型人才缺乏時,一致公認(rèn)的好的解決辦法是讓業(yè)務(wù)人員學(xué)習(xí)挖掘技能(這比讓挖掘技術(shù)人員學(xué)習(xí)業(yè)務(wù)技能更有效、更合理)。
說到這里可能很多數(shù)據(jù)倉庫專家、程序員、統(tǒng)計師等等都要扔磚頭了,對不起,我沒有別的意思,你們的專業(yè)對于數(shù)據(jù)挖掘都很重要,大家本來就是一個整體的,但是作為單獨(dú)一個個體的人來說,精力有限,時間有限,不可能這些領(lǐng)域都能掌握,在這種情況下,選擇最重要的核心,我想應(yīng)該是數(shù)據(jù)挖掘技能和相關(guān)業(yè)務(wù)能力吧(從另外的一個極端的例子,我們可以看, 比如一個迷你型的挖掘項目,一個懂得市場營銷和數(shù)據(jù)挖掘技能的人應(yīng)該可以勝任。這其中他雖然不懂數(shù)據(jù)倉庫,但是簡單的Excel就足以勝任高打6萬個樣本的數(shù)據(jù)處理;他雖然不懂專業(yè)的展示展現(xiàn)技能,但是只要他自己看的懂就行了,這就無需什么展示展現(xiàn);前面說過,統(tǒng)計技能是應(yīng)該掌握的,這對一個人的迷你項目很重要;他雖然不懂編程,但是專業(yè)挖掘工具和挖掘技能足夠讓他操練的;這樣在迷你項目中,一個懂得挖掘技能和市場營銷業(yè)務(wù)能力的人就可以圓滿完成了,甚至在一個數(shù)據(jù)源中根據(jù)業(yè)務(wù)需求可以無窮無盡的挖掘不同的項目思路,試問就是這個迷你項目,單純的一個數(shù)據(jù)倉庫專家、單純的一個程序員、單純的一個展示展現(xiàn)技師、甚至單純的一個挖掘技術(shù)專家,都是無法勝任的)。這從另一個方面也說明了為什么溝通能力的重要,這些個完全不同的專業(yè)領(lǐng)域,想要有效有機(jī)地整合在一起進(jìn)行數(shù)據(jù)挖掘項目實(shí)踐,你說沒有好的溝通能力行嗎?
數(shù)據(jù)挖掘能力只能在項目實(shí)踐的熔爐中提升、升華,所以跟著項目學(xué)挖掘是最有效的捷徑。國外學(xué)習(xí)挖掘的人都是一開始跟著老板做項目,剛開始不懂不要緊,越不懂越知道應(yīng)該學(xué)什么,才能學(xué)得越快越有效果。我不知道國內(nèi)的數(shù)據(jù)挖掘學(xué)生是怎樣學(xué)的,但是從網(wǎng)上的一些論壇看,很多都是紙上談兵,這樣很浪費(fèi)時間,很沒有效率。
另外現(xiàn)在國內(nèi)關(guān)于數(shù)據(jù)挖掘的概念都很混亂,很多BI只是局限在報表的展示和簡單的統(tǒng)計分析,卻也號稱是數(shù)據(jù)挖掘;另一方面,國內(nèi)真正規(guī)模化實(shí)施數(shù)據(jù)挖掘的行業(yè)是屈指可數(shù)(銀行、保險公司、移動通訊),其他行業(yè)的應(yīng)用就只能算是小規(guī)模的,比如很多大學(xué)都有些相關(guān)的挖掘課題、挖掘項目,但都比較分散,而且都是處于摸索階段,但是我相信數(shù)據(jù)挖掘在中國一定是好的前景,因為這是歷史發(fā)展的必然,呵呵。
講到移動方面的實(shí)踐案例,如果你是來自移動的話,你一定知道國內(nèi)有家叫華院分析的公司(申明,我跟這家公司沒有任何關(guān)系,我只是站在數(shù)據(jù)挖掘者的角度分析過中國大多數(shù)的號稱數(shù)據(jù)挖掘服務(wù)公司,覺得華院還不錯,比很多徒有虛名的大公司來得更實(shí)際),他們的業(yè)務(wù)現(xiàn)在已經(jīng)覆蓋了絕大多數(shù)中國省級移動公司的分析挖掘項目,你上網(wǎng)搜索一下應(yīng)該可以找到一些詳細(xì)的資料吧。我對華院分析印象最深的一點(diǎn)就是2002年這個公司白手起家,自己不懂不要緊,一邊自學(xué)一邊開始拓展客戶,到現(xiàn)在在中國的移動通訊市場全面開花,的確佩服佩服呀。他們最開始都是用EXCEL處理數(shù)據(jù),用肉眼比較選擇比較不同的模型,你可以想象這其中的艱難吧。這個故事其實(shí)也告訴我們,數(shù)據(jù)挖掘也是可以創(chuàng)造一些神奇的故事的,你說呢?
至于移動通訊的具體的數(shù)據(jù)挖掘的應(yīng)用,那太多了,比如不同話費(fèi)套餐的制訂、客戶流失模型、不同服務(wù)交叉銷售模型、不同客戶對優(yōu)惠的彈性分析、客戶群體細(xì)分模型、不同客戶生命周期模型、渠道選擇模型、惡意欺詐預(yù)警模型,太多了,記住,從客戶的需求出發(fā),從實(shí)踐中的問題出發(fā),移動中可以發(fā)現(xiàn)太多的挖掘項目。最后告訴你一個秘密,當(dāng)你數(shù)據(jù)挖掘能力提升到一定程度時,你會發(fā)現(xiàn)無論什么行業(yè),其實(shí)數(shù)據(jù)挖掘的應(yīng)用有大部分是重合的相似的,這樣你會覺得更輕松。
以上是個人的淺見,僅供參考,祝挖掘快樂!
數(shù)據(jù)挖掘從業(yè)人員工作分析
1.數(shù)據(jù)挖掘從業(yè)人員的愿景:
數(shù)據(jù)挖掘就業(yè)的途徑從我看來有以下幾種,(注意:本文所說的數(shù)據(jù)挖掘不包括數(shù)據(jù)倉庫或數(shù)據(jù)庫管理員的角色)。
A:做科研(在高校、科研單位以及大型企業(yè),主要研究算法、應(yīng)用等)
B:做程序開發(fā)設(shè)計(在企業(yè)做數(shù)據(jù)挖掘及其相關(guān)程序算法的實(shí)現(xiàn)等)
C:數(shù)據(jù)分析師(在存在海量數(shù)據(jù)的企事業(yè)單位做咨詢、分析等)
2.數(shù)據(jù)挖掘從業(yè)人員切入點(diǎn):
根據(jù)上面的從業(yè)方向倒序并延伸來說說需要掌握的技能。
C,數(shù)據(jù)分析師:需要有深厚的數(shù)理統(tǒng)計基礎(chǔ),可以不知道人工智能和計算機(jī)編程等相關(guān)技術(shù),但是需要熟練使用主流的數(shù)據(jù)挖掘(或統(tǒng)計分析)工具 。從這個方面切入數(shù)據(jù)挖掘領(lǐng)域的話你需要學(xué)習(xí)《數(shù)理統(tǒng)計》、《概率論》、《統(tǒng)計學(xué)習(xí)基礎(chǔ):數(shù)據(jù)挖掘、推理與預(yù)測 》、《金融數(shù)據(jù)挖掘》,《業(yè)務(wù)建模與數(shù)據(jù)挖掘》、《數(shù)據(jù)挖掘實(shí)踐 》等,當(dāng)然也少不了你使用的工具的對應(yīng)說明書了,如SPSS、SAS等廠商的《SAS數(shù)據(jù)挖掘與分析》、《數(shù)據(jù)挖掘Clementine應(yīng)用實(shí)務(wù) 》、《EXCEL 2007數(shù)據(jù)挖掘完全手冊》等,如果多看一些如《中文版 數(shù)據(jù)挖掘原理》 等書籍那就更好了。
B,程序設(shè)計開發(fā):主要是實(shí)現(xiàn)數(shù)據(jù)挖掘現(xiàn)有的算法和研發(fā)新的算法以及根據(jù)實(shí)際需要結(jié)合核心算法做一些程序開發(fā)實(shí)現(xiàn)工作。要想扮演好這個角色,你不但需要熟悉至少一門編程語言如(C,C++,Java,Delphi等)和數(shù)據(jù)庫原理和操作,對數(shù)據(jù)挖掘基礎(chǔ)課程有所了解,讀過《數(shù)據(jù)挖掘概念與技術(shù)》(韓家煒著)、《人工智能及其應(yīng)用》。有一點(diǎn)了解以后,如果對程序比較熟悉的話并且時間允許,可以尋找一些開源的數(shù)據(jù)挖掘軟件研究分析,也可以參考如《數(shù)據(jù)挖掘:實(shí)用機(jī)器學(xué)習(xí)技術(shù)及Java實(shí)現(xiàn)》等一些教程。
A.做科研:這里的科研相對來說比較概括,屬于技術(shù)型的相對高級級別,也是B,C的歸宿,那么相應(yīng)的也就需要對B、C的必備基礎(chǔ)知識了。
可能之后不會續(xù)寫一篇《數(shù)據(jù)挖掘進(jìn)階》了,這邊大概說一下B和C的進(jìn)一步要求:
B當(dāng)前主要包括如下方向:企業(yè)數(shù)據(jù)挖掘、Web數(shù)據(jù)挖掘、空間數(shù)據(jù)挖掘、多媒體數(shù)據(jù)挖掘等等;
C當(dāng)前主要應(yīng)用于:電信CRM、金融、咨詢業(yè)等等;
最后說一下大家有必要熟悉數(shù)據(jù)挖掘工具:Google ,或許你也可以搜索到這篇文章,當(dāng)然也可以搜索到人才招聘的相關(guān)職位需求以及其他資料,一如你當(dāng)初搜索到 DMResearch 一樣。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03