
與大數(shù)據(jù)打交道的那些人_數(shù)據(jù)分析師考試
今年7月10日,阿里巴巴集團(tuán)宣布,將在集團(tuán)管理層面設(shè)立首席數(shù)據(jù)官(Chief Data Officer,CDO)職位,負(fù)責(zé)全面推進(jìn)阿里巴巴集團(tuán)成為數(shù)據(jù)分享平臺的戰(zhàn)略。阿里巴巴B2B公司CEO陸兆禧將出任CDO,并直接向集團(tuán)CEO馬云(微博)匯報(bào)。作為企業(yè)內(nèi)部C level的又一個(gè)重要職位,CDO將在推動企業(yè)大數(shù)據(jù)應(yīng)用方面起到什么樣的關(guān)鍵作用呢?
但從阿里巴巴集團(tuán)公關(guān)部門得到的答復(fù)是,陸兆禧從來不接受采訪。雖然吃了閉門羹,但是記者并不死心,通過其他渠道采訪了業(yè)界一些主要的廠商、市場分析師及用戶,希望能將CDO、數(shù)據(jù)科學(xué)家、數(shù)據(jù)分析師等與大數(shù)據(jù)有關(guān)的這些人、這些事全面展現(xiàn)在讀者面前。 CDO:新型的復(fù)合型人才 戴爾(微博)全球副總裁、中國區(qū)大型企業(yè)及公共事業(yè)部總經(jīng)理容永康告訴記者:“我接觸過的很多中國企業(yè)的CIO認(rèn)為,大數(shù)據(jù)解決方案是有價(jià)值的,但是實(shí)施起來確實(shí)有許多困難。比如,國內(nèi)現(xiàn)在懂得在Hadoop上進(jìn)行開發(fā)的專業(yè)技術(shù)人員非常少,而一些金融行業(yè)的用戶雖然很想現(xiàn)在就部署大數(shù)據(jù)解決方案,但是苦于找不到既懂?dāng)?shù)據(jù)分析技術(shù),又懂得金融業(yè)務(wù)的專業(yè)人才?!?/span>
由此可見,既懂得相關(guān)技術(shù),又諳熟企業(yè)業(yè)務(wù)的復(fù)合型人才才是企業(yè)部署大數(shù)據(jù)應(yīng)用最迫切需要的人才,而CDO就是其中的典型代表。 數(shù)據(jù)歸業(yè)務(wù)部門,應(yīng)用歸IT部門。這一概念在過去幾十年中已經(jīng)被廣泛接受。然而現(xiàn)在到了該挑戰(zhàn)這一理念的時(shí)候了。在多數(shù)組織機(jī)構(gòu)中,業(yè)務(wù)部門并不想擁有數(shù)據(jù),他們也不是為管理數(shù)據(jù)而配備的。CDO能夠有效執(zhí)行一套自上而下的企業(yè)數(shù)據(jù)需要的精密化數(shù)據(jù)管理實(shí)踐。 IDC的研究表明,2009~2020年,全球數(shù)字信息量將實(shí)現(xiàn)44倍的增長,其中需要管理的文件數(shù)將增加67倍,總存儲容量將增長30倍。企業(yè)在PB級甚至EB級的數(shù)據(jù)中尋找相關(guān)信息無異于大海撈針,將為信息驅(qū)動決策帶來與日俱增的成本和復(fù)雜性。
此外,企業(yè)數(shù)據(jù)不是非黑即白,多樣化的數(shù)據(jù)源、數(shù)據(jù)種類以及信息共享機(jī)制正逐步替代傳統(tǒng)的結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)二分法。企業(yè)一方面要與外部的客戶、合作伙伴通過文本信息、社交網(wǎng)絡(luò)、移動應(yīng)用等方式進(jìn)行互動;另一方面,企業(yè)內(nèi)部也會頻繁通過電子郵件、即時(shí)通信、博客等進(jìn)行有效溝通。企業(yè)有責(zé)任和義務(wù)管理并且保護(hù)這些數(shù)據(jù)。IDC的調(diào)查顯示,雖然企業(yè)產(chǎn)生的數(shù)據(jù)僅占全球數(shù)據(jù)總量的20%,但企業(yè)實(shí)際上要對80%的內(nèi)容承擔(dān)起管理的責(zé)任。這就意味著企業(yè)必須承擔(dān)起與業(yè)務(wù)有關(guān)的數(shù)據(jù)管理、挖掘和保護(hù)的職責(zé)。面對涌動的數(shù)據(jù)洪流以及數(shù)據(jù)多樣化的挑戰(zhàn),企業(yè)現(xiàn)有的業(yè)務(wù)模型很難通過有效的方法和途徑對這些數(shù)據(jù)進(jìn)行管理,并充分展現(xiàn)其價(jià)值,而且不能對業(yè)務(wù)未來的發(fā)展做出正確預(yù)測。這就是企業(yè)對CDO求賢若渴的重要原因。 賽迪顧問IT系統(tǒng)產(chǎn)業(yè)研究中心陳靚表示:“當(dāng)前,數(shù)據(jù)管理的重要性日益凸顯,并成為現(xiàn)代企業(yè)管理至關(guān)重要的影響因素之一。隨著IT技術(shù)的發(fā)展,企業(yè)數(shù)據(jù)治理作為一個(gè)全新的管理概念被提了出來,這正是CDO進(jìn)入企業(yè)高管團(tuán)隊(duì)的重要原因。”
“在大數(shù)據(jù)領(lǐng)域,我們今后可能會聽到很多花哨的名稱,如CDO、數(shù)據(jù)科學(xué)家或者首席數(shù)據(jù)工程師、架構(gòu)師等。數(shù)據(jù)對企業(yè)來說變得越來越重要,而且逐漸成了企業(yè)核心競爭力的一部分。企業(yè)關(guān)注的不僅僅是數(shù)據(jù)本身,而且會更加重視數(shù)據(jù)的價(jià)值,以及數(shù)據(jù)對企業(yè)產(chǎn)生的影響?!蔽④泚喬邪l(fā)集團(tuán)首席技術(shù)官孫博凱告訴記者,“舉例來說,兩個(gè)類似的企業(yè),一個(gè)花了很多時(shí)間做數(shù)據(jù)分析,另一個(gè)則對數(shù)據(jù)完全漠視。從公司業(yè)績來看,做數(shù)據(jù)分析的企業(yè),可以很好地掌控其業(yè)務(wù),而沒有對數(shù)據(jù)進(jìn)行分析的企業(yè)績效會差很多。從這一點(diǎn)上也可以看出,在數(shù)據(jù)逐漸成為企業(yè)核心競爭力的今天,掌控?cái)?shù)據(jù)對企業(yè)的業(yè)務(wù)發(fā)展有多么重要。” 做好“后臺” CDO的主要職責(zé)是什么呢?作為企業(yè)的執(zhí)行管理層,CDO將在以下領(lǐng)域中扮演舉足輕重的角色:主導(dǎo)并實(shí)施數(shù)據(jù)管理策略和標(biāo)準(zhǔn),實(shí)現(xiàn)數(shù)據(jù)質(zhì)量管理的制度化;衡量并管理數(shù)據(jù)風(fēng)險(xiǎn),在執(zhí)行層影響企業(yè)的風(fēng)險(xiǎn)評估偏好;實(shí)現(xiàn)更佳的決策支持,通過對數(shù)據(jù)的有效分析獲得洞察力,幫助企業(yè)改善策略;通過對數(shù)據(jù)的有效管控及使用,增加企業(yè)的業(yè)務(wù)收入,提升客戶滿意度、客戶忠誠度和市場美譽(yù)度;降低合規(guī)成本,通過正確運(yùn)用數(shù)據(jù)提高生產(chǎn)效率。
“CDO需要支持CEO的決策。CDO與企業(yè)常規(guī)設(shè)置的CFO、CIO不同,他掌握的是企業(yè)內(nèi)部最核心的數(shù)據(jù)。順便強(qiáng)調(diào)一下,CTO并不和IT直接掛鉤,也不會承擔(dān)CDO的工作,CTO負(fù)責(zé)的是企業(yè)的核心技術(shù),比如制造型企業(yè)的生產(chǎn)技術(shù)。并不是每一個(gè)企業(yè)都會設(shè)立CTO?!盕orrester(微博) 高級分析師曹宇欽認(rèn)為,“CIO的職責(zé)在于提供最符合企業(yè)現(xiàn)狀和未來發(fā)展的信息技術(shù),包括要實(shí)現(xiàn)數(shù)據(jù)分析的能力。目前不少企業(yè)的CIO或者IT部門負(fù)責(zé)企業(yè)數(shù)據(jù)的挖掘,但是絕大部分還停留在技術(shù)層面。設(shè)立CDO之后,CIO將為CDO提供數(shù)據(jù)挖掘的工具和技術(shù)支持,并且把數(shù)據(jù)分析的工作轉(zhuǎn)交給CDO。目前在CFO的職能中,關(guān)于企業(yè)內(nèi)部歷史數(shù)據(jù)整理、分析并預(yù)測企業(yè)業(yè)務(wù)發(fā)展的部分職責(zé),也將逐漸轉(zhuǎn)交給新設(shè)立的CDO?!?/span>
據(jù)了解,中國移動目前既沒有CTO,也沒有CIO。中國移動目前已在部分項(xiàng)目中采用了大數(shù)據(jù)技術(shù),未來還將繼續(xù)擴(kuò)大使用范圍?;跇I(yè)務(wù)的考慮,中國移動需要以下兩種大數(shù)據(jù)人才:第一,大數(shù)據(jù)系統(tǒng)和工具的研發(fā)、優(yōu)化人才,要求對于Hadoop、數(shù)據(jù)倉庫、OLAP工具等大數(shù)據(jù)工具具有較深的優(yōu)化經(jīng)驗(yàn),最好能根據(jù)業(yè)務(wù)需求對于Hadoop等開源大數(shù)據(jù)工具進(jìn)行定制開發(fā);第二,數(shù)據(jù)分析師人才,要求對于電信經(jīng)營分析業(yè)務(wù)具有一定的經(jīng)驗(yàn),能夠熟練使用大數(shù)據(jù)工具,了解數(shù)據(jù)主流統(tǒng)計(jì)分析、數(shù)據(jù)挖掘算法,能夠根據(jù)業(yè)務(wù)特征進(jìn)行建模分析。
“CDO相當(dāng)于企業(yè)的‘后臺’。在公有云建設(shè)和數(shù)據(jù)倉庫應(yīng)用中非常需要CDO?!笔袌龇治龉綞SG中國區(qū)總經(jīng)理王叢表示,“CDO應(yīng)該懂得數(shù)據(jù)管理、網(wǎng)絡(luò)和底層安全知識,了解公有云對IT的需求,并且要擁有多年的數(shù)據(jù)庫管理經(jīng)驗(yàn)。CTO中的T代表技術(shù),CIO中的I代表信息,而CDO中的D代表數(shù)據(jù),這三者是不能相互替代的。但是,并不是所有的企業(yè)都需要CDO?!?并非所有企業(yè)都需要CDO 百度每天的數(shù)據(jù)處理量十分驚人,達(dá)到了20PB~100PB,當(dāng)然其中也包含了重復(fù)的數(shù)據(jù)。不過,百度目前還沒有設(shè)立CDO這個(gè)職位。百度在大數(shù)據(jù)方面做的主要工作包括管理、處理和挖掘大數(shù)據(jù),以及與大數(shù)據(jù)相關(guān)的基礎(chǔ)架構(gòu)研究。百度在大數(shù)據(jù)方面的快速發(fā)展主要得益于其多年來在云計(jì)算方面積累的經(jīng)驗(yàn),以及在數(shù)據(jù)梳理方面技能的不斷提升。 百度在大數(shù)據(jù)方面最津津樂道的有兩點(diǎn):一是云存儲(據(jù)百度稱,百度目前擁有業(yè)界最便宜的云存儲),二是其強(qiáng)大的數(shù)據(jù)處理能力。
百度認(rèn)為,企業(yè)在大數(shù)據(jù)方面面臨的最主要挑戰(zhàn)在于,不知道應(yīng)該做什么和不應(yīng)該做什么,也就是方向性的問題,這是與業(yè)務(wù)本身密切相關(guān)的。 現(xiàn)在一說到大數(shù)據(jù),言必提Hadoop、MapReduce等。用戶的普遍感覺是,數(shù)據(jù)量太大,而現(xiàn)有技術(shù)的積累和技能還無法跟上數(shù)據(jù)量增長和處理的需求。百度認(rèn)為,用戶只掌握Hadoop、MapReduce等技術(shù)或工具還不夠,更需要了解哪些數(shù)據(jù)真正具有價(jià)值。這對CDO來說是考驗(yàn)。以互聯(lián)網(wǎng)企業(yè)為例,因?yàn)槠鋼碛械臄?shù)據(jù)量非常大,處理這些數(shù)據(jù)的投入也非常大,CDO就要考慮投入產(chǎn)出比的問題。 其實(shí),數(shù)據(jù)挖掘并不是一項(xiàng)新技術(shù),已經(jīng)有幾十年的發(fā)展歷史了。對于用戶來說,如果只是招聘技術(shù)人員對相關(guān)算法進(jìn)行研究,那是沒有止境的。
現(xiàn)在,很多用戶都說要做大數(shù)據(jù), 比如NBA球隊(duì)在比賽中別出心裁地引入了數(shù)據(jù)分析技術(shù),甚至有些房地產(chǎn)企業(yè)也宣稱要做大數(shù)據(jù)。有人笑稱,現(xiàn)在是全民皆大數(shù)據(jù)分析的時(shí)代。百度認(rèn)為,真正有用的大數(shù)據(jù)人才應(yīng)該可以分辨出哪些工作可以做,而哪些工作不必做。 “從理論上說,每一個(gè)將大數(shù)據(jù)分析應(yīng)用到業(yè)務(wù)中的企業(yè)或單位都應(yīng)該設(shè)立CDO的崗位。但是,企業(yè)是否足夠成熟來設(shè)立這個(gè)崗位,取決于企業(yè)對于數(shù)據(jù)挖掘的深度以及各個(gè)業(yè)務(wù)部門能否有效地支持CDO。
通常情況下,CDO將直接匯報(bào)給COO?!辈苡顨J補(bǔ)充說,“CDO既要懂得企業(yè)的業(yè)務(wù)和運(yùn)營,又要具備極強(qiáng)的數(shù)據(jù)分析能力,能夠透過數(shù)據(jù)看到事件的本質(zhì)。CDO不能僅僅停留在簡單收集、整理、分析數(shù)據(jù)和寫出報(bào)告的層面,而是要結(jié)合企業(yè)自身的業(yè)務(wù)發(fā)展,找出數(shù)字背后隱藏的挑戰(zhàn)和機(jī)遇,同時(shí)將這些洞察應(yīng)用在具體的企業(yè)內(nèi)部戰(zhàn)略規(guī)劃及日常運(yùn)營中。” “我們目前正在準(zhǔn)備進(jìn)行大數(shù)據(jù)方面的調(diào)研。大數(shù)據(jù)的分析工作與傳統(tǒng)的應(yīng)用系統(tǒng)的建設(shè)有很大不同。我們需要既懂得業(yè)務(wù),又熟悉數(shù)據(jù)分析技術(shù),并且能夠把兩者結(jié)合起來的綜合人才?!泵裆C券有限責(zé)任公司技術(shù)總監(jiān)顏陽博士告訴記者。
在推進(jìn)大數(shù)據(jù)應(yīng)用的過程中,顏陽認(rèn)為企業(yè)將面臨以下三方面的困難,一是認(rèn)識上的不足,很多人并不知道大數(shù)據(jù)是什么,因此也就無法知道如何正確地使用大數(shù)據(jù)工具;二是投入上的不足,大數(shù)據(jù)的應(yīng)用可能需要相當(dāng)大的役入,一般的企業(yè)可能很難承受;第三,大數(shù)據(jù)人才的匱乏將制約大數(shù)據(jù)應(yīng)用的發(fā)展。 陳靚認(rèn)為,從當(dāng)前國內(nèi)信息化應(yīng)用的現(xiàn)狀來看,有大數(shù)據(jù)應(yīng)用的企業(yè)一般集中在金融、電信、互聯(lián)網(wǎng)等大型企業(yè)。從企業(yè)的需求上來看,設(shè)立CDO可以解決企業(yè)在數(shù)據(jù)搜集、使用、存儲和再利用方面的難題,同時(shí)還能為企業(yè)高層提供更好的決策支持。
但是,由于大數(shù)據(jù)應(yīng)用在中國的各行業(yè)還處于初步階段,很多企業(yè)并沒有發(fā)展到系統(tǒng)化地使用大數(shù)據(jù)工具進(jìn)行深度數(shù)據(jù)挖掘的階段。CDO的設(shè)立應(yīng)該是企業(yè)在數(shù)據(jù)使用和挖掘上有了成熟的模式以后的事情,否則,盲目設(shè)立此職位只能給企業(yè)內(nèi)部帶來冗余的工作崗位和職責(zé)上的不明確。 在民航業(yè),大數(shù)據(jù)的分析和應(yīng)用已經(jīng)被提升到了戰(zhàn)略高度。東方航空公司很早就提出要實(shí)現(xiàn)精準(zhǔn)營銷和對旅客的個(gè)性化服務(wù),而大數(shù)據(jù)分析是實(shí)現(xiàn)這一目標(biāo)的前提。據(jù)記者了解,國內(nèi)許多航空公司雖然可能沒有單獨(dú)設(shè)立數(shù)據(jù)分析部門,但多多少少都會有數(shù)據(jù)分析這項(xiàng)業(yè)務(wù)。 東方航空公司信息部總經(jīng)理嚴(yán)振紅介紹說:“我們需要既懂業(yè)務(wù),又有深厚技術(shù)背景的人,但并不一定會設(shè)立CDO這個(gè)職位。去年,我們在信息部下面新設(shè)立了一個(gè)數(shù)據(jù)管理部,負(fù)責(zé)公司所有數(shù)據(jù)的分析、管理和營銷業(yè)務(wù)。為了招聘到適合的人才,公司領(lǐng)導(dǎo)特批我們可以按照市場規(guī)律,以年薪制招聘適合的大數(shù)據(jù)人才。
目前,數(shù)據(jù)管理部有20多人,其中有一部分是公司原有的熟悉業(yè)務(wù)的人員,另外一部分就是從外面招聘的技術(shù)專家。經(jīng)過一年多的磨合,現(xiàn)在數(shù)據(jù)管理部的這些人都成了既懂業(yè)務(wù),又掌握相關(guān)技術(shù)的復(fù)合型人才。我們正在籌建的數(shù)據(jù)倉庫項(xiàng)目就是由數(shù)據(jù)管理部一手經(jīng)辦的?!?據(jù)記者了解,東方航空公司的數(shù)據(jù)管理部還在不斷招人,希望繼續(xù)擴(kuò)大規(guī)模。2013年下半年,東方航空公司的大數(shù)據(jù)平臺將正式上線運(yùn)行,主要用于營銷和客戶服務(wù)。 陳靚總結(jié)說:“CDO能結(jié)合企業(yè)IT應(yīng)用,更好地推動企業(yè)業(yè)務(wù)的發(fā)展,讓IT價(jià)值更大化。因此CDO將在國內(nèi)企業(yè)中受到歡迎。工業(yè)結(jié)構(gòu)轉(zhuǎn)型依賴信息化的進(jìn)一步發(fā)展。新興的CDO專業(yè)人才將為IT發(fā)展創(chuàng)造更廣闊的空間,并且更好地促進(jìn)國內(nèi)經(jīng)濟(jì)結(jié)構(gòu)的轉(zhuǎn)型,提高生產(chǎn)效率和企業(yè)管理水平。” 尋覓數(shù)據(jù)科學(xué)家 另一類與CDO一樣受到廣泛關(guān)注的大數(shù)據(jù)專業(yè)人才是數(shù)據(jù)科學(xué)家。
“什么是數(shù)據(jù)科學(xué)家?”Bitly公司的首席數(shù)據(jù)科學(xué)家Hilary Mason負(fù)責(zé)從Bitly收集的數(shù)據(jù)中尋找價(jià)值并建立系統(tǒng),“我的團(tuán)隊(duì)負(fù)責(zé)建立數(shù)學(xué)模型,編寫代碼并開發(fā)基于信息的產(chǎn)品系統(tǒng)?!?數(shù)據(jù)科學(xué)是一門交叉學(xué)科,涉及統(tǒng)計(jì)學(xué)、計(jì)算機(jī)科學(xué)以及特定領(lǐng)域的專業(yè)知識等。Hilary Mason將數(shù)據(jù)科學(xué)劃分為兩部分:一部分是分析,另一部分是從數(shù)據(jù)中提取具有洞察力的新技術(shù),這在以前是不可能做到的。數(shù)據(jù)科學(xué)是分析能力和新算法的結(jié)合體。
“數(shù)據(jù)科學(xué)家的工作就是要提出正確的問題?!盚ilary Mason解釋說,“如果我問這樣一個(gè)問題,這個(gè)鏈接的點(diǎn)擊數(shù)是多少?這就不是一個(gè)關(guān)于數(shù)據(jù)科學(xué)的問題。如果我問這樣一個(gè)問題,根據(jù)這家出版商網(wǎng)站之前的歷史鏈接,我們能否預(yù)測未來三小時(shí)內(nèi)將有多少來自法國的用戶讀到這個(gè)內(nèi)容?這就是一個(gè)有關(guān)數(shù)據(jù)科學(xué)的問題?!?陳靚分析說:“CDO的職責(zé)是為企業(yè)的業(yè)務(wù)和數(shù)據(jù)提供更好的價(jià)值平臺。通過CDO的工作,企業(yè)能將數(shù)據(jù)轉(zhuǎn)化為業(yè)務(wù)語言,被管理層更好地理解和運(yùn)用。因此,企業(yè)對CDO的數(shù)據(jù)業(yè)務(wù)專業(yè)性要求并不高。而數(shù)據(jù)科學(xué)家是專業(yè)數(shù)據(jù)的研究者,其主要工作是對數(shù)據(jù)及其價(jià)值的專業(yè)性進(jìn)行研究,比如數(shù)據(jù)科學(xué)家隊(duì)伍中包括數(shù)據(jù)分析師、數(shù)據(jù)挖掘師、數(shù)據(jù)可視化設(shè)計(jì)師等?!?做業(yè)務(wù)與技術(shù)之間的橋梁 “大數(shù)據(jù)項(xiàng)目的落地一定要有企業(yè)高層的認(rèn)可和支持。大數(shù)據(jù)項(xiàng)目將會影響企業(yè)未來業(yè)務(wù)的發(fā)展、經(jīng)營決策甚至是投資方向?!?――SAP中國區(qū)副總裁、數(shù)據(jù)庫及技術(shù)平臺事業(yè)部總經(jīng)理 鄒作基 “兩年多前,我們與美國的一些金融行業(yè)的大客戶接觸時(shí),它們已經(jīng)擁有了CDO這樣的崗位?!盨AP中國區(qū)副總裁、數(shù)據(jù)庫及技術(shù)平臺事業(yè)部總經(jīng)理鄒作基告訴記者,“2008年,國際金融危機(jī)席卷全球。在那之后,金融行業(yè)的用戶都加強(qiáng)了對業(yè)務(wù)風(fēng)險(xiǎn)的監(jiān)管。
有效控制金融業(yè)務(wù)風(fēng)險(xiǎn)的一個(gè)重要前提就是實(shí)現(xiàn)對數(shù)據(jù)的管控。金融用戶中設(shè)立CDO崗位的比較普遍,但是像制造、零售等對大數(shù)據(jù)同樣有迫切需求的企業(yè)則很少擁有CDO。” 技術(shù)與業(yè)務(wù)的有機(jī)結(jié)合 談到中國的企業(yè)是否應(yīng)該設(shè)立CDO這一職位時(shí),鄒作基表示:“CDO這個(gè)名稱其實(shí)并不重要,關(guān)鍵是企業(yè)中要有人能夠十分清楚業(yè)務(wù)流程,并且能合理安排與數(shù)據(jù)分析相關(guān)的各項(xiàng)工作?!?/span>
其實(shí),所有企業(yè)都面臨著激烈的競爭和如何把控業(yè)務(wù)風(fēng)險(xiǎn)的問題。CDO的主要職責(zé)是將企業(yè)內(nèi)的所有數(shù)據(jù)有效調(diào)動和運(yùn)作起來,將有用的信息放到真正需要它的地方。某些企業(yè)的CIO可能兼具CDO的職能,或者企業(yè)會成立一個(gè)專門的團(tuán)隊(duì)來負(fù)責(zé)數(shù)據(jù)的管理。不可否認(rèn),大數(shù)據(jù)已經(jīng)與企業(yè)的業(yè)務(wù)密不可分,它很可能在企業(yè)未來的競爭中起到十分關(guān)鍵的作用。 大數(shù)據(jù)涉及的不僅僅是技術(shù)方面的問題。CDO應(yīng)該主要從業(yè)務(wù)層面去審視大數(shù)據(jù)的應(yīng)用。數(shù)據(jù)存放在哪里,數(shù)據(jù)應(yīng)該如何處理,哪些人能擁有數(shù)據(jù),為什么要這樣使用數(shù)據(jù)……CDO必須能夠明確地解答這些問題?!癈DO應(yīng)該站在業(yè)務(wù)團(tuán)隊(duì)和技術(shù)團(tuán)隊(duì)的中間,就像是一座橋梁,可以把業(yè)務(wù)需求與IT規(guī)劃聯(lián)系起來?!编u作基表示,“CDO其實(shí)是一種功能。CDO能發(fā)揮什么樣的作用,還要看每個(gè)企業(yè)在大數(shù)據(jù)方面的需求以及策略?!?舉例來說,一個(gè)零售企業(yè)以前可能只能通過CRM系統(tǒng)來了解和掌握客戶的需求?,F(xiàn)在,隨著社交媒體的興起,零售企業(yè)有必要也有可能從微博、博客、論壇等社交媒體上了解與企業(yè)和經(jīng)營相關(guān)的信息。以前,企業(yè)的IT架構(gòu)不具備處理海量社交媒體數(shù)據(jù)的能力,但是現(xiàn)在,實(shí)時(shí)、快速地處理大量的非結(jié)構(gòu)化數(shù)據(jù)已經(jīng)成了一種常態(tài)。對于CDO來說,他的職責(zé)就是利用IT手段找到企業(yè)所需的數(shù)據(jù)和信息,并發(fā)揮其應(yīng)有的價(jià)值。
從顧問咨詢的角度出發(fā) “十多年前,銀行就設(shè)有業(yè)務(wù)分析師。這些人主要是從業(yè)務(wù)部門的角度出發(fā)去分析數(shù)據(jù)?!编u作基介紹說,“今天的CDO與這些業(yè)務(wù)分析師很相像。不同的是,CDO要面對大數(shù)據(jù)的種種挑戰(zhàn),而且數(shù)據(jù)分析與管理不再是某一個(gè)部門的需求,而是整個(gè)公司戰(zhàn)略層面的問題。大數(shù)據(jù)分析一定是企業(yè)級的、大范圍的、跨部門的事情?!?在業(yè)務(wù)流程、數(shù)據(jù)處理和應(yīng)用方面,SAP已經(jīng)有了40多年的專業(yè)經(jīng)驗(yàn)?!霸诿鎸蛻魰r(shí),SAP不是單純地講述產(chǎn)品的功能,而是了解客戶的業(yè)務(wù)流程,能夠從解決用戶的實(shí)際問題出發(fā),為用戶提供更多的價(jià)值。”鄒作基告訴記者,“我們擁有一批專業(yè)的價(jià)值工程顧問,稱為Value Engineer 。這些Value Engineer都具有豐富的行業(yè)經(jīng)驗(yàn)。在確定解決方案之前,他們會與客戶進(jìn)行深入探討,分析客戶面臨的困難,向客戶建議應(yīng)該采用什么樣的解決方案,以及能夠獲得什么樣的預(yù)期回報(bào)等。”
大數(shù)據(jù)的分析與管理追求的一個(gè)目標(biāo)是更快的處理速度。鄒作基說:“SAP HANA內(nèi)存計(jì)算平臺是SAP實(shí)時(shí)數(shù)據(jù)平臺的核心組件,其設(shè)計(jì)出發(fā)點(diǎn)是不斷提高大數(shù)據(jù)的實(shí)時(shí)處理能力。”SAP HANA是一個(gè)軟硬件的結(jié)合體,具有高性能的數(shù)據(jù)查詢功能,用戶可直接對大量實(shí)時(shí)業(yè)務(wù)數(shù)據(jù)進(jìn)行查詢和分析,而不需要對業(yè)務(wù)數(shù)據(jù)進(jìn)行建模、聚合等。 大數(shù)據(jù)對所有企業(yè)來說都是一個(gè)新的機(jī)遇。企業(yè)只有擁有了像CDO、數(shù)據(jù)科學(xué)家、數(shù)據(jù)分析師這樣的專業(yè)人才,才有可能將技術(shù)與業(yè)務(wù)有機(jī)地結(jié)合在一起,從而確保大數(shù)據(jù)項(xiàng)目的成功開展。 數(shù)據(jù)科學(xué)家一將難求 “企業(yè)的大數(shù)據(jù)業(yè)務(wù),并非一個(gè)人就能完全掌控和完成的,而是需要一個(gè)團(tuán)隊(duì)。
當(dāng)然,企業(yè)需要一個(gè)強(qiáng)有力的領(lǐng)導(dǎo)者,才能把團(tuán)隊(duì)中每個(gè)人的才能發(fā)揮到極致。” ――Informatica高級副總裁兼首席信息官 托尼?楊 有大數(shù)據(jù)應(yīng)用的企業(yè)都要設(shè)立一個(gè)CDO崗位嗎?“我并不認(rèn)為這兩者之間有必然的聯(lián)系。一些大型的互聯(lián)網(wǎng)公司都有大數(shù)據(jù)系統(tǒng),但并不一定有CDO這個(gè)職位。CDO只是一個(gè)工作職位而已?!盜nformatica高級副總裁兼首席信息官托尼?楊表示。 參透數(shù)據(jù)的本質(zhì) 托尼?楊表示:“許多大型的公司有市場、銷售、財(cái)務(wù)、人力資源、服務(wù)、供應(yīng)鏈和生產(chǎn)管理等多個(gè)職能部門。所有職能部門都是共同協(xié)作的,而不是獨(dú)立存在的,這有點(diǎn)像人體中的各種器官。數(shù)據(jù)會在各個(gè)職能部門的不同系統(tǒng)間流動。CDO的職責(zé)是在這些職能部門的數(shù)據(jù)中發(fā)掘價(jià)值,并制定戰(zhàn)略決策。并不是有大數(shù)據(jù)應(yīng)用的企業(yè)都要設(shè)立一個(gè)CDO職位。一般情況下,CDO會向CTO或CEO匯報(bào)工作?!?Informatica雖然專注于數(shù)據(jù)集成業(yè)務(wù),與大數(shù)據(jù)打交道最多,但是Informatica公司并沒有專職的CDO。托尼?楊介紹說:“過去,我們有一個(gè)人專門負(fù)責(zé)數(shù)據(jù)管理,其職能與CDO類似。這是一項(xiàng)要求非常高的工作。
負(fù)責(zé)數(shù)據(jù)管理的這個(gè)人必須具備多種能力,并且要全面了解公司的業(yè)務(wù)運(yùn)作流程,此外還要跟蹤流動的客戶數(shù)據(jù),掌控一個(gè)產(chǎn)品的全生命周期?!?通常情況下,CDO的主要職責(zé)包括以下內(nèi)容:確定公司在數(shù)據(jù)系統(tǒng)上的戰(zhàn)略重點(diǎn),從數(shù)據(jù)中挖掘出新的商機(jī),通過數(shù)據(jù)優(yōu)化實(shí)現(xiàn)業(yè)務(wù)創(chuàng)收,將數(shù)據(jù)作為一項(xiàng)戰(zhàn)略資產(chǎn)進(jìn)行管理?!皫椭髽I(yè)參透數(shù)據(jù)和信息中隱藏的問題,這對CDO來說是最關(guān)鍵的職能之一。因此,能夠勝任CDO這個(gè)職位的人很難找到?!蓖心?楊感嘆說。 數(shù)據(jù)科學(xué)家獨(dú)一無二 作為與CDO關(guān)系最為緊密的一類專業(yè)人員,數(shù)據(jù)科學(xué)家可以與CDO一起工作,解決企業(yè)需要洞察的問題?!霸诿枋雠c大數(shù)據(jù)打交道的人應(yīng)該具有的能力時(shí),我經(jīng)常用Insight(洞察力)這個(gè)詞。”托尼?楊舉例說,“我們將相互關(guān)聯(lián)的、實(shí)時(shí)的客戶信息發(fā)送給呼叫中心的職員,他們就能全面掌握客戶的情況,從而為客戶提供更優(yōu)質(zhì)的服務(wù)。這似乎聽起來容易,但實(shí)現(xiàn)起來十分困難?!?數(shù)據(jù)科學(xué)家能夠解決復(fù)雜的數(shù)據(jù)問題,但與CDO相比,它更像是高級工程師或高級技術(shù)人員,因?yàn)镃DO的工作內(nèi)容中還有一部分是進(jìn)行公司管理和戰(zhàn)略決策,而這不屬于數(shù)據(jù)科學(xué)家的工作范疇。談到數(shù)據(jù)科學(xué)家應(yīng)該具備的能力,托尼?楊將其歸納為以下幾點(diǎn):第一,數(shù)據(jù)科學(xué)家不是傳統(tǒng)的IT人士,它的工作中既包含IT的成分,也包含業(yè)務(wù)的成分;第二,數(shù)據(jù)科學(xué)家具有很強(qiáng)的邏輯分析能力,能夠了解數(shù)據(jù)和信息如何與企業(yè)的業(yè)務(wù)產(chǎn)生關(guān)聯(lián);第三,數(shù)據(jù)科學(xué)家還擁有其他多種能力,既了解信息、業(yè)務(wù)以及數(shù)據(jù)如何在企業(yè)中流動,也知道如何將信息整合在一起,這是數(shù)據(jù)科學(xué)家擁有的獨(dú)一無二的能力。 上世紀(jì)90年代,有很多IT項(xiàng)目、ERP項(xiàng)目都沒有成功實(shí)施。究其原因,是因?yàn)槟菚r(shí)沒有能夠全面了解業(yè)務(wù)流程的專家,企業(yè)只能自己邊實(shí)施邊了解。現(xiàn)在則不同,企業(yè)如果想實(shí)施ERP項(xiàng)目,就可以馬上找來相關(guān)的專家、工程師和技術(shù)顧問等。這些人很清楚如何去實(shí)施ERP項(xiàng)目。一個(gè)項(xiàng)目從頭到尾,可能9個(gè)月就能全部完成,而這在上個(gè)世紀(jì)90年代是絕不可能辦到的事?!艾F(xiàn)在,很多企業(yè)能夠輕而易舉地完成某個(gè)復(fù)雜的項(xiàng)目,這是因?yàn)橛幸粋€(gè)團(tuán)隊(duì)在做,而且整個(gè)產(chǎn)業(yè)鏈中的很多公司也清楚如何去實(shí)施。”托尼?楊分析說,“但是對于大數(shù)據(jù)來說,它還處在發(fā)展的初期階段,沒有現(xiàn)成的模式可以借鑒,企業(yè)還需要一段時(shí)間去摸索和實(shí)踐?!?/span>
既要了解業(yè)務(wù),還要管理團(tuán)隊(duì) “數(shù)據(jù)科學(xué)家的主要任務(wù)是建立業(yè)務(wù)所需要的數(shù)據(jù)模型,這就要求數(shù)據(jù)科學(xué)家掌握高等數(shù)學(xué)知識,對企業(yè)業(yè)務(wù)更加了解。CDO和數(shù)據(jù)科學(xué)家是企業(yè)核心競爭力的一部分,將關(guān)系到企業(yè)的生死存亡?!?――VMware全球高級副總裁 范承工 VMware全球高級副總裁范承工介紹說:“我們公司已經(jīng)擁有一支數(shù)據(jù)科學(xué)家團(tuán)隊(duì)。這個(gè)團(tuán)隊(duì)既為公司內(nèi)部服務(wù),也會為客戶提供大數(shù)據(jù)服務(wù)。”在美國,CDO、數(shù)據(jù)科學(xué)家等與大數(shù)據(jù)相關(guān)的專業(yè)人才雖然不斷涌現(xiàn),但是仍然供不應(yīng)求。 數(shù)據(jù)庫分析、商業(yè)智能已經(jīng)不是什么新鮮事。任何規(guī)模的企業(yè),甚至是企業(yè)內(nèi)部的一個(gè)部門都有從數(shù)據(jù)中提取智能信息的需求。大數(shù)據(jù)的一個(gè)重要作用是幫助客戶更容易且以更低的成本利用數(shù)據(jù),使得數(shù)據(jù)分析變得更加平民化和可視化。包括VMware在內(nèi)的一些廠商新推出來的大數(shù)據(jù)解決方案就可以實(shí)現(xiàn)上述目標(biāo)。范承工舉例說:“Hadoop是一個(gè)重要的大數(shù)據(jù)平臺。以前,Hadoop通常運(yùn)行在物理機(jī)上,而沒有在虛擬機(jī)上運(yùn)行的先例。VMware對大數(shù)據(jù)的一個(gè)重要貢獻(xiàn)就是將Hadoop移植到虛擬化平臺之上。這在一定程度上簡化了Hadoop的部署與應(yīng)用。” 范承工認(rèn)為,企業(yè)缺少既懂技術(shù)、又懂業(yè)務(wù)的大數(shù)據(jù)人才是企業(yè)大數(shù)據(jù)應(yīng)用落地的一個(gè)主要障礙?!昂芏嗥髽I(yè)沒有掌握Hadoop技術(shù)的開發(fā)人員,因此在部署大數(shù)據(jù)應(yīng)用時(shí)會費(fèi)時(shí)費(fèi)力。VMware將vSphere作為Hadoop的虛擬化支撐平臺,同時(shí)開發(fā)出一些可以簡化Hadoop部署的技術(shù)和工具,將以前半自動化的Hadoop部署變成全自動化,從而降低了Hadoop的應(yīng)用難度,也減少了因人工操作出錯的概率?!?/span>
目前,大數(shù)據(jù)還處于發(fā)展的初級階段,只有一些大公司對大數(shù)據(jù)項(xiàng)目比較感興趣,但也只是小規(guī)模地在幾臺機(jī)器上試用,而沒有進(jìn)行大規(guī)模推廣和應(yīng)用?!狈冻泄そ榻B說,“現(xiàn)在,很多大數(shù)據(jù)應(yīng)用主要分析的還是結(jié)構(gòu)化的數(shù)據(jù)庫數(shù)據(jù)。不過,從長遠(yuǎn)發(fā)展來看,對非結(jié)構(gòu)化數(shù)據(jù)的處理將成為推動大數(shù)據(jù)應(yīng)用的核心驅(qū)動力。一些能夠很好處理非結(jié)構(gòu)化數(shù)據(jù)的新產(chǎn)品、新平臺受到了用戶的歡迎。” 一些專職管理和處理大數(shù)據(jù)的職位也受到了企業(yè)的關(guān)注?!癈DO是管理數(shù)據(jù)科學(xué)家的。CDO既要了解公司的業(yè)務(wù),還要能管理一個(gè)杰出的團(tuán)隊(duì)。這個(gè)團(tuán)隊(duì)中有數(shù)據(jù)科學(xué)家、數(shù)據(jù)工程師和數(shù)據(jù)分析師。這個(gè)團(tuán)隊(duì)將負(fù)責(zé)搭建業(yè)務(wù)所需要的大數(shù)據(jù)分析平臺,同時(shí)還要為各業(yè)務(wù)部門及公司負(fù)責(zé)人提供數(shù)據(jù)支持服務(wù)?!狈冻泄け硎荆凹僖詴r(shí)日,大多數(shù)公司都會設(shè)置CDO這個(gè)職位。CDO既有可能向CIO和CTO匯報(bào)工作,也有可能向CEO或COO匯報(bào)工作。” 其實(shí),在一些企業(yè)里,CTO或CIO承擔(dān)了部分CDO的職能,甚至兼任CDO的職位。范承工認(rèn)為,將來,CIO和CTO的工作職責(zé)與CDO重疊的可能性會越來越大。CDA數(shù)據(jù)分析師培訓(xùn)
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時(shí)代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03