
CDA數(shù)據(jù)分析師 出品
作者:劉宇翔
編輯:Mika
大家好,我是來自永洪科技的數(shù)據(jù)分析師劉宇翔。我今天分享的主題是,釋放數(shù)據(jù)價值,人人都是數(shù)據(jù)分析師。
首先看一下今天的交流內容,共分成4個部分。
第一部分是關于數(shù)據(jù)分析項目的基礎架構。本身我也是接觸商業(yè)智能BI比較多的,有比較多的項目經(jīng)驗。這里為大家講一下,在商業(yè)化的數(shù)據(jù)分析和商業(yè)智能項目里,像BI的應用、AI人工智能的應用,這樣的數(shù)據(jù)分析需求在不斷涌現(xiàn)。
第二部分是數(shù)據(jù)分析常用工具的介紹,關于比較了解的幾個主要的大類。重點會去介紹商業(yè)智能BI這一部分。
第三部分是關于BI可視化分析能力。
第四部分是制造業(yè)的場景分析。制造業(yè)的話也是有比較多的主題,包括生產(chǎn)制造、流程、庫存、采購、財務營銷等等,今天主要介紹采購的分析。
隨著在信息化、數(shù)字化浪潮轉型的過程中,不管是企業(yè)、政府、個人用戶等,都會有比較多的數(shù)據(jù)分析需求。無論是B端還是C端,這些需求也是有共性的。
首先,有數(shù)據(jù)平臺化的需求。不管是制造類型、能源、交通行業(yè)的數(shù)據(jù),都可以分為內部和外部兩種數(shù)據(jù)。對于企業(yè)內部的IT部門或者業(yè)務部門,他們之間的需求和分工發(fā)生了很大的變化。
IT部門逐漸從需求的響應方變成了平臺化的部門。業(yè)務部門從簡單的提出需求,到獲得報告或可視化報表,逐漸轉向為有自主的分析能力。從而逐步推動在企業(yè)或用戶內部搭建統(tǒng)一的數(shù)字化平臺,然后為整體的這些同事提供統(tǒng)一服務。
另外在業(yè)數(shù)一體化方面,通過目前比較先進的、比較敏捷的可視化技術,比如大屏、分析,以及人工智能這樣的能力,把數(shù)據(jù)融到的日常業(yè)務當中。
接下來是分析全民化。目前在國內,每年數(shù)據(jù)分析師的數(shù)量增長比較迅速,而且現(xiàn)在隨著商業(yè)智能的普及,包括像R語言、 Python等分析工具的普及,普通的用戶在做業(yè)務的時,大家都可以去學習,去掌握這樣的技能。
通過數(shù)據(jù)分析技能,除了日??磮蟾妗⒖磾?shù)據(jù)之外,對于自己的工作指導也有比較重要的數(shù)據(jù)意義。另外分析能力,在職場上也能夠幫助大家升職加薪,或者提供更多的職業(yè)選擇。
最后一點, AI的平民化。其實 BI和AI關聯(lián)性還是比較強的,像BI的商業(yè)智能,或其他的分析領域可能比較偏向于統(tǒng)計分析、數(shù)理分析或者監(jiān)控分析。
如果在統(tǒng)計分析已經(jīng)做得比較好,對于業(yè)務的驅動都做得比較好的前提下,用戶更進一步的都希望做AI應用。目前眾多商業(yè)智能的廠商都具有深度分析的模塊和能力,他們能夠幫助用戶在 BI的基礎上做更深層次的數(shù)據(jù)應用。
近年來大環(huán)境有些變化,像地產(chǎn)、教育、疫情影響下的旅游、交通等行業(yè)都受到了一些影響。實際上不管是傳統(tǒng)行業(yè),還是一部分新興行業(yè),許多行業(yè)的業(yè)務運營都面臨著比較大的壓力和挑戰(zhàn)。在這種情況下,提高數(shù)據(jù)化運營的程度,深挖內功也是企業(yè)和用戶比較強烈的訴求。
在這樣的基礎上,整個數(shù)據(jù)分析的思路可以這樣梳理。從問題出發(fā),然后數(shù)據(jù)沉淀,最后是以結果為導向,共分為5個步驟。
首先對于分析來講,第一步是要分明確分析的問題,需要去界定要分析什么內容,什么指標或者什么維度。然后再將這些分析的內容做拆解,把大的問題拆分成小的問題,接著建立維度指標以及數(shù)據(jù)的指標體系。
第二步,是去完成數(shù)據(jù)獲取。數(shù)據(jù)獲取有比較多的來源,像企業(yè)內部、用戶內部有自己的數(shù)據(jù)源以及業(yè)務系統(tǒng),比如ERP、 CM系統(tǒng)、 OA系統(tǒng)等等都可以提供數(shù)據(jù)庫或數(shù)據(jù)源。
另外其他系統(tǒng)也有數(shù)據(jù)采集的能力,通過爬蟲、Python獲取外部數(shù)據(jù)的應用,還有線下的Excel表格統(tǒng)計數(shù)據(jù),或者手工填報錄入到業(yè)務系統(tǒng)或商業(yè)智能當中的數(shù)據(jù)源類型。通過構建數(shù)據(jù)倉庫、數(shù)據(jù)湖等方式獲取數(shù)據(jù)。
第三步,數(shù)據(jù)的探索和處理。這里是數(shù)據(jù)治理、數(shù)據(jù)清洗的內容,獲取的數(shù)據(jù)如果有些問題的話,需要對它進行定義,對邏輯腳本等進行處理。
第四步,關于模型的搭建。從整個的分析邏輯,選擇不同的模型,根據(jù)分析需求,選擇對應的模型搭建完成。之后可視化的展示,這一部分可以依賴于不同的工具。
整個分析流程下來,我們希望創(chuàng)造一些價值,達成相應的收益。分成以下數(shù)據(jù)驅動業(yè)務增長的4種價值實現(xiàn)形式,包括像業(yè)務監(jiān)控、問題診斷、智能預測和決策。
數(shù)據(jù)的應用分析以及數(shù)據(jù)挖掘,它都是為人的決策提供支持。像很多企業(yè)的基層、中層以及管理層,以往決策更依賴于經(jīng)驗決策、其他判斷,或簡單的數(shù)據(jù)決策邏輯。
但隨著信息化或者數(shù)字化,包括BI的應用能夠幫助他們建立科學決策,以及數(shù)據(jù)決策這樣的分析思路。
從淺到深的話,首先是對于業(yè)務的核心指標監(jiān)控。然后對于這些數(shù)據(jù)要全局打通,不管是生產(chǎn)類的,還是營銷類、財務類的,把數(shù)據(jù)做匯總和整合,從而能夠看到公司全域的數(shù)據(jù)。
基于該基礎之上,可以去做問題診斷。比如說看異常數(shù)據(jù),然后看當中的原因、明細、數(shù)據(jù)總體趨勢、關聯(lián)關系,或者運用更深層次的算法,聚類、回歸等能力去做數(shù)據(jù)的挖掘和應用。
智能預測的話,可以結合AI算法,定制模型來為未來的數(shù)據(jù)做預測。這個準確率也是會依賴算法的訓練,包括歷史數(shù)據(jù)等比較多的因素。最終要達到,為多個層次提升決策的效率和準確度。另外還有簡化整個決策和思考的過程,從憑經(jīng)驗、憑感覺轉變成為看到數(shù)據(jù),就可以看到數(shù)據(jù)所背后所代表的價值和信息。
下面是比較通用的,在數(shù)據(jù)分析以及BI商業(yè)智能項目上所搭建的項目架構。
架構的話是有三個層次,底層的處理層,也就是業(yè)務處理層或數(shù)據(jù)源層;中間的數(shù)據(jù)中樞層,也叫數(shù)據(jù)平臺、數(shù)據(jù)匯總層。頂層是數(shù)據(jù)應用層,也是分析展示的層次。
底層的話,架構是比較清晰的??梢詮亩喾N數(shù)據(jù)源或者多個維度拿到數(shù)據(jù),大量數(shù)據(jù)不管是通過SQL查詢還是其他導入的形式,中間入到數(shù)據(jù)倉庫當中進行數(shù)據(jù)匯總。匯總方面,對于做采集和存儲之外,還需要做清理整合。針對不同的分析主題,分成了不同的主題域。在治理層面的話,對數(shù)據(jù)的原數(shù)據(jù),包括質量、主數(shù)據(jù)、安全,還有數(shù)據(jù)資產(chǎn)類的具有管理能力。
把這個數(shù)據(jù)做了打通,匯總和清理之后的話,頂層是可以介入分析的工具或者可視化的平臺,然后來做展示。最終輸出的結果也是大家比較常見的,有報表類的,也有可視化報告類的,還有動態(tài)的、炫酷的大屏類的,這些都是最終的項目成果。其實在底下是有大量的數(shù)據(jù)工作的。另外像很多項目里,數(shù)據(jù)底層的處理和清洗匯總會占到更多的時間,去做最終展示的結果、可視化的界面或圖形時,反而占的時間會相對少。
這里列舉了大家常用的工具。
Excel是大家比較熟悉的入門級工具。
目前國內的很多分析場景中,Excel占據(jù)了比較高的比例。因為它簡單易用,還免費,而且功能強大,操作便捷靈活。已經(jīng)能夠幫助滿足基礎的分析統(tǒng)計,包括數(shù)據(jù)的簡單計算,像函數(shù)、可視化的能力等。
SPSS等分析軟件,能夠通過圖形菜單驅動,并且能夠去完成比較豐富的數(shù)據(jù)處理和分析。前些年,SPSS都用得比較多,最近隨著報表工具,日報的工具,還有商業(yè)智能BI的興起,目前它使用的場景會更少。
R語言。R和Python兩個像兄弟一樣是不分家的,這兩種語言針對的都是不同的領域。R擅長于計算和作圖,Python擅長可視化,包括像人工智能方面。這些都是開源免費的。
R作為編程語言,它的靈活度和能力豐富度是比較高的。不會受制于功能或需求的框架,只要我們有相應的開發(fā)能力和語言編程能力,R就能幫助我們完成比較靈活的分析和展示。
Python現(xiàn)在比較火。對于數(shù)據(jù)分析師來說的話,這幾種工具當中 Python可以說是重要性比較靠前的,也是現(xiàn)在比較流行的編程語言和能力。
接著是SQL。SQL和BI是不分家的,關系比較強的。基本上商業(yè)智能BI都需要通過SQL的形式去做數(shù)據(jù)的查詢,不管是簡單的select,或者 group by等數(shù)據(jù)增刪改查等應用,都需要去掌握SQL的能力。
最后還有商業(yè)智能BI。隨著近些年的分析需求越發(fā)復雜和靈活,而且目前低代碼的趨勢也是決定了 BI的發(fā)展能力。
首先,BI和不同的業(yè)務系統(tǒng)里自帶的分析模塊比起來,它的區(qū)別在于:一般商業(yè)智能是會做跨平臺的統(tǒng)一分析平臺,比如說 ERP以及一些財務系統(tǒng)里,也有分析報表和可視化模塊,但在多個系統(tǒng)之間的打通比較弱,可能形成數(shù)據(jù)孤島或數(shù)據(jù)煙囪的情況。
像BI的話,是可以去通過數(shù)據(jù)匯總這樣的計算,來拿到全域的數(shù)據(jù)和信息內容,從而做全局分析,包括像關聯(lián)分析、聯(lián)動分析。最后通過低代碼拖拉拽的形式,去做可視化圖表的開發(fā)和制作,這是比較敏捷和快速的。
關于可視化分析的能力,首先要看分析場景。如果是在會議或匯報上,想做可視化的效果去了解的業(yè)務,或在其他場景下去分析問題,這里就需要這樣的工具進行分析。
總的來講BI可以通過報表、圖表、儀表盤,然后結合查詢分析的能力,提供數(shù)據(jù)的預警和挖掘。
對于分析工具來講的話,像永洪desktop這樣的產(chǎn)品,可以連接比較豐富類型的主流的數(shù)據(jù)庫。
另外數(shù)據(jù)拿到 BI分析工具當中后,可以對它做輕量級的數(shù)據(jù)處理,包括像SQL的查詢、關聯(lián)、去重轉換、抽樣排序等,這樣的數(shù)據(jù)處理都可以在前端通過可視化的界面和能力去實現(xiàn)。
總的來講敏捷BI的核心特色還是說在低代碼開發(fā)和敏捷自主分析上。不管是說R和Python來講,用戶有一定學習門檻,學語言、邏輯,還有實現(xiàn)形式。對于 BI工具來說,分析過程都是拖拽的過程,可以去選 BI工具里邊自帶的組件。當中的組件圖表都是比較豐富的。數(shù)據(jù)入到BI當中,可以用常用的分析方法。比如線圖、面積圖、餅圖、點圖以及,熱力圖、漏斗圖等。
關注“CDA數(shù)據(jù)分析師服務號”
回復“數(shù)據(jù)價值”
獲取pdf版視頻內容
關于制造業(yè)場景分析應用,這部分主要介紹了制造業(yè)全流程下的數(shù)據(jù)治理思考。對于制造業(yè)用戶來講,可能思考比較多的是利潤下降,然后如何去降本增效,統(tǒng)一人財物這樣的需求。整個制造業(yè)都有比較多的分析的場景,比如采購、生產(chǎn)、庫存、銷售、品控、售前、售后、財務營銷等。
下面的話主要是以采購分析來舉例。
其實在做分析之前,首先要分析什么內容。比如說目前是要做采購的分析,然后去分析采購成本、供應商或周轉等可以列出來幾個主要的分析主題。下面是比較重要的核心指標。對于采購管理來說,金額集中度、供應商、執(zhí)行率、均價合格率等是比較關心的指標。根據(jù)采購金額,可以評估不同的緯度,不同的供應商或者是不同的部門,通過采購金額和成本的比例,可以知道企業(yè)的錢花在哪里,哪個地方花的比較多,或者哪個時間段花的比較猛。
第二部分是可以建立完善的供應商的畫像。通過不同的分析維度給供應商做整體的評分,包括以下幾個核心指標。像評價參數(shù)、價格比率、準時交貨率、退完成率等綜合因素,可以去畫出供應商的四象限。根據(jù)里邊有優(yōu)質的或可以挽留的,形成重點發(fā)展的不同維度供應商,然后針對不同供應商制定不同的采購策略。
第三部,合規(guī)分析。對于采購項目和招投標項目,當中都會有合規(guī)的風險,或供應商風險的存在。這里的話對于數(shù)據(jù)做及時,進行全局的監(jiān)控對于規(guī)避供貨風險,或規(guī)避企業(yè)的財務風險,也是有比較重要的意義。
后面最后兩部分,對于采購建議和周轉分析上。采購建議周轉分析的話,對于企業(yè)運營來講,尤其是降本增效是有比較重要的含義的。比如說庫存里邊是有多少的庫存物料,庫存物料既要滿足生產(chǎn)銷售運營的要求。同時,又不能有太高的呆滯庫存和呆滯物料,從而能夠保持較高的庫存周轉率,同時有較低的金額占用,資金占用,這對于企業(yè)來說是比較重要的問題。需要通過數(shù)據(jù)分析找到在不同的時間階段,不同的日期,整個庫存安全警戒線,以及庫存周轉的周轉率和周轉的天數(shù),還有物料估算它的在途的比例等方面,這些能對整個采購提供比較好的采購建議。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關鍵? 在循環(huán)神經(jīng)網(wǎng)絡(RNN)家族中,長短期記憶網(wǎng)絡(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準備指南? ? 在數(shù)據(jù)驅動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務的價值轉化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預測分析中的應用:從數(shù)據(jù)查詢到趨勢預判? ? 在數(shù)據(jù)驅動決策的時代,預測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領域中,準確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認證作為國內權威的數(shù)據(jù)分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應對策略? 長短期記憶網(wǎng)絡(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學方法在市場調研數(shù)據(jù)中的深度應用? 市場調研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學方法則是市場調研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉日期:解鎖數(shù)據(jù)處理的關鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準確性的基礎 ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03