
SAS如何看待大數(shù)據(jù)
“大數(shù)據(jù)”現(xiàn)在是一個(gè)炙手可熱的詞語(yǔ),數(shù)據(jù)分析師這個(gè)詞雖然比較新,但收集與存儲(chǔ)大量信息的歷史卻不短了。
早在本世紀(jì)初,行業(yè)分析師Doug Laney就提出了“3V模型”來(lái)定義大數(shù)據(jù),如今已經(jīng)成為主流。所謂“3V模型”分別是指數(shù)據(jù)量(Volume)、速率(Velocity)、多樣性(Variety)。
數(shù)據(jù)量(Volume)是指一些組織從商業(yè)交易、社會(huì)媒體等來(lái)源收集數(shù)據(jù),從傳感器或者機(jī)器通信(M2M)數(shù)據(jù)中獲取信息。以前存儲(chǔ)這些數(shù)據(jù)或者信息是一個(gè)難題,但新興的技術(shù)(如Hadoop等)減輕了這項(xiàng)負(fù)擔(dān)。
速率(Velocity)是指數(shù)據(jù)以一種空前的速度流入,而且必須得到及時(shí)的處理。無(wú)線射頻識(shí)別 (RFID)標(biāo)簽、傳感器以及智能儀表使得對(duì)于連續(xù)涌來(lái)的數(shù)據(jù)進(jìn)行“準(zhǔn)實(shí)時(shí)”處理的需求越發(fā)突出。
多樣性(Variety)獲得的數(shù)據(jù)具有各種各樣的格式(從傳統(tǒng)數(shù)據(jù)庫(kù)中的結(jié)構(gòu)化數(shù)值型數(shù)據(jù)到非結(jié)構(gòu)化的文本文檔、郵件、視頻、音頻、股票行情及經(jīng)濟(jì)交易等)。
不過(guò)SAS對(duì)大數(shù)據(jù)另有獨(dú)到看法。SAS是在中國(guó)的文化大革命時(shí)期建立和發(fā)展起來(lái)的一家數(shù)據(jù)處理公司,現(xiàn)在已經(jīng)是數(shù)據(jù)行業(yè)的領(lǐng)軍企業(yè)。SAS在3V模型的基礎(chǔ)上加入了另外兩個(gè)維度:可變性(Variability)和復(fù)雜性(Complexity)。
可變性(Variability)是指數(shù)據(jù)流不穩(wěn)定易變化的特征。除了數(shù)據(jù)速率提升及多樣性增加的問(wèn)題,數(shù)據(jù)流還有著極不穩(wěn)定的周期峰值。是否有什么在社會(huì)媒體中起了導(dǎo)向作用?每日的、季度的以及事件觸發(fā)性的數(shù)據(jù)負(fù)載高峰會(huì)給數(shù)據(jù)管理造成極大的挑戰(zhàn),這在處理非結(jié)構(gòu)化數(shù)據(jù)時(shí)尤為明顯。
復(fù)雜性(Complexity)是指隨著數(shù)據(jù)來(lái)源多樣化、數(shù)據(jù)流可變性增加,數(shù)據(jù)處理日益復(fù)雜化。如今數(shù)據(jù)的來(lái)源各種各樣,這會(huì)給跨系統(tǒng)的數(shù)據(jù)關(guān)聯(lián)、匹配、清洗以及轉(zhuǎn)換造成困難。然而,對(duì)數(shù)據(jù)間的關(guān)系、層級(jí)以及多數(shù)據(jù)間的聯(lián)結(jié)點(diǎn)進(jìn)行關(guān)聯(lián)是十分重要的,否則你的數(shù)據(jù)很快就會(huì)失控。
來(lái)自VISA的啟示
全球已產(chǎn)生的和存儲(chǔ)的數(shù)據(jù)量是無(wú)法想象的,而且它還在持續(xù)增長(zhǎng)。毫無(wú)疑問(wèn),大數(shù)據(jù)在商業(yè)分析方面有巨大的潛力。那么企業(yè)怎樣才能更好地應(yīng)用這些每天新增的原始數(shù)據(jù)呢?
大數(shù)據(jù)的重要性不在于你擁有多少數(shù)據(jù),而在于CDA數(shù)據(jù)分析師如何使用這些數(shù)據(jù),同時(shí)數(shù)據(jù)分析師還要得到數(shù)據(jù)分析師認(rèn)證。你能從任意來(lái)源渠道獲取數(shù)據(jù),并且通過(guò)對(duì)其進(jìn)行分析從而減少損耗、縮短用時(shí)、發(fā)展新產(chǎn)品和優(yōu)化供應(yīng)方案、最終使智能決策成為可能。
著名的信用卡服務(wù)公司VISA就利用大數(shù)據(jù),減少了欺騙性信用卡和借貸卡的辦理。和絕大多數(shù)信用卡公司一樣,Visa在為客戶提供看不見(jiàn)的服務(wù)的時(shí)候面臨著詐騙活動(dòng)的挑戰(zhàn)——解決這個(gè)問(wèn)題的難處在于提供服務(wù)和避免欺詐并不能總是一同解決。
比如說(shuō),當(dāng)信用卡公司首次運(yùn)用計(jì)算機(jī)系統(tǒng)自動(dòng)分析判斷欺詐交易時(shí),有更多的在外度假或公干的客戶反映支付被拒,因?yàn)檫@項(xiàng)技術(shù)的難點(diǎn)在于計(jì)算機(jī)很難評(píng)估用戶是在旅游,還是信用卡被盜刷了。
Visa中為北亞問(wèn)題提供解決方案的負(fù)責(zé)人Nathan Falkenborg說(shuō):“如果我們得知你很可能在旅游,那么我們就會(huì)告訴你參與的金融機(jī)構(gòu),讓你在購(gòu)物的時(shí)候不會(huì)被拒絕支付,我們也會(huì)協(xié)助銀行制定更優(yōu)的Visa工具和積分系統(tǒng)的使用策略?!?/span>
而利用大數(shù)據(jù)分析,Visa可以實(shí)時(shí)地分析超過(guò)500項(xiàng)獨(dú)立的變量,來(lái)判斷用戶到底是在異地度假或公干使用信用卡、還是用戶的信用卡在異地被盜刷了。這對(duì)于減少欺騙性交易、又不讓用戶被不必要的支付遭拒所困擾有很大的幫助,而且潛在地節(jié)省了每年二十億美元的欺騙性支付額。
各行業(yè)如何利用大數(shù)據(jù)
大數(shù)據(jù)對(duì)幾乎每個(gè)行業(yè)的組織都產(chǎn)生了影響,讓我們來(lái)看看每個(gè)產(chǎn)業(yè)怎樣才能從信息的大量涌入中獲益呢。
銀行
隨著大量的信息流,銀行正在尋找新的并且創(chuàng)新的方法來(lái)管理大數(shù)據(jù)。雖然去理解顧客和讓他們更滿意是很重要的,但是在遵從法規(guī)的同時(shí)減少風(fēng)險(xiǎn)和欺詐也是同樣的重要。大數(shù)據(jù)帶來(lái)了偉大的見(jiàn)解,但是它也要求金融機(jī)構(gòu)要利用先進(jìn)的分析策略和技術(shù),在這場(chǎng)大數(shù)據(jù)游戲中領(lǐng)先一步。
教育
有著數(shù)據(jù)驅(qū)動(dòng)思維的教育者將對(duì)教育系統(tǒng),學(xué)生和課程產(chǎn)生重要的影響。通過(guò)分析大數(shù)據(jù),他們可以識(shí)別有潛在困難的學(xué)生,從而確保學(xué)生在學(xué)業(yè)上有適當(dāng)?shù)倪M(jìn)展,還可以形成一個(gè)更好的系統(tǒng),以評(píng)估和支持教師和校長(zhǎng)。
政府
當(dāng)政府機(jī)關(guān)有能力去利用分析學(xué)分析大數(shù)據(jù),在管理公用工程,機(jī)構(gòu)的運(yùn)行,處理交通擁堵或者以防犯罪的問(wèn)題上他們可以得到非常有意義的資料。但是大數(shù)據(jù)雖然有非常多的好處,政府必須解決隱私和透明度的問(wèn)題。
衛(wèi)生保健
病人的記錄,治療計(jì)劃,處方信息。當(dāng)談到衛(wèi)生保健,每一件事都需要快速準(zhǔn)確的完成,在有一些情況下,我們還需要有足夠的透明度去達(dá)到該產(chǎn)業(yè)的嚴(yán)格規(guī)章。如果大數(shù)據(jù)被高效的運(yùn)用,衛(wèi)生保健服務(wù)供應(yīng)者可以揭示一些不易察覺(jué)的見(jiàn)解以提升患者護(hù)理質(zhì)量。
制造業(yè)
有著大數(shù)據(jù)可以提高的見(jiàn)解,制造業(yè)可以在減少浪費(fèi)的同時(shí)提高質(zhì)量和產(chǎn)量——這是一個(gè)在當(dāng)今高度競(jìng)爭(zhēng)市場(chǎng)上的重要一個(gè)關(guān)鍵過(guò)程。越來(lái)越多的制造商正在處于一個(gè)可以更快的解決的問(wèn)題和快速做出商業(yè)決策。
零售
在零售業(yè)建立客戶關(guān)系是重要的一部分——而最好辦法就是管理大數(shù)據(jù)。零售商需要知道向客戶推銷(xiāo)的最好方式,處理交易的最有效方式以及讓疲軟的經(jīng)濟(jì)再次繁榮的最富有策略的方式,而大數(shù)據(jù)是所有的這些的核心。數(shù)據(jù)分析師培訓(xùn)
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
訓(xùn)練與驗(yàn)證損失驟升:機(jī)器學(xué)習(xí)訓(xùn)練中的異常診斷與解決方案 在機(jī)器學(xué)習(xí)模型訓(xùn)練過(guò)程中,“損失曲線” 是反映模型學(xué)習(xí)狀態(tài)的核心指 ...
2025-09-19解析 DataHub 與 Kafka:數(shù)據(jù)生態(tài)中兩類核心工具的差異與協(xié)同 在數(shù)字化轉(zhuǎn)型加速的今天,企業(yè)對(duì)數(shù)據(jù)的需求已從 “存儲(chǔ)” 轉(zhuǎn)向 “ ...
2025-09-19CDA 數(shù)據(jù)分析師:讓統(tǒng)計(jì)基本概念成為業(yè)務(wù)決策的底層邏輯 統(tǒng)計(jì)基本概念是商業(yè)數(shù)據(jù)分析的 “基礎(chǔ)語(yǔ)言”—— 從描述數(shù)據(jù)分布的 “均 ...
2025-09-19CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫(kù)表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-19SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無(wú)論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫(kù)管理中,“大表” 始終是性能優(yōu)化繞不開(kāi)的話題。 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動(dòng)態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開(kāi)始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價(jià)值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫(kù)表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫(kù))處理 Excel 數(shù)據(jù)時(shí),“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場(chǎng)景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤(pán)手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計(jì)劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計(jì)劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對(duì)象的 text 與 content:區(qū)別、場(chǎng)景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請(qǐng)求開(kāi)發(fā)時(shí)(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價(jià)值的核心操盤(pán)手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫(kù)表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請(qǐng)求工具對(duì)比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請(qǐng)求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)的科學(xué)計(jì)數(shù)法問(wèn)題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)時(shí)的科學(xué)計(jì)數(shù)法問(wèn)題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價(jià)值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營(yíng)問(wèn)題、提升執(zhí)行效率的核心手段,其價(jià)值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過(guò)程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計(jì)” 與 “用戶體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營(yíng)銷(xiāo)案例:數(shù)據(jù)驅(qū)動(dòng)下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見(jiàn)頂” 的當(dāng)下,精準(zhǔn)營(yíng)銷(xiāo)成為企業(yè)突圍的核心方 ...
2025-09-11