shuffle是一個(gè)能產(chǎn)生奇跡的地方,不管是在 Spark 還是Hadoop中,它們的作用都是至關(guān)重要的。 在Spark中,一般在執(zhí)行reduceByKey、groupByKey、sortByKey、countByKey、join、cogroup等操作時(shí),會(huì)發(fā)生shuff ...
2020-05-13HDFS集群有兩類(lèi)節(jié)點(diǎn),并以管理者-工作者模式運(yùn)行,即一個(gè)NameNode(管理者)和多個(gè)DataNode(工作者)。 NameNode是Master節(jié)點(diǎn),有點(diǎn)類(lèi)似Linux里的根目錄,是管理文件系統(tǒng)的命名空間。管理數(shù)據(jù)塊映射 ...
2020-05-12桑基是何許圖也 據(jù)小z不嚴(yán)謹(jǐn)?shù)某闃犹釂?wèn)統(tǒng)計(jì),90%想學(xué)習(xí)桑基圖的旁友,都是被她妖艷炫酷的外表所吸引。 而?;鶊D真正代表了什么?和類(lèi)似圖表相比的獨(dú)特性是什么? ...
2020-05-12Series數(shù)據(jù)結(jié)構(gòu) Series是一種類(lèi)似于一位數(shù)組的對(duì)象,由一組數(shù)據(jù)及一組與之相關(guān)的數(shù)據(jù)標(biāo)簽(即索引)組成。 上面這樣的數(shù)據(jù)結(jié)構(gòu)就是Series,第一列數(shù)字是數(shù)據(jù)標(biāo)簽,第二列是具體的數(shù)據(jù) ...
2020-05-12Python在數(shù)據(jù)分析領(lǐng)域受到社會(huì)大眾的歡迎,一般而言,在windows上也是能運(yùn)行Python程序的,不過(guò)前提是需要安裝python解釋器。但是絕大多數(shù)的python程序都是跑在Linux機(jī)器上的,所以我們需要配置一臺(tái)linu ...
2020-05-12Kudu是一個(gè)列式存儲(chǔ)的用于快速分析的NoSQL數(shù)據(jù)庫(kù),提供了類(lèi)似SQL的查詢(xún)語(yǔ)句,與RDBMS十分類(lèi)似,有**PRIMARY KEY **,基于主鍵查詢(xún)而不是HBase的RowKey。 kudu擁有毫秒級(jí)延遲 與其他大數(shù)據(jù)數(shù)據(jù)庫(kù)不同,Kud ...
2020-05-12什么是卡方分布呢? 卡方分布(chi-square distribution),又名西格瑪分布,統(tǒng)計(jì)學(xué)領(lǐng)域的應(yīng)用學(xué)科,是統(tǒng)計(jì)學(xué)中的一個(gè)非常有用的著名分布。 當(dāng)n個(gè)相互獨(dú)立的隨機(jī)變量ξ?,ξ?,...,ξn ,均服從標(biāo) ...
2020-05-12俗話(huà)說(shuō)的好,工欲善其事,必先利其器。很多從事數(shù)據(jù)統(tǒng)計(jì)分析工作的朋友應(yīng)該會(huì)深有感觸,苦于自己80%的時(shí)間在做數(shù)據(jù)清洗,而僅僅只有20%的時(shí)間在優(yōu)化模型、分析統(tǒng)計(jì)結(jié)果等,今天我們就來(lái)介紹下SQL數(shù)據(jù)清洗。 因此, ...
2020-05-12(1)Excel實(shí)現(xiàn) 缺失值填充前后的對(duì)比如下圖所示: 在數(shù)據(jù)中年齡用數(shù)字填充合適,但是性別用數(shù)字填充就不太合適,那么可不可以分開(kāi)填充呢?答案是可以的,選中想要被填充的那一列,按照填充全部數(shù)據(jù)的方式進(jìn)行填充 ...
2020-05-11從菜市場(chǎng)買(mǎi)來(lái)的菜,總有一些是壞掉的不太好的,所以把菜買(mǎi)回來(lái)之后要做一遍預(yù)處理,也就是把那些壞掉的不太好的部分扔掉?,F(xiàn)實(shí)中大部分的數(shù)據(jù)都類(lèi)似于菜市場(chǎng)的菜品,拿到手以后會(huì)有一些不好的數(shù)據(jù),所以都要先做 ...
2020-05-11《python統(tǒng)計(jì)分析》以基礎(chǔ)的統(tǒng)計(jì)學(xué)知識(shí)和假設(shè)檢驗(yàn)為重點(diǎn),簡(jiǎn)明扼要地講述了Python在數(shù)據(jù)分析、可視化和統(tǒng)計(jì)建模中的應(yīng)用。 主要包括Python的簡(jiǎn)單介紹、研究設(shè)計(jì)、數(shù)據(jù)管理、概率分布、不同數(shù)據(jù)類(lèi)型的假設(shè)檢 ...
2020-05-11最近,看到一道有關(guān)T分布的試題《T分布是一條以0為中心左右對(duì)稱(chēng)的曲線(xiàn)嗎?》確實(shí),T分布是以0為中心,左右對(duì)稱(chēng)的一簇單峰曲線(xiàn)。不過(guò),當(dāng)其自由度越小,曲線(xiàn)的峰度越低,尾部越高,當(dāng)自由度趨于無(wú)窮大時(shí),t分布就是標(biāo) ...
2020-05-11混淆矩陣(Confusion Matrix),也成為誤差矩陣,是用n行n列矩陣形式來(lái)表示的表,這張表通過(guò)對(duì)比已知分類(lèi)結(jié)果的測(cè)試數(shù)據(jù)的預(yù)測(cè)值和真實(shí)值表來(lái)描述衡量分類(lèi)器的性能。 在二分類(lèi)的情況下,混淆矩陣是展示預(yù)測(cè) ...
2020-05-11統(tǒng)計(jì)分析中的長(zhǎng)尾分布理論認(rèn)為,由于成本和效率的因素,過(guò)去人們只會(huì)關(guān)注重要的人或事,如果用需求曲線(xiàn)來(lái)描述,受精力與成本等客觀因素的限制,人們通常只會(huì)關(guān)注曲線(xiàn)的“頭部”,而選擇忽略曲線(xiàn)的“尾部 ...
2020-05-11現(xiàn)在大數(shù)據(jù)成為一個(gè)熱門(mén)話(huà)題, 然而無(wú)論是網(wǎng)頁(yè)、產(chǎn)品信息、車(chē)輛的功能、文本、病例,還是氣象等數(shù)據(jù), 對(duì)數(shù)據(jù)的理解的第一步就是要理解數(shù)據(jù)之間的關(guān)聯(lián)。認(rèn)同這一點(diǎn)的話(huà), 就能夠理解為什么圖論在將來(lái)能夠?yàn)槿藗兊?...
2020-05-11最近在接觸kaggle的競(jìng)賽示例,練習(xí)了一下,感覺(jué)受益匪淺。同時(shí),心中也有個(gè)問(wèn)題。拿到數(shù)據(jù)之后第一件事是什么?分析數(shù)據(jù)的情況?怎么分析?分析之后如何去處理數(shù)據(jù)呢?等等一些數(shù)據(jù)分析的工作。其中,大家都可能非 ...
2020-05-11python數(shù)據(jù)挖掘,指用python對(duì)數(shù)據(jù)進(jìn)行處理,從大型數(shù)據(jù)庫(kù)的分析中,發(fā)現(xiàn)預(yù)測(cè)信息的過(guò)程。 什么是數(shù)據(jù)挖掘? 數(shù)據(jù)挖掘(英文全稱(chēng)Data Mining,簡(jiǎn)稱(chēng)DM),指從大量的數(shù)據(jù)中挖掘出未知且有價(jià)值的信息和只 ...
2020-05-11一提到深度學(xué)習(xí),大部分人會(huì)覺(jué)得一定非常難,其實(shí)不然,深度學(xué)習(xí)背后的主要原因是人工智能應(yīng)該從人腦中汲取靈感,而python深度學(xué)習(xí),指的是使用編程語(yǔ)言Python來(lái)進(jìn)行深度學(xué)習(xí)。 眾所周知,Python是一門(mén) ...
2020-05-11說(shuō)道SQL難不難學(xué)的問(wèn)題,應(yīng)該是見(jiàn)仁見(jiàn)智吧!對(duì)于有目標(biāo)的人而言,學(xué)習(xí)SQL就會(huì)變得簡(jiǎn)單,大家一定相信這點(diǎn)。當(dāng)然,千里之行始于足下,學(xué)習(xí)并沒(méi)有什么捷徑,只能靠努力。 SQLServer是一個(gè)可擴(kuò)展的、高性能的、為分布 ...
2020-05-09隨著科技的日新月異,人們對(duì)數(shù)據(jù)的依賴(lài)穩(wěn)步上升中,尤其在商業(yè)等領(lǐng)域,對(duì)于企業(yè)而言正確且連貫的數(shù)據(jù)流,是他們做出快速、精準(zhǔn)的決策的重要依據(jù)之一。因此,建立正確的數(shù)據(jù)流和數(shù)據(jù)結(jié)構(gòu)才能保證最好的結(jié)果,這個(gè)過(guò)程 ...
2020-05-09訓(xùn)練與驗(yàn)證損失驟升:機(jī)器學(xué)習(xí)訓(xùn)練中的異常診斷與解決方案 在機(jī)器學(xué)習(xí)模型訓(xùn)練過(guò)程中,“損失曲線(xiàn)” 是反映模型學(xué)習(xí)狀態(tài)的核心指 ...
2025-09-19解析 DataHub 與 Kafka:數(shù)據(jù)生態(tài)中兩類(lèi)核心工具的差異與協(xié)同 在數(shù)字化轉(zhuǎn)型加速的今天,企業(yè)對(duì)數(shù)據(jù)的需求已從 “存儲(chǔ)” 轉(zhuǎn)向 “ ...
2025-09-19CDA 數(shù)據(jù)分析師:讓統(tǒng)計(jì)基本概念成為業(yè)務(wù)決策的底層邏輯 統(tǒng)計(jì)基本概念是商業(yè)數(shù)據(jù)分析的 “基礎(chǔ)語(yǔ)言”—— 從描述數(shù)據(jù)分布的 “均 ...
2025-09-19CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫(kù)表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-19SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無(wú)論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢(xún)效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫(kù)管理中,“大表” 始終是性能優(yōu)化繞不開(kāi)的話(huà)題。 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動(dòng)態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開(kāi)始提取前,需先判斷 TIF 文件的類(lèi)型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價(jià)值的專(zhuān)業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫(kù)表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫(kù))處理 Excel 數(shù)據(jù)時(shí),“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場(chǎng)景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專(zhuān)業(yè)操盤(pán)手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計(jì)劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計(jì)劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對(duì)象的 text 與 content:區(qū)別、場(chǎng)景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請(qǐng)求開(kāi)發(fā)時(shí)(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價(jià)值的核心操盤(pán)手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫(kù)表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請(qǐng)求工具對(duì)比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請(qǐng)求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)的科學(xué)計(jì)數(shù)法問(wèn)題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)時(shí)的科學(xué)計(jì)數(shù)法問(wèn)題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價(jià)值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營(yíng)問(wèn)題、提升執(zhí)行效率的核心手段,其價(jià)值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過(guò)程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計(jì)” 與 “用戶(hù)體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營(yíng)銷(xiāo)案例:數(shù)據(jù)驅(qū)動(dòng)下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見(jiàn)頂” 的當(dāng)下,精準(zhǔn)營(yíng)銷(xiāo)成為企業(yè)突圍的核心方 ...
2025-09-11