一、欠擬合概念及理解 機器學(xué)習(xí)中欠擬合是一個常見的問題,簡單來說就是模型在訓(xùn)練和預(yù)測時表現(xiàn)都欠佳的情況。一個欠擬合的機器學(xué)習(xí)模型不是一個良好的模型并且在訓(xùn)練數(shù)據(jù)上表現(xiàn)不好這是顯而易見的。 圖 ...
2020-07-08Kmeans算法屬于無監(jiān)督學(xué)習(xí)的一種聚類算法,這種算法的目的為:在數(shù)據(jù)所屬類別及類別數(shù)量不明確的前提下,依據(jù)數(shù)據(jù)自身的特點對數(shù)據(jù)進行聚類。聚類過程中,對于類別數(shù)量k的選取,需要一定的先驗知識,也可根據(jù)“類 ...
2020-07-08最大后驗估計(maximum a posteriori probability estimate), 簡稱為MAP。在貝葉斯統(tǒng)計學(xué)中,最大后驗估計是通過利用經(jīng)驗數(shù)據(jù)獲得對未觀測量的點態(tài)估計。 與極大似然估計類似,不同的是,在似然函數(shù)后面多乘了一 ...
2020-07-08矩陣特征值與特征向量在機器學(xué)習(xí)算法中經(jīng)常會用到,每次出現(xiàn)都有著其獨特的意義,如果不能深入理解特征值和特征向量兩個概念,對我們機器學(xué)習(xí)的實際應(yīng)用會有很大影響。小編今天整理了特征值和特征向量的概念計算以 ...
2020-07-08召回率(Recall),也被稱為 查全率,或者True Positive Rate,R= TP/(TP+FN) ; 反映了所有真正為正例的樣本中被分類器判定出來為正例的比例。 精度,或者叫做精確率(precision):P = TP/(TP+FP);反映了被分類器 ...
2020-07-08混淆矩陣(confusion matrix),又被叫做錯誤矩陣(error matrix)。矩陣的每一列代表分類器對于樣本的類別預(yù)測,矩陣的每一行代表版本所屬的真實類別。 ’混淆矩陣‘這個名字來源于,它能夠很容易的看到機器學(xué)習(xí)是 ...
2020-07-08數(shù)據(jù)挖掘(data mining,簡稱DM),是指從大量的數(shù)據(jù)中,通過統(tǒng)計學(xué)、人工智能、機器學(xué)習(xí)等方法,挖掘出未知的、且有價值的信息和知識的過程。在python對數(shù)據(jù)的處理方式中,數(shù)據(jù)挖掘和數(shù)據(jù)分析是兩個重要的方式,目 ...
2020-07-07anaconda是一個用于科學(xué)計算的python發(fā)行版,支持 Linux, Mac, Windows系統(tǒng),提供了包管理與環(huán)境管理的功能,可以很方便地解決多版本python并存、切換以及各種第三方包安裝問題。anaconda利用工具/命令conda來進行 ...
2020-07-07“數(shù)據(jù)決定了機器學(xué)習(xí)的上限,而算法只是盡可能逼近這個上限”,這里的數(shù)據(jù)指的就是經(jīng)過特征工程得到的數(shù)據(jù)。特征工程指的是把原始數(shù)據(jù)轉(zhuǎn)變?yōu)槟P偷挠?xùn)練數(shù)據(jù)的過程,它的目的就是獲取更好的訓(xùn)練數(shù)據(jù)特征,使得機器 ...
2020-07-07假設(shè)檢驗是根據(jù)一定的假設(shè)條件,由樣本推斷總體的一種方法。 假設(shè)檢驗問題是統(tǒng)計推斷中的一類重要問題,在總體的分布函數(shù)完全未知或只知其形式,不知其參數(shù)的情況,為了推斷總體的某些未知特性,提出某些關(guān)于總 ...
2020-07-07重復(fù)值處理是python數(shù)據(jù)清洗過程中的重要步驟,小編今天給大家整理了重復(fù)值檢測及重復(fù)值處理的方法,希望對大家有所幫助。 python重復(fù)值處理的常用方法是刪除,用duplicates(subset,keep,inplace)方法對進行重 ...
2020-07-07數(shù)據(jù)湖或hub的概念最初是由大數(shù)據(jù)廠商提出的,表面上看,數(shù)據(jù)都是承載在基于可向外擴展的HDFS廉價存儲硬件之上的。但數(shù)據(jù)量越大,越需要各種不同種類的存儲。最終,所有的企業(yè)數(shù)據(jù)都可以被認為是大數(shù)據(jù),但并不是 ...
2020-07-07虛擬機是什么?這可能對于沒有一定計算機基礎(chǔ)的小伙伴很難理解。虛擬機就是虛擬的年腦?其實這樣理解也不錯。虛擬機是在虛擬硬件上運行的虛擬操作系統(tǒng)(或應(yīng)用程序環(huán)境,如JVM),它的硬盤是在一個文件中虛擬出來的, ...
2020-07-07Hadoop是一種分析和處理大數(shù)據(jù)的軟件平臺,是Appach的一個用Java語言所實現(xiàn)的開源軟件的加框,可編寫和運行分布式應(yīng)用處理大規(guī)模數(shù)據(jù),是專為離線和大規(guī)模數(shù)據(jù)分析而設(shè)計的,對那種對幾個記錄隨機讀寫的在線事務(wù)處 ...
2020-07-07Linux與windows相比最大的不同就是,很多操作都需要命令來控制。小編整理了一些文件和目錄經(jīng)常會用到的Linux基本命令,希望對各位小伙伴使用Linux有所幫助。 文件和目錄 cd /home 進入 \'/ home\' 目錄\' ...
2020-07-07RDD 即 Resilient Distributes Dataset, 叫做彈性分布式數(shù)據(jù)集,是spark中最基礎(chǔ)、最常用的數(shù)據(jù)結(jié)構(gòu)。其本質(zhì)是把input source 進行封裝,封裝之后的數(shù)據(jù)結(jié)構(gòu)就是RDD。RDD具有數(shù)據(jù)流模型的特點:自動容錯、位置感知 ...
2020-07-07SQL語言,是結(jié)構(gòu)化查詢語言(StructuredQueryLanguage)的簡稱。SQL語言是一種數(shù)據(jù)庫查詢和程序設(shè)計語言,用于存取數(shù)據(jù)以及查詢、更新和管理關(guān)系數(shù)據(jù)庫系統(tǒng)。下面小編整理了SQL語言的基本語法-增刪改查,希望對大家 ...
2020-07-07數(shù)據(jù)分析是目前最火的行業(yè)之一,很多人都想加入,小編今天跟大家分享一些從數(shù)據(jù)分析就業(yè)指導(dǎo)老師那里偷師的求職小技巧,希望能幫助大家成功找到數(shù)據(jù)分析相關(guān)工作。 1. 職位搜索 我們平常搜索求職崗位的 ...
2020-07-07數(shù)據(jù)清洗是整個數(shù)據(jù)分析過程的第一步,也是整個數(shù)據(jù)分析項目中最耗費時間的一步,下面小編整理了幾種常用的python數(shù)據(jù)清洗工具,希望對大家有所幫助。 目前在python中, numpy和pandas是最主流的數(shù)據(jù)清洗工具,N ...
2020-07-06缺失值是指粗糙數(shù)據(jù)中由于缺少信息而造成的數(shù)據(jù)的聚類、分組、刪失或截斷。它指的是現(xiàn)有數(shù)據(jù)集中某個或某些屬性的值是不完全的。 python缺失的處理一般情況下有三種方法: (1)刪掉缺失值數(shù)據(jù) 刪除法是 ...
2020-07-06SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動態(tài)隨機一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗與 t 檢驗:差異、適用場景與實踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計學(xué)領(lǐng)域,假設(shè)檢驗是驗證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實踐指南 在 Python 進行 HTTP 網(wǎng)絡(luò)請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點數(shù)據(jù)的科學(xué)計數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點數(shù)據(jù)時的科學(xué)計數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計” 與 “用戶體驗 ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準(zhǔn)營銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價值 在數(shù)據(jù)驅(qū)動決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類分析:從操作實踐到業(yè)務(wù)價值挖掘 在數(shù)據(jù)分析場景中,聚類分析作為 “無監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價值導(dǎo)向 統(tǒng)計模型作為數(shù)據(jù)分析的核心工具,并非簡單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10