99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話:13121318867

登錄
首頁精彩閱讀用Python制作處理小工具,多種操作,一鍵完成,非常實(shí)用
用Python制作處理小工具,多種操作,一鍵完成,非常實(shí)用
2021-02-07
收藏

來源:早起Python

作者:GUI工作組

在我們平常使用Python進(jìn)行數(shù)據(jù)處理與分析時(shí),在import完一大堆庫之后,就是對數(shù)據(jù)進(jìn)行預(yù)覽,查看數(shù)據(jù)是否出現(xiàn)了缺失值重復(fù)值等異常情況,并進(jìn)行處理。

本文將結(jié)合GUI工具PySimpleGUI,來講解如何制作一款屬于自己的數(shù)據(jù)預(yù)處理小工具,讓這個(gè)過程也能夠自動化!最終效果如下

用Python制作處理小工具,多種操作,一鍵完成,非常實(shí)用

本文將分為三部分講解:

制作GUI界面數(shù)據(jù)處理講解打包與測試

主要涉及將涉及以下模塊:

PySimpleGUIpandasmatplotlib

一、GUI界面制作

思路

老規(guī)矩,先講思路再上代碼,首先還是說一下,使用PySimpleGUI還是那四個(gè)流程

引入模塊==>創(chuàng)建元素并填充layout==> 創(chuàng)建窗體 ==>創(chuàng)建事件循環(huán)

從元素看,從圖中可以知道我們需要的元素有使用說明這個(gè)菜單欄、看上去是凹下去的數(shù)據(jù)預(yù)處理框、框內(nèi)的3個(gè)單選項(xiàng)值、讀取文件路徑的3個(gè)元素(固定文本、輸入文本、瀏覽按鈕)、"查看、處理、關(guān)閉"三個(gè)按鈕。

從總體看,整個(gè)窗體中我們需要所有的元素呈現(xiàn)正中間的分布狀態(tài)。其中菜單欄在窗體邊緣靠左分布。采用行銜接式的總分布。

從事件上看,我們需要在使用說明菜單中加上使用者需要的注意事項(xiàng)。而文件讀取位置我們設(shè)置我們常用的2種數(shù)據(jù)存儲格式(“.xlsx”,“.xls”)的Excel格式。

讀取后,我們在數(shù)據(jù)預(yù)處理框架選擇一種處理。接著,我們可以對每一種錯(cuò)誤進(jìn)行彈出框查看,查看完之后對數(shù)據(jù)做最終處理。

處理的過程需要將處理好的數(shù)據(jù)覆蓋原來的數(shù)據(jù)文件。整個(gè)過程必須是持續(xù)不間斷的。這里說個(gè)tips:每次數(shù)據(jù)分析之前最好做一個(gè)備份,防止分析過程中失敗但是又找不到原來數(shù)據(jù)文件的尷尬。

代碼

看望思路后是不是有種蠢蠢欲動的感覺?!我們來實(shí)現(xiàn)一波,先看完整代碼,后面詳細(xì)拆解

import PySimpleGUI as sg import pandas as pd import matplotlib
matplotlib.use("TkAgg")
sg.ChangeLookAndFeel('GreenTan')
menu_def = [['&使用說明', ['&注意']]]
layout = [
    [sg.Menu(menu_def, tearoff=True)],
    [sg.Frame(layout=[
    [sg.Radio('重復(fù)值處理'"RADIO1",size=(15,1),key="dup"),  sg.Radio('缺失值處理',
 "RADIO1",size=(15,1),key="mis"), 
sg.Radio('異常值處理'"RADIO1",default=True,key="war")]], title='數(shù)據(jù)預(yù)處理',
title_color='green',title_location='n',
relief=sg.RELIEF_SUNKEN, tooltip='選擇其中一種處理方式' )],
    [sg.Text('文件位置', size=(81), auto_size_text=False, justification='right'),
     sg.InputText(enable_events=True,key="lujing"), sg.Button('瀏覽',key = 'getf')],
    [sg.Button('查看',key = 'look'),sg.Submit('處理',key = 'handle'), sg.Cancel('關(guān)閉')]]

window = sg.Window('特征工程', layout, default_element_size=(401), grab_anywhere=False) while True:
    event, values = window.read()
    if event == 'getf':
        text = sg.popup_get_file('請點(diǎn)擊瀏覽鍵或自行填入文件絕對路徑',
title = '獲取件',file_types = (("Excel Files""*.xlsx"),
("Excel Files""*.xls"),))
        sg.popup('提示''是否確認(rèn)選擇文件---', text)
        window['lujing'].update(text)   
    if event == "look":
  '''
  用戶點(diǎn)擊查看按鈕促發(fā)的事件
  '''     if event == "handle":
  '''
  用戶點(diǎn)擊處理按鈕促發(fā)的事件
  '''       
    if event == "Cancel" or event == sg.WIN_CLOSED:
        break    
    if event == "注意":
  '''
  注意事項(xiàng)編寫
  ''' 

代碼解釋

其實(shí)有了思路后,你就會發(fā)現(xiàn)似乎一切都變得簡單了。接下來講解相關(guān)參數(shù)的作用。

首先是matplotlib.use("TkAgg"):使用matplotlib模塊并且調(diào)用這個(gè)函數(shù)的目的是在我們進(jìn)行查看異常值處理(箱型圖展示)所用到,是改變圖像顯示的方式:TkAgg(一個(gè)交互式后臺)。

所謂交互式后臺就是你可以對圖像進(jìn)行任意操作,區(qū)域放大縮小、值查看等功能。

之所以調(diào)用這個(gè)函數(shù)首先是因?yàn)槲覀兪褂玫氖荊UI是要有那種交互的感覺的,其次是如果數(shù)據(jù)量較大時(shí),箱型圖會很小,這樣子可以利于查看。

其次sg.ChangeLookAndFeel('GreenTan'):改變窗體顏色。

那么menu_def就是菜單欄,使用【“”,【“”】】這種格式來定義主菜單欄和子菜單欄。tearoff這個(gè)函數(shù)是加一條可愛的虛線間隔每個(gè)字段。

sg.Frame():這個(gè)和sg.columns()元素的用法是一樣的,主要是用來多個(gè)子元素的,我們這里設(shè)置了relief參數(shù)來讓整個(gè)框架在觀感上顯得凹形。tooltip參數(shù)是你鼠標(biāo)移動框架的位置出現(xiàn)的小提示框。

title_location參數(shù)的用法非常有趣,是標(biāo)題字符串的位置設(shè)置,有(n,s,e,w,se等),你很快會發(fā)現(xiàn)這個(gè)位置和其他元素布局位置設(shè)置不一樣,他是以地理位置坐標(biāo)做子參數(shù)的。

sg.Radio:單選選項(xiàng)框,要將所有的單選選項(xiàng)框的子參數(shù)group_id都設(shè)成一樣的,這樣你才能三個(gè)選項(xiàng)中選一個(gè),這里我們以"RADIO1"為group_id。

sg.Button():整個(gè)GUI中我們使用了4個(gè)按鈕,其中有一個(gè)專有的按鈕Cancel。

sg.popup():比較初級的彈出框,顯示提示類的關(guān)鍵信息所用到。

sg.popup_get_file():這是一個(gè)高級的彈出框元素,是從帶有文本輸入字段和瀏覽按鈕的彈出窗口,以便用戶選擇文件。效果如下

用Python制作處理小工具,多種操作,一鍵完成,非常實(shí)用

二、數(shù)據(jù)預(yù)處理

GUI部分搞定后,接著我們講解數(shù)據(jù)處理部分,主要是針對重復(fù)值、缺失值異常值。

數(shù)據(jù)準(zhǔn)備

我們這里用到的是2020年10月28日A股的行情。數(shù)據(jù)部分展示:

用Python制作處理小工具,多種操作,一鍵完成,非常實(shí)用

我們可以看到這里面有重復(fù)的行、有缺失值的地方。

重復(fù)值處理

對于二維列表DataFrame來講使用Pandas模塊是最方便最象征辦公簡潔化的模塊

import pandas as pd
df = df.read_excel('文件絕對路徑')
imfor = df[df.duplicated()]
imfor = str(imfor)

首先調(diào)用Pandas模塊并讀取文件路徑,這里我們采取絕對路徑而不采取相對路徑的原因是我們之后打包的GUI是不依靠文件的靠Python自帶的環(huán)境,所以相對路徑讀取是無法識別的。

df[df.duplicated()]這個(gè)Pandas內(nèi)的函數(shù)是以二維列表形式來打印重復(fù)值對應(yīng)的行。這里把df變量變?yōu)閟tr字符串形式是因?yàn)槲覀冊诤髞鞧UI中使用彈出窗口的元素時(shí)要以字符串形式加載。

最終處理重復(fù)值的方法如下:

df = df.drop_duplicates(inplace = True)

代碼只有一行,卻能做到將整個(gè)數(shù)據(jù)表中的重復(fù)值都刪除,說明Pandas函數(shù)的強(qiáng)大。

至于為什么用inplace = True,是因?yàn)閯h除函數(shù)不并不能改變原表格結(jié)構(gòu),所以需要將新表覆蓋原來的表格。

缺失值處理

先看代碼,其實(shí)在之前有關(guān)缺失值處理我在一年前就寫過相關(guān)文章點(diǎn)擊查看

import pandas as pd
df = df.read_excel('文件絕對路徑') #df.isnull() imfor1 = df.isnull().sum() #df.isnull().any() 
imfor1 = str(imfor1)

對于有缺失值的的數(shù)據(jù)表來說,df.isnull()或者df.isna()來查看空值。這個(gè)函數(shù)的作用時(shí)判斷是否為空值,若是為空值則賦予True,否則賦予False。

這里我們使用df.isnull().sum()來統(tǒng)計(jì)每一列字段缺失值數(shù)量。如果數(shù)據(jù)量大的話,還可以使用df.isnull().any()來查看只有缺失值的行。

解決方法,處理缺失值的方法有很多種,取均值、取中位數(shù)、刪除、取下方的值等。我們這里用取上方值的方法來填補(bǔ)。

df = df.fillna(method='pad')

異常值處理

所謂異常值,就是在一個(gè)數(shù)字字段里出現(xiàn)一個(gè)或多個(gè)不合群得數(shù)字。舉個(gè)例子,在一列都為個(gè)位數(shù)得數(shù)字列中出現(xiàn)了一個(gè)百位數(shù)的數(shù)字,這個(gè)百位數(shù)就是異常值。

用Python檢測異常值有兩種:箱線圖圖觀察和標(biāo)準(zhǔn)差觀察。這里我們選則箱體圖觀察。

箱線圖是用于顯示所選數(shù)據(jù)分散情況的統(tǒng)計(jì)圖,通過設(shè)定標(biāo)準(zhǔn),將大于或小于箱體圖上下線的數(shù)值表示為異常點(diǎn)。

用Python制作處理小工具,多種操作,一鍵完成,非常實(shí)用

如圖,下四分分位數(shù)指的是樣本中有百分之25的數(shù)據(jù)小于這個(gè)數(shù),記為。上四分分位數(shù)指的是樣本中有百分之25大于這個(gè)數(shù),記為。上四分位數(shù)和下四分位數(shù)的差值的1.5倍加上上四分位數(shù)就是上邊緣,反之為下邊緣。

上邊緣

下邊緣

在Pandas中可以調(diào)用.boxplot()函數(shù)來畫箱型圖

import pandas as pd
df.boxplot()
用Python制作處理小工具,多種操作,一鍵完成,非常實(shí)用

三、打包與效果展示

在寫完全部代碼之后,我們可以使用pyinstaller進(jìn)行打包。

假定你的程序命名為yuchuli.py,在cmd窗口輸入即可完成打包。

pyinstaller -F yuchuli.py 

打包后,exe在Python文件所在文件夾的dist文件夾中。我們啟動來看下效果

用Python制作處理小工具,多種操作,一鍵完成,非常實(shí)用
用Python制作處理小工具,多種操作,一鍵完成,非常實(shí)用
用Python制作處理小工具,多種操作,一鍵完成,非常實(shí)用

可以看到,我們需要的數(shù)據(jù)預(yù)處理的三個(gè)功能:重復(fù)值缺失值、異常值都能按照指定方式進(jìn)行處理!

當(dāng)然你可以在本文提供的方法上,自己進(jìn)行修改,來定制一款屬于你自己平時(shí)習(xí)慣的數(shù)據(jù)預(yù)處理小軟件!

數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼,搜微信號:CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1:配置參數(shù) // 參數(shù)2:回調(diào),回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對象,之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須,不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式,包括:float,popup width: "280px", https: true // 更多配置參數(shù)說明請參見:http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'!'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'!'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }