99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁精彩閱讀深度學(xué)習(xí)編碼分類變量的3種方法
深度學(xué)習(xí)編碼分類變量的3種方法
2020-03-09
收藏
作者 | CDA數(shù)據(jù)分析師

像Keras中的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)模型一樣，要求所有輸入和輸出變量均為數(shù)字。

這意味著，如果你的數(shù)據(jù)包含分類數(shù)據(jù)，則必須先將其編碼為數(shù)字，然后才能擬合和評估模型。

兩種最流行的技術(shù)是整數(shù)編碼和一種熱編碼，盡管一種稱為學(xué)習(xí)嵌入的較新技術(shù)可能在這兩種方法之間提供了有用的中間立場。

在本教程中，您將發(fā)現(xiàn)在Keras中開發(fā)神經(jīng)網(wǎng)絡(luò)模型時如何編碼分類數(shù)據(jù)。

完成本教程后，您將知道：

讓我們開始吧。

教程概述

本教程分為五個部分。分別是：

  1. 分類數(shù)據(jù)的挑戰(zhàn)
  2. 乳腺癌分類數(shù)據(jù)集
  3. 如何對分類數(shù)據(jù)進(jìn)行序數(shù)編碼
  4. 如何對分類數(shù)據(jù)進(jìn)行熱編碼
  5. 如何將學(xué)習(xí)的嵌入用于分類數(shù)據(jù)

分類數(shù)據(jù)的挑戰(zhàn)

類別變量是其值采用標(biāo)簽值的變量。

例如，變量可以是“ color ”，并且可以取值“ red ”，“ green ”和“ blue”。

有時，分類數(shù)據(jù)可能在類別之間具有排序的關(guān)系，例如“ 第一 ”，“ 第二 ”和“ 第三”。這種類型的分類數(shù)據(jù)稱為序數(shù)，并且其他排序信息可能很有用。

機(jī)器學(xué)習(xí)算法和深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)要求輸入和輸出變量是數(shù)字。

這意味著必須先將分類數(shù)據(jù)編碼為數(shù)字，然后才能使用它來擬合和評估模型。

有多種編碼分類變量以進(jìn)行建模的方法，盡管最常見的三種方法如下：

  1. 整數(shù)編碼：每個唯一標(biāo)簽都映射到一個整數(shù)。
  2. 一種熱編碼：每個標(biāo)簽都映射到二進(jìn)制矢量。
  3. Learned Embedding：學(xué)習(xí)類別的分布式表示形式的地方。

我們將仔細(xì)研究如何使用以下每種方法對分類數(shù)據(jù)進(jìn)行編碼，以在Keras中訓(xùn)練深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)。

乳腺癌分類數(shù)據(jù)集

作為本教程的基礎(chǔ)，我們將使用自1980年代以來在機(jī)器學(xué)習(xí)中廣泛研究的所謂“ 乳腺癌 ”數(shù)據(jù)集。

該數(shù)據(jù)集將乳腺癌患者數(shù)據(jù)分類為癌癥復(fù)發(fā)或無復(fù)發(fā)。有286個示例和9個輸入變量。這是一個二進(jìn)制分類問題。

該數(shù)據(jù)集上合理的分類準(zhǔn)確性得分在68％到73％之間。我們將針對該區(qū)域，但請注意，本教程中的模型并未經(jīng)過優(yōu)化：它們旨在演示編碼方案。

查看數(shù)據(jù)，我們可以看到所有九個輸入變量都是分類的。

具體來說，所有變量都用引號引起來；有些是序數(shù)，有些不是。 

'40-49','premeno','15-19','0-2','yes','3','right','left_up','no','recurrence-events' '50-59','ge40','15-19','0-2','no','1','right','central','no','no-recurrence-events' '50-59','ge40','35-39','0-2','no','2','left','left_low','no','recurrence-events' '40-49','premeno','35-39','0-2','yes','3','right','left_low','yes','no-recurrence-events' '40-49','premeno','30-34','3-5','yes','2','left','right_up','no','recurrence-events'

我們可以使用Pandas庫將該數(shù)據(jù)集加載到內(nèi)存中。 

# load the dataset as a pandas DataFrame data = read_csv(filename, header=None) # retrieve numpy array dataset = data.values

加載后，我們可以將列分為輸入（X）和輸出（y）進(jìn)行建模。 

# split into input (X) and output (y) variables X = dataset[:, :-1] y = dataset[:,-1]

最后，我們可以將輸入數(shù)據(jù)中的所有字段都強(qiáng)制為字符串，以防萬一熊貓?jiān)噲D將某些字段自動映射為數(shù)字（確實(shí)如此）。

我們還可以將輸出變量整形為一列（例如2D形狀）。 

# format all fields as string X = X.astype(str) # reshape target to be a 2d array y = y.reshape((len(y), 1))

我們可以將所有這些結(jié)合到一個有用的功能中，以備后用。 

# load the dataset def load_dataset(filename): # load the dataset as a pandas DataFrame data = read_csv(filename, header=None) # retrieve numpy array dataset = data.values # split into input (X) and output (y) variables X = dataset[:, :-1] y = dataset[:,-1] # format all fields as string X = X.astype(str) # reshape target to be a 2d array y = y.reshape((len(y), 1)) return X, y

加載后，我們可以將數(shù)據(jù)分為訓(xùn)練集和測試集，以便我們可以擬合和評估深度學(xué)習(xí)模型。

我們將使用scikit-learn中的train_test_split（）函數(shù)，并將67％的數(shù)據(jù)用于訓(xùn)練，將33％的數(shù)據(jù)用于測試。 

# load the dataset X, y = load_dataset('breast-cancer.csv') # split into train and test sets X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33, random_state=1)

將所有這些元素結(jié)合在一起，下面列出了加載，拆分和匯總原始分類數(shù)據(jù)集的完整示例。 

# load and summarize the dataset from pandas import read_csv from sklearn.model_selection import train_test_split # load the dataset def load_dataset(filename): # load the dataset as a pandas DataFrame data = read_csv(filename, header=None) # retrieve numpy array dataset = data.values # split into input (X) and output (y) variables X = dataset[:, :-1] y = dataset[:,-1] # format all fields as string X = X.astype(str) # reshape target to be a 2d array y = y.reshape((len(y), 1)) return X, y # load the dataset X, y = load_dataset('breast-cancer.csv') # split into train and test sets X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33, random_state=1) # summarize print('Train', X_train.shape, y_train.shape) print('Test', X_test.shape, y_test.shape)

運(yùn)行示例將報(bào)告訓(xùn)練和測試集的輸入和輸出元素的大小。

我們可以看到，我們有191個示例用于培訓(xùn)，而95個用于測試。 

Train (191, 9) (191, 1) Test (95, 9) (95, 1)

既然我們已經(jīng)熟悉了數(shù)據(jù)集，那么讓我們看一下如何對它進(jìn)行編碼以進(jìn)行建模。

如何對分類數(shù)據(jù)進(jìn)行序數(shù)編碼

順序編碼涉及將每個唯一標(biāo)簽映射到整數(shù)值。

這樣，有時將其簡稱為整數(shù)編碼。

這種類型的編碼實(shí)際上僅在類別之間存在已知關(guān)系時才適用。

數(shù)據(jù)集中的某些變量確實(shí)存在這種關(guān)系，理想情況下，在準(zhǔn)備數(shù)據(jù)時應(yīng)利用此關(guān)系。

在這種情況下，我們將忽略任何可能存在的序數(shù)關(guān)系，并假定所有變量都是類別變量。至少將序數(shù)編碼用作其他編碼方案的參考點(diǎn)仍然會有所幫助。

我們可以使用scikit-learn的scikit-learn將每個變量編碼為整數(shù)。這是一個靈活的類，并且允許將類別的順序指定為參數(shù)（如果已知這樣的順序）。

注意：我將作為練習(xí)來更新以下示例，以嘗試為具有自然順序的變量指定順序，并查看其是否對模型性能產(chǎn)生影響。

對變量進(jìn)行編碼的最佳實(shí)踐是使編碼適合訓(xùn)練數(shù)據(jù)集，然后將其應(yīng)用于訓(xùn)練和測試數(shù)據(jù)集。

下面的函數(shù)prepare_inputs（），獲取訓(xùn)練和測試集的輸入數(shù)據(jù)，并使用序數(shù)編碼對其進(jìn)行編碼。 

# prepare input data def prepare_inputs(X_train, X_test): oe = OrdinalEncoder() oe.fit(X_train) X_train_enc = oe.transform(X_train) X_test_enc = oe.transform(X_test) return X_train_enc, X_test_enc

我們還需要準(zhǔn)備目標(biāo)變量。

這是一個二進(jìn)制分類問題，因此我們需要將兩個類標(biāo)簽映射到0和1。

這是一種序數(shù)編碼，scikit-learn提供了為此專門設(shè)計(jì)的LabelEncoder類。盡管LabelEncoder設(shè)計(jì)用于編碼單個變量，但我們可以輕松使用OrdinalEncoder并獲得相同的結(jié)果。

在（）prepare_targets整數(shù)編碼的訓(xùn)練集和測試集的輸出數(shù)據(jù)。 

# prepare target def prepare_targets(y_train, y_test): le = LabelEncoder() le.fit(y_train) y_train_enc = le.transform(y_train) y_test_enc = le.transform(y_test) return y_train_enc, y_test_enc

我們可以調(diào)用這些函數(shù)來準(zhǔn)備我們的數(shù)據(jù)。 

# prepare input data X_train_enc, X_test_enc = prepare_inputs(X_train, X_test) # prepare output data y_train_enc, y_test_enc = prepare_targets(y_train, y_test)

現(xiàn)在我們可以定義一個神經(jīng)網(wǎng)絡(luò)模型。

在所有這些示例中，我們將使用相同的通用模型。具體來說，是一種多層感知器（MLP）神經(jīng)網(wǎng)絡(luò)，其中的一個隱藏層具有10個節(jié)點(diǎn)，而輸出層中的一個節(jié)點(diǎn)用于進(jìn)行二進(jìn)制分類。

無需贅述，下面的代碼定義了模型，將其擬合在訓(xùn)練數(shù)據(jù)集上，然后在測試數(shù)據(jù)集上對其進(jìn)行了評估。 

# define the model model = Sequential() model.add(Dense(10, input_dim=X_train_enc.shape[1], activation='relu', kernel_initializer='he_normal')) model.add(Dense(1, activation='sigmoid')) # compile the keras model model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy']) # fit the keras model on the dataset model.fit(X_train_enc, y_train_enc, epochs=100, batch_size=16, verbose=2) # evaluate the keras model _, accuracy = model.evaluate(X_test_enc, y_test_enc, verbose=0) print('Accuracy: %.2f' % (accuracy*100))

綜合所有這些，下面列出了使用序數(shù)編碼準(zhǔn)備數(shù)據(jù)并擬合和評估數(shù)據(jù)上的神經(jīng)網(wǎng)絡(luò)的完整示例。 

# example of ordinal encoding for a neural network from pandas import read_csv from sklearn.model_selection import train_test_split from sklearn.preprocessing import LabelEncoder from sklearn.preprocessing import OrdinalEncoder from keras.models import Sequential from keras.layers import Dense # load the dataset def load_dataset(filename): # load the dataset as a pandas DataFrame data = read_csv(filename, header=None) # retrieve numpy array dataset = data.values # split into input (X) and output (y) variables X = dataset[:, :-1] y = dataset[:,-1] # format all fields as string X = X.astype(str) # reshape target to be a 2d array y = y.reshape((len(y), 1)) return X, y # prepare input data def prepare_inputs(X_train, X_test): oe = OrdinalEncoder() oe.fit(X_train) X_train_enc = oe.transform(X_train) X_test_enc = oe.transform(X_test) return X_train_enc, X_test_enc # prepare target def prepare_targets(y_train, y_test): le = LabelEncoder() le.fit(y_train) y_train_enc = le.transform(y_train) y_test_enc = le.transform(y_test) return y_train_enc, y_test_enc # load the dataset X, y = load_dataset('breast-cancer.csv') # split into train and test sets X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33, random_state=1) # prepare input data X_train_enc, X_test_enc = prepare_inputs(X_train, X_test) # prepare output data y_train_enc, y_test_enc = prepare_targets(y_train, y_test) # define the  model model = Sequential() model.add(Dense(10, input_dim=X_train_enc.shape[1], activation='relu', kernel_initializer='he_normal')) model.add(Dense(1, activation='sigmoid')) # compile the keras model model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy']) # fit the keras model on the dataset model.fit(X_train_enc, y_train_enc, epochs=100, batch_size=16, verbose=2) # evaluate the keras model _, accuracy = model.evaluate(X_test_enc, y_test_enc, verbose=0) print('Accuracy: %.2f' % (accuracy*100))

在任何現(xiàn)代硬件（無需GPU）上運(yùn)行示例，只需幾秒鐘即可使模型適應(yīng)模型。

在每個訓(xùn)練時期結(jié)束時報(bào)告模型的損失和準(zhǔn)確性，最后報(bào)告測試數(shù)據(jù)集上模型的準(zhǔn)確性。

鑒于學(xué)習(xí)算法的隨機(jī)性，您的具體結(jié)果會有所不同。嘗試運(yùn)行該示例幾次。

在這種情況下，我們可以看到該模型在測試數(shù)據(jù)集上達(dá)到了約70％的精度。

不錯，因?yàn)橹挥心承┹斎胱兞看嬖谛驍?shù)關(guān)系，對于某些輸入變量才存在序數(shù)關(guān)系，因此在編碼中不遵循序數(shù)關(guān)系。 

... Epoch 95/100 - 0s - loss: 0.5349 - acc: 0.7696 Epoch 96/100 - 0s - loss: 0.5330 - acc: 0.7539 Epoch 97/100 - 0s - loss: 0.5316 - acc: 0.7592 Epoch 98/100 - 0s - loss: 0.5302 - acc: 0.7696 Epoch 99/100 - 0s - loss: 0.5291 - acc: 0.7644 Epoch 100/

數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個參數(shù)驗(yàn)證碼對象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }