99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁精彩閱讀深度學習編碼分類變量的3種方法
深度學習編碼分類變量的3種方法
2020-03-09
收藏
作者 | CDA數(shù)據(jù)分析師

像Keras中的機器學習和深度學習模型一樣，要求所有輸入和輸出變量均為數(shù)字。

這意味著，如果你的數(shù)據(jù)包含分類數(shù)據(jù)，則必須先將其編碼為數(shù)字，然后才能擬合和評估模型。

兩種最流行的技術是整數(shù)編碼和一種熱編碼，盡管一種稱為學習嵌入的較新技術可能在這兩種方法之間提供了有用的中間立場。

在本教程中，您將發(fā)現(xiàn)在Keras中開發(fā)神經(jīng)網(wǎng)絡模型時如何編碼分類數(shù)據(jù)。

完成本教程后，您將知道：

  • 使用機器學習和深度學習模型時使用分類數(shù)據(jù)的挑戰(zhàn)。
  • 如何對分類變量進行整數(shù)編碼和一種熱編碼分類變量。
  • 如何學習作為類別變量的神經(jīng)網(wǎng)絡的一部分的嵌入式分布式表示形式。

讓我們開始吧。

教程概述

本教程分為五個部分。分別是：

  1. 分類數(shù)據(jù)的挑戰(zhàn)
  2. 乳腺癌分類數(shù)據(jù)集
  3. 如何對分類數(shù)據(jù)進行序數(shù)編碼
  4. 如何對分類數(shù)據(jù)進行熱編碼
  5. 如何將學習的嵌入用于分類數(shù)據(jù)

分類數(shù)據(jù)的挑戰(zhàn)

類別變量是其值采用標簽值的變量。

例如，變量可以是“ color ”，并且可以取值“ red ”，“ green ”和“ blue”。

有時，分類數(shù)據(jù)可能在類別之間具有排序的關系，例如“ 第一 ”，“ 第二 ”和“ 第三”。這種類型的分類數(shù)據(jù)稱為序數(shù)，并且其他排序信息可能很有用。

機器學習算法和深度學習神經(jīng)網(wǎng)絡要求輸入和輸出變量是數(shù)字。

這意味著必須先將分類數(shù)據(jù)編碼為數(shù)字，然后才能使用它來擬合和評估模型。

有多種編碼分類變量以進行建模的方法，盡管最常見的三種方法如下：

  1. 整數(shù)編碼：每個唯一標簽都映射到一個整數(shù)。
  2. 一種熱編碼：每個標簽都映射到二進制矢量。
  3. Learned Embedding：學習類別的分布式表示形式的地方。

我們將仔細研究如何使用以下每種方法對分類數(shù)據(jù)進行編碼，以在Keras中訓練深度學習神經(jīng)網(wǎng)絡。

乳腺癌分類數(shù)據(jù)集

作為本教程的基礎，我們將使用自1980年代以來在機器學習中廣泛研究的所謂“ 乳腺癌 ”數(shù)據(jù)集。

該數(shù)據(jù)集將乳腺癌患者數(shù)據(jù)分類為癌癥復發(fā)或無復發(fā)。有286個示例和9個輸入變量。這是一個二進制分類問題。

該數(shù)據(jù)集上合理的分類準確性得分在68％到73％之間。我們將針對該區(qū)域，但請注意，本教程中的模型并未經(jīng)過優(yōu)化：它們旨在演示編碼方案。

查看數(shù)據(jù)，我們可以看到所有九個輸入變量都是分類的。

具體來說，所有變量都用引號引起來；有些是序數(shù)，有些不是。 

'40-49','premeno','15-19','0-2','yes','3','right','left_up','no','recurrence-events' '50-59','ge40','15-19','0-2','no','1','right','central','no','no-recurrence-events' '50-59','ge40','35-39','0-2','no','2','left','left_low','no','recurrence-events' '40-49','premeno','35-39','0-2','yes','3','right','left_low','yes','no-recurrence-events' '40-49','premeno','30-34','3-5','yes','2','left','right_up','no','recurrence-events'

我們可以使用Pandas庫將該數(shù)據(jù)集加載到內(nèi)存中。 

# load the dataset as a pandas DataFrame data = read_csv(filename, header=None) # retrieve numpy array dataset = data.values

加載后，我們可以將列分為輸入（X）和輸出（y）進行建模。 

# split into input (X) and output (y) variables X = dataset[:, :-1] y = dataset[:,-1]

最后，我們可以將輸入數(shù)據(jù)中的所有字段都強制為字符串，以防萬一熊貓試圖將某些字段自動映射為數(shù)字（確實如此）。

我們還可以將輸出變量整形為一列（例如2D形狀）。 

# format all fields as string X = X.astype(str) # reshape target to be a 2d array y = y.reshape((len(y), 1))

我們可以將所有這些結合到一個有用的功能中，以備后用。 

# load the dataset def load_dataset(filename): # load the dataset as a pandas DataFrame data = read_csv(filename, header=None) # retrieve numpy array dataset = data.values # split into input (X) and output (y) variables X = dataset[:, :-1] y = dataset[:,-1] # format all fields as string X = X.astype(str) # reshape target to be a 2d array y = y.reshape((len(y), 1)) return X, y

加載后，我們可以將數(shù)據(jù)分為訓練集和測試集，以便我們可以擬合和評估深度學習模型。

我們將使用scikit-learn中的train_test_split（）函數(shù)，并將67％的數(shù)據(jù)用于訓練，將33％的數(shù)據(jù)用于測試。 

# load the dataset X, y = load_dataset('breast-cancer.csv') # split into train and test sets X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33, random_state=1)

將所有這些元素結合在一起，下面列出了加載，拆分和匯總原始分類數(shù)據(jù)集的完整示例。 

# load and summarize the dataset from pandas import read_csv from sklearn.model_selection import train_test_split # load the dataset def load_dataset(filename): # load the dataset as a pandas DataFrame data = read_csv(filename, header=None) # retrieve numpy array dataset = data.values # split into input (X) and output (y) variables X = dataset[:, :-1] y = dataset[:,-1] # format all fields as string X = X.astype(str) # reshape target to be a 2d array y = y.reshape((len(y), 1)) return X, y # load the dataset X, y = load_dataset('breast-cancer.csv') # split into train and test sets X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33, random_state=1) # summarize print('Train', X_train.shape, y_train.shape) print('Test', X_test.shape, y_test.shape)

運行示例將報告訓練和測試集的輸入和輸出元素的大小。

我們可以看到，我們有191個示例用于培訓，而95個用于測試。 

Train (191, 9) (191, 1) Test (95, 9) (95, 1)

既然我們已經(jīng)熟悉了數(shù)據(jù)集，那么讓我們看一下如何對它進行編碼以進行建模。

如何對分類數(shù)據(jù)進行序數(shù)編碼

順序編碼涉及將每個唯一標簽映射到整數(shù)值。

這樣，有時將其簡稱為整數(shù)編碼。

這種類型的編碼實際上僅在類別之間存在已知關系時才適用。

數(shù)據(jù)集中的某些變量確實存在這種關系，理想情況下，在準備數(shù)據(jù)時應利用此關系。

在這種情況下，我們將忽略任何可能存在的序數(shù)關系，并假定所有變量都是類別變量。至少將序數(shù)編碼用作其他編碼方案的參考點仍然會有所幫助。

我們可以使用scikit-learn的scikit-learn將每個變量編碼為整數(shù)。這是一個靈活的類，并且允許將類別的順序指定為參數(shù)（如果已知這樣的順序）。

注意：我將作為練習來更新以下示例，以嘗試為具有自然順序的變量指定順序，并查看其是否對模型性能產(chǎn)生影響。

對變量進行編碼的最佳實踐是使編碼適合訓練數(shù)據(jù)集，然后將其應用于訓練和測試數(shù)據(jù)集。

下面的函數(shù)prepare_inputs（），獲取訓練和測試集的輸入數(shù)據(jù)，并使用序數(shù)編碼對其進行編碼。 

# prepare input data def prepare_inputs(X_train, X_test): oe = OrdinalEncoder() oe.fit(X_train) X_train_enc = oe.transform(X_train) X_test_enc = oe.transform(X_test) return X_train_enc, X_test_enc

我們還需要準備目標變量。

這是一個二進制分類問題，因此我們需要將兩個類標簽映射到0和1。

這是一種序數(shù)編碼，scikit-learn提供了為此專門設計的LabelEncoder類。盡管LabelEncoder設計用于編碼單個變量，但我們可以輕松使用OrdinalEncoder并獲得相同的結果。

在（）prepare_targets整數(shù)編碼的訓練集和測試集的輸出數(shù)據(jù)。 

# prepare target def prepare_targets(y_train, y_test): le = LabelEncoder() le.fit(y_train) y_train_enc = le.transform(y_train) y_test_enc = le.transform(y_test) return y_train_enc, y_test_enc

我們可以調用這些函數(shù)來準備我們的數(shù)據(jù)。 

# prepare input data X_train_enc, X_test_enc = prepare_inputs(X_train, X_test) # prepare output data y_train_enc, y_test_enc = prepare_targets(y_train, y_test)

現(xiàn)在我們可以定義一個神經(jīng)網(wǎng)絡模型。

在所有這些示例中，我們將使用相同的通用模型。具體來說，是一種多層感知器（MLP）神經(jīng)網(wǎng)絡，其中的一個隱藏層具有10個節(jié)點，而輸出層中的一個節(jié)點用于進行二進制分類。

無需贅述，下面的代碼定義了模型，將其擬合在訓練數(shù)據(jù)集上，然后在測試數(shù)據(jù)集上對其進行了評估。 

# define the model model = Sequential() model.add(Dense(10, input_dim=X_train_enc.shape[1], activation='relu', kernel_initializer='he_normal')) model.add(Dense(1, activation='sigmoid')) # compile the keras model model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy']) # fit the keras model on the dataset model.fit(X_train_enc, y_train_enc, epochs=100, batch_size=16, verbose=2) # evaluate the keras model _, accuracy = model.evaluate(X_test_enc, y_test_enc, verbose=0) print('Accuracy: %.2f' % (accuracy*100))

綜合所有這些，下面列出了使用序數(shù)編碼準備數(shù)據(jù)并擬合和評估數(shù)據(jù)上的神經(jīng)網(wǎng)絡的完整示例。 

# example of ordinal encoding for a neural network from pandas import read_csv from sklearn.model_selection import train_test_split from sklearn.preprocessing import LabelEncoder from sklearn.preprocessing import OrdinalEncoder from keras.models import Sequential from keras.layers import Dense # load the dataset def load_dataset(filename): # load the dataset as a pandas DataFrame data = read_csv(filename, header=None) # retrieve numpy array dataset = data.values # split into input (X) and output (y) variables X = dataset[:, :-1] y = dataset[:,-1] # format all fields as string X = X.astype(str) # reshape target to be a 2d array y = y.reshape((len(y), 1)) return X, y # prepare input data def prepare_inputs(X_train, X_test): oe = OrdinalEncoder() oe.fit(X_train) X_train_enc = oe.transform(X_train) X_test_enc = oe.transform(X_test) return X_train_enc, X_test_enc # prepare target def prepare_targets(y_train, y_test): le = LabelEncoder() le.fit(y_train) y_train_enc = le.transform(y_train) y_test_enc = le.transform(y_test) return y_train_enc, y_test_enc # load the dataset X, y = load_dataset('breast-cancer.csv') # split into train and test sets X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33, random_state=1) # prepare input data X_train_enc, X_test_enc = prepare_inputs(X_train, X_test) # prepare output data y_train_enc, y_test_enc = prepare_targets(y_train, y_test) # define the  model model = Sequential() model.add(Dense(10, input_dim=X_train_enc.shape[1], activation='relu', kernel_initializer='he_normal')) model.add(Dense(1, activation='sigmoid')) # compile the keras model model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy']) # fit the keras model on the dataset model.fit(X_train_enc, y_train_enc, epochs=100, batch_size=16, verbose=2) # evaluate the keras model _, accuracy = model.evaluate(X_test_enc, y_test_enc, verbose=0) print('Accuracy: %.2f' % (accuracy*100))

在任何現(xiàn)代硬件（無需GPU）上運行示例，只需幾秒鐘即可使模型適應模型。

在每個訓練時期結束時報告模型的損失和準確性，最后報告測試數(shù)據(jù)集上模型的準確性。

鑒于學習算法的隨機性，您的具體結果會有所不同。嘗試運行該示例幾次。

在這種情況下，我們可以看到該模型在測試數(shù)據(jù)集上達到了約70％的精度。

不錯，因為只有某些輸入變量存在序數(shù)關系，對于某些輸入變量才存在序數(shù)關系，因此在編碼中不遵循序數(shù)關系。 

... Epoch 95/100 - 0s - loss: 0.5349 - acc: 0.7696 Epoch 96/100 - 0s - loss: 0.5330 - acc: 0.7539 Epoch 97/100 - 0s - loss: 0.5316 - acc: 0.7592 Epoch 98/100 - 0s - loss: 0.5302 - acc: 0.7696 Epoch 99/100 - 0s - loss: 0.5291 - acc: 0.7644 Epoch 100/

數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調用 initGeetest 進行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調，回調的第一個參數(shù)驗證碼對象，之后可以使用它調用相應的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務器是否宕機 new_captcha: data.new_captcha, // 用于宕機時表示是新驗證碼的宕機 product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }