99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁精彩閱讀一文帶你讀懂特征工程
一文帶你讀懂特征工程
2020-04-20
收藏

無論它的規(guī)模和大小如何，數(shù)據(jù)已經(jīng)成為現(xiàn)代企業(yè)、公司和組織的一流資產(chǎn)。任何一個智能系統(tǒng)都需要數(shù)據(jù)驅(qū)動，無論它多復雜。每個智能系統(tǒng)的核心，均有一個或多個基于某種數(shù)據(jù)學習方法的算法，例如機器學習、深度學習或統(tǒng)計方法，它們利用這些數(shù)據(jù)來生成知識，并在一段時間內(nèi)提供智能洞察。


一文帶你讀懂<a href='/map/tezheng/' style='color:#000;font-size:inherit;'>特征</a>工程


算法本身是非常通用的，但無法在普通原始數(shù)據(jù)上有效發(fā)揮作用。因此，需要從原始數(shù)據(jù)中提取有意義的特征，我們才能夠理解和使用這些數(shù)據(jù)。


任何一個智能數(shù)據(jù)洞察系統(tǒng)基本上都由端到端的管道組成：

  • 先是獲取原始數(shù)據(jù)；
  • 然后利用數(shù)據(jù)處理技術，從這些數(shù)據(jù)中獲取、處理和提取有意義的特征和屬性；
  • 最后，通常利用統(tǒng)計模型或機器學習模型等技術對這些特征進行建模。


如果有必要的話，還需要根據(jù)手頭要解決的問題部署該模型以供將來使用。


一文帶你讀懂<a href='/map/tezheng/' style='color:#000;font-size:inherit;'>特征</a>工程


獲取原始數(shù)據(jù)后，直接在數(shù)據(jù)之上構建模型是魯莽的，因為我們無法從普通原始數(shù)據(jù)中獲得想要的結果或性能，而且算法本身也不會自動從中提取有意義的特征。在上圖中指出的數(shù)據(jù)準備方面，在對原始數(shù)據(jù)進行必要的清洗、預處理分析之后，便可以采用多種方法從中提取有意義的屬性或特征。特征工程是一門藝術，也是一門科學，這也是為什么數(shù)據(jù)科學家在建模之前通常會把70%的時間花在數(shù)據(jù)準備上。


“特征工程是將原始數(shù)據(jù)轉化為特征的過程，這些特征可以更好地向預測模型描述潛在問題，從而提高模型對未見數(shù)據(jù)的準確性?！?/span>


-Jason Brownlee博士


這讓我們深入了解了為什么特征工程是一個將數(shù)據(jù)轉化成作為機器學習模型輸入的特征的過程，換句話說，高質(zhì)量的特征有助于提高模型整體的性能和準確性。特征在很大程度上與基本問題相關聯(lián)。


因此，即使機器學習任務在不同的場景中可能是相同的，比如將物聯(lián)網(wǎng)事件分類為正常和異常行為，或者將客戶情緒分類，但每個場景中提取的特征都會有很大的不同。


什么是特征？


特征通常是建立在原始數(shù)據(jù)之上的特定表示，它是一個單獨的可測量屬性，通常用數(shù)據(jù)集中的列表示。對于一個通用的二維數(shù)據(jù)集，每個觀測值由一行表示，每個特征由一列表示，對于每一個觀測具有一個特定的值。


一文帶你讀懂<a href='/map/tezheng/' style='color:#000;font-size:inherit;'>特征</a>工程


因此，就像上圖中的例子一樣，每行通常表示一個特征向量，所有觀察到的全部特征集形成一個二維特征矩陣，也稱為特征集。這類似于用來表示二維數(shù)據(jù)的數(shù)據(jù)框或電子表格。機器學習算法通常與這些數(shù)值矩陣或張量一起工作，因此絕大多數(shù)特征工程技術都是將原始數(shù)據(jù)轉換為一些數(shù)值表達，以便算法理解。


基于數(shù)據(jù)集的特征可以分為兩大類：


  • 固有的原始特征是直接從數(shù)據(jù)集獲得的，沒有額外的數(shù)據(jù)操作。
  • 派生特征通常是從特征工程中獲得的，是從現(xiàn)有的數(shù)據(jù)屬性中提取出來的特征。


舉一個簡單的例子：通過將當前日期減去訂單日期，可以從包含“訂單日期”的訂單數(shù)據(jù)集中創(chuàng)建一個新的“訂單履行日期”。另一方面，在特定的深度學習算法中，特征通常比較簡單，因為算法本身會內(nèi)部轉化數(shù)據(jù)。這種方法需要的數(shù)據(jù)量會比較大，并以犧牲解釋性為代價。然而，在圖像處理或自然語言處理用例中，這樣的折中方法往往是值得的。


對于公司面臨的大多數(shù)其他用例，例如預測分析，特征工程是將數(shù)據(jù)轉換成機器學習所需要的格式。特征的選擇對模型的解釋性和性能都至關重要。如果沒有特征工程，今天的大公司就無法部署精確的機器學習系統(tǒng)。

特征工程


數(shù)值數(shù)據(jù)通常以標量值的形式描述觀測、記錄或測量數(shù)據(jù)。在這里，我們所說的數(shù)值數(shù)據(jù)是指連續(xù)數(shù)據(jù)，而不是通常用來表示分類數(shù)據(jù)的離散數(shù)據(jù)。數(shù)值數(shù)據(jù)也可以是向量值，其中向量中的每個值或?qū)嶓w都可以表示一個特定的特征。整數(shù)和浮點數(shù)是連續(xù)數(shù)值數(shù)據(jù)中最常見和最廣泛使用的數(shù)值數(shù)據(jù)類型。


即使數(shù)值數(shù)據(jù)可以直接輸入機器學習模型，在構建模型之前，仍然需要設計與場景、問題和領域相關的特征。因此，對特性工程的需求仍然存在。

數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個參數(shù)驗證碼對象，之后可以使用它調(diào)用相應的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務器是否宕機 new_captcha: data.new_captcha, // 用于宕機時表示是新驗證碼的宕機 product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }