99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁精彩閱讀淺析機器學習的主題模型和語義分析
淺析機器學習的主題模型和語義分析
2017-12-21
收藏

淺析機器學習的主題模型和語義分析

下面和大家分享下機器學習中ＬＤＡ主題模型的心得，首先從大體上來說假設有400篇文檔，每一篇文檔后面都m個主題，可以是 醫(yī)學，教育，軍事。。 那么對這400篇文檔我們提取出它的詞庫，假設一共有L個詞

那么每一個主題后面都對應著一個詞庫，我們可以理解為每一個主題后面都對應著L維的一個詞分布。好的接下來我們拿到一篇文檔，它后面有個主題分布是m維的，那么我們從這m維的主題分布中根據(jù)分布選出一個主題，然后這個主題背后又有一個L維的詞庫分布，再從這個詞庫分布中選出一個詞。然后不斷地迭代，這就是LDA總體在干的事情?？傮w看上去好像不難，不過具體討論到各個主題分布，以及相應的詞分布時可能就有點繞了，LZ也是花了一些力氣才把它理解
　那么接下來我們先討論一個叫做beta分布東西，那么對它進行一個高維推廣就是一個狄利克雷分布，這個分布，有了這兩個東西，其實說白了，主題分布就一個狄利克雷(簡記為dir)分布乘上一個多項分布，根據(jù)共軛分布，所以就得到一個新的狄利克雷分布，這個dir分布那么他有個參數(shù)alpha需要調參，當這個參數(shù)大于1，那么一篇文檔的主題就越不明顯，如果這參數(shù)小于1，那么這篇文檔的主題就更加突出。接下來我們對于詞分布做同樣的事情，每一個詞都是一個參數(shù)為alpha2的dir分布，好了那么主題分布有了，關于我們文檔主題的個數(shù)m和主題分布alpha和alpha2需要自己調參的，根據(jù)實際情況。
　好了那么詞分布有了，主題分布有了，我們就能做開頭說的事情了，對于一篇文檔，更加dir的主題分布選出主題，再根據(jù)主題后面的詞分布選出詞，那么我們就能選出這個主題在這篇文檔中的詞，或者這個詞的主題關于其中的公式推動請允許LZ偷個懶（哈哈哈）很多文獻中都有相關推導，其實是LZ找不到文檔了
　接下來我們說gibbs采樣，其實也可以說得很簡單，就是假如一篇文檔中有諾干個詞，那么我們把其中一個詞去掉z,然后看其他詞對于主題分布，那么我們就能求在去掉z詞之后詞z的主題分布，然后從這個分布中根據(jù)概率選出一個主題，這就是這個詞的主題。

數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

數(shù)據(jù)分析師考試動態(tài)
數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調用 initGeetest 進行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調，回調的第一個參數(shù)驗證碼對象，之后可以使用它調用相應的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務器是否宕機 new_captcha: data.new_captcha, // 用于宕機時表示是新驗證碼的宕機 product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }