
谷歌教你學(xué) AI-第三講簡單易懂的估算器
Google Cloud發(fā)布了名為"AI Adventures"的系列視頻,用簡單易懂的語言讓初學(xué)者了解機(jī)器學(xué)習(xí)的方方面面。
觀看更多國外公開課,點(diǎn)擊"閱讀原文"
前兩期我們分別講到了機(jī)器學(xué)習(xí)的概念和具體步驟,今天讓我們來看到第三講,使用TensorFlow Estimator進(jìn)行機(jī)器學(xué)習(xí)。
CDA字幕組目前在對該系列視頻進(jìn)行漢化,之后將繼續(xù)連載,歡迎關(guān)注和支持~
主講人還是來自Google Cloud的開發(fā)人員,華裔小哥Yufeng Guo。讓我們在學(xué)習(xí)AI知識的同時(shí)來提高英語吧。
附有中文字幕的視頻如下:
AI Adventures--第三講簡單易懂的估算器
針對不方便打開視頻的小伙伴,CDA字幕組也貼心的整理了文字版本,如下:
機(jī)器學(xué)習(xí)棒極了,除了它迫使你用到高數(shù)的時(shí)候。進(jìn)行機(jī)器學(xué)習(xí)的工具得到了極大地發(fā)展,訓(xùn)練模型也從未如此簡單。
我們將利用對數(shù)據(jù)集的理解,而不是對純粹數(shù)學(xué)知識的理解,以此編程得出模型,最終得出相應(yīng)見解。在本期視頻,我們將用少部分代碼訓(xùn)練一個(gè)簡單的分類器。
TensorFlow Estimator
為了訓(xùn)練分類器,我們將使用TensorFlow。谷歌的開源機(jī)器學(xué)習(xí)庫。 TensorFlow有很龐大的API,但是我們要關(guān)注的是當(dāng)中的高級API,稱為Estimator(估算器)。
Estimator為我們把訓(xùn)練循環(huán)打包起來,這樣我們可以通過配置來訓(xùn)練模型,而不是手工進(jìn)行編程。從而去除了許多樣板文件,讓我們在更高的層面上思考抽象問題。意味著我們能夠參與到機(jī)器學(xué)習(xí)有意思的部分,而不用為各個(gè)細(xì)節(jié)而煩惱。
由于目前為止我們只涉及到線性模型,因此將主要圍繞該部分。之后會(huì)再看到這個(gè)例子,用來拓展其能力。
鳶尾花分類
這次我們將構(gòu)建一個(gè)模型,用來區(qū)分三種類似的花。我感覺這可能沒有上一期區(qū)分葡萄酒和啤酒那么有意思,但是這些花朵更難區(qū)分,從而構(gòu)成一項(xiàng)有趣的挑戰(zhàn)。
我們將對不同種類的鳶尾花進(jìn)行區(qū)分。我不確定我能區(qū)分鳶尾花和玫瑰,但是我們模型的目的是區(qū)分出山鳶尾(Iris Setosa)、雜色鳶尾(Iris Versicolour)和維吉尼亞鳶尾(Iris Virginica)。
山鳶尾(Iris Setosa)、雜色鳶尾(Iris Versicolour)和維吉尼亞鳶尾(Iris Virginica)
我們有鳶尾花卉數(shù)據(jù)集,包括花瓣和花萼長寬度數(shù)據(jù)。這四列將作為我們的“特征”。
加載數(shù)據(jù)
在引入TensorFlow和NumPy后,我們將加載數(shù)據(jù)集,使用TensorFlow的函數(shù)load_csv_with_header 。數(shù)據(jù)或者特征呈現(xiàn)為浮點(diǎn)數(shù)。同時(shí)每行數(shù)據(jù)或?qū)ο蟮臉?biāo)簽記錄為整型數(shù)(integer):0、1、2,對應(yīng)三種花。
我輸出了加載的結(jié)果,現(xiàn)在我們可以用命名的屬性訪問訓(xùn)練數(shù)據(jù)和相關(guān)標(biāo)簽或?qū)ο蟆?
建立模型
下面我們開始建模。首先我們需要設(shè)定特征列。特征列決定了進(jìn)入模型的數(shù)據(jù)類型。我們將用到四維特征列表示特征,稱為“flower_features”。
使用估算器(estimator)建模超級簡單。使用`tf.estimator.LinearClassifier`,我們可以通過傳遞之前創(chuàng)建的特征列讓模型實(shí)例化;該模型得出的不同輸出數(shù)字,比如這里是3;還有存儲(chǔ)模型訓(xùn)練過程和輸出文件的目錄。這使TensorFlow能夠在有需要的情況下,繼續(xù)進(jìn)行之前的訓(xùn)練。
輸入函數(shù)
分類對象能幫我們記錄狀態(tài),然后我們差不多可以進(jìn)入訓(xùn)練階段了。最后還有一個(gè)連接模型和訓(xùn)練數(shù)據(jù)的部分,即輸入函數(shù)。輸入函數(shù)的作用是創(chuàng)建TensorFlow操作,從而從模型中生成數(shù)據(jù)。
如今我們從原始數(shù)據(jù)到輸入函數(shù),通過數(shù)據(jù),通過特征列的映射,進(jìn)入到模型中。注意,我們對特征使用定義特征列的相同名稱。這樣數(shù)據(jù)才會(huì)是相關(guān)聯(lián)的。
運(yùn)行訓(xùn)練
現(xiàn)在可以開始訓(xùn)練了。為了訓(xùn)練模型,我們要運(yùn)行classifier.train()函數(shù),當(dāng)中輸入函數(shù)作為實(shí)參。就這樣我們把數(shù)據(jù)集和模型連接起來。
訓(xùn)練函數(shù)處理訓(xùn)練回路,對數(shù)據(jù)集進(jìn)行迭代,一步步提高性能。就這樣我們完成了一千個(gè)訓(xùn)練步驟! 我們的數(shù)據(jù)集不大,因此完成得很快。
評估
現(xiàn)在該對結(jié)果進(jìn)行評估了。我們可以使用之前相同的分類對象,因?yàn)檫@具有模型的訓(xùn)練狀態(tài)。為了確定我們模型的性能,我們可以運(yùn)行classifier.evaluate()函數(shù),傳遞到測試數(shù)據(jù)集,從返回的指標(biāo)中提取準(zhǔn)確率。
我們的準(zhǔn)確率為96.66%! 很不錯(cuò)嘛!!
Estimators: 簡單的工作流程
讓我們停下來,回顧一下使用Estimator我們目前實(shí)現(xiàn)了哪些成果。
Estimator API 為我們提供了很棒的工作流程,從獲取原始數(shù)據(jù),通過輸入函數(shù)傳遞,設(shè)立特色列和模型結(jié)構(gòu),運(yùn)行訓(xùn)練,進(jìn)行評估。容易理解的框架讓我們能夠思考數(shù)據(jù)和其性能,而不是依賴數(shù)學(xué),這太棒了!
下期預(yù)告
在本期視頻中,我們看到了TensorFlow高級API中的一個(gè)簡單版本,使用Estimator。在之后的視頻中,我們將探究如何對模型進(jìn)行擴(kuò)展,使用更多復(fù)雜的數(shù)據(jù),添加更多高級特征。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動(dòng)力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03