
制造企業(yè)利用文本挖掘提煉商業(yè)價值
通常,制造工程師會花大把時間將數(shù)字吃透,以確保生產(chǎn)和效率水平始終處于高峰。而今,一家總部位于美國休斯頓的石油設(shè)備生產(chǎn)公司的管理者們發(fā)現(xiàn),分析對象除了數(shù)字,還可以是文字。結(jié)合對這兩者的分析,可令制造工藝更加優(yōu)化。
“我們始終期望改進運作模式,使其變得更好、更高效?!盕MC科技的全球業(yè)務(wù)卓越經(jīng)理Dan Fortune如是說,“而我們發(fā)現(xiàn),文本挖掘能幫助我們有效實現(xiàn)這一目標(biāo)?!?a href='/map/wenbenwajue/' style='color:#000;font-size:inherit;'>文本挖掘需將單詞與詞組基于共性進行分類。在FMC科技,這些由制造報告中提取出的字詞,將由SAS公司的統(tǒng)計發(fā)現(xiàn)軟件JMP進行編碼及分析。
FMC科技是全球石油與天然氣設(shè)備(包括海底采油、地面井頭、海洋裝卸作業(yè)等專業(yè)系統(tǒng))工業(yè)領(lǐng)導(dǎo)者,其生產(chǎn)的一些設(shè)備具備在海底近兩英里左右深處運行的性能。精確分析工程設(shè)計及產(chǎn)品性能,是制造商須長期具備的技能——因為原設(shè)計在安裝時需調(diào)整,所以常易成為可變因素。在FMC,遍布16個國家的30處生產(chǎn)設(shè)施需要持續(xù)分析與故障排除的服務(wù)。
“制造商有很多,可我們是海底設(shè)備制造商中的佼佼者。”Fortune表示。Fortune表示,在過去幾年中,F(xiàn)MC科技運用JMP軟件的統(tǒng)計和圖形分析法,使生產(chǎn)工藝更加高效,并大幅節(jié)約了成本。
“如果我想知道2013年的所有生產(chǎn)缺陷區(qū)域,兩個員工可能要奮斗整整一周,才能做好。但有了JMP,我15分鐘就可以搞定,還可以反復(fù)實驗、研究,或者以不同的視角來查看結(jié)果?!盕ortune說。
文本挖掘:額外優(yōu)勢
對工程師們來說,研究數(shù)字是很自然的,但在分析中加入字詞能獲取額外信息,有助于改善優(yōu)先次序及問題解決型任務(wù)。FMC西部地區(qū)海底系統(tǒng)規(guī)劃經(jīng)理GokhanSarpkaya如是說。
“我們的目標(biāo)是減少或消除變異?!盨arpkaya表示,“文本數(shù)據(jù)在這方面具有優(yōu)勢。它能讓我們的分析更加深入,有助于決策者做出更優(yōu)決策?!?/span>
用于分析的文本是從公司數(shù)據(jù)庫內(nèi)的書面描述中取得,用以標(biāo)識生產(chǎn)流程中的問題、不規(guī)律性或其它情況。“當(dāng)問題發(fā)生的時候,對于它的書面描述通常十分準(zhǔn)確?!盕ortune說,“通過文本挖掘,我們可為相似問題分類,即使它們的書面表達方式不同。這樣我們就能找出未達到應(yīng)有水平的項目。這種方式有助實現(xiàn)重大轉(zhuǎn)變?!?/span>
Fortune可運用JMP選取文本,并使用咨詢公司Adsurgo提供的JMP定制腳本,將數(shù)據(jù)發(fā)送至開源代碼的統(tǒng)計與圖形分析軟件R,實現(xiàn)所需的文本挖掘功能。所得結(jié)果將被返回JMP,以便進行進一步分析與可視化。該腳本允許用戶自定義JMP數(shù)據(jù)在R軟件中的處理方式,且無需編碼。
Fortune表示,文本挖掘功能解決了“詞干”和“停用詞”問題,使分析結(jié)果更加精準(zhǔn)。為了解決詞干問題,每個單詞都被拆解到詞根,不論它們在特定句子中呈現(xiàn)何種形式。例如,“正在行走”“行走過”和“行走著”都可由詞干“行走”統(tǒng)一歸類。“同一詞干的詞,結(jié)尾雖不一樣,表達的意思卻是一致的?!盕ortune這樣解釋。
而停用詞,則會在分析開始前從文本中剔除,因為它們對文本內(nèi)容并不構(gòu)成實際意義。這類詞包括定冠詞、代詞、“在……上”等之類的介詞?!拔覀冇肦來降低文本數(shù)據(jù)的復(fù)雜度,并將其構(gòu)成一個數(shù)字矩陣,以便JMP的后續(xù)分析操作。這就是奇異值分解法。”Fortune表示,“R將數(shù)據(jù)返回到JMP,JMP則完成所有的分析工作?!币坏﹫?zhí)行以上操作,文本中出現(xiàn)的相似語句就會被分類、添加到專供JMP分析的數(shù)值型數(shù)據(jù)中。
文本分析能幫助解決數(shù)字系統(tǒng)中經(jīng)常彈出的錯誤。Fortune說:“編碼與文本不匹配的情況常常發(fā)生。”Fortune還表示,如數(shù)字編碼分類太寬泛,對某一問題的具體判斷無法獲準(zhǔn)取得編碼,就會出現(xiàn)錯誤。另外,如編碼過于具體,導(dǎo)致系統(tǒng)對指定條目的正確名稱決策混亂,也會出現(xiàn)錯誤。“編碼過多,將給數(shù)據(jù)錄入人員的工作帶來困難,使他們無法正確進入條目?!盕ortune說。
用圖形分析文本與數(shù)據(jù),讓管理者們得以在重復(fù)性操作過程中發(fā)現(xiàn)趨勢,例如:從預(yù)期起止時間與實際起止時間之間的差異,以及由于個人行為而產(chǎn)生的品質(zhì)不等。在FMC,這些原本都被視作艱巨任務(wù)?!叭绻矣形鍌€項目,其中包含15000個活動,也就意味著它們包含著75000個條目?!盕ortune解釋道。
“對于人來說,要投身如此巨大的數(shù)據(jù)分析中,并結(jié)合傳達相同意義的不同文本作出分析,基本上是不可能的。但運用文本挖掘與聚類分析,雖也要用一些時間,但比起‘近乎不可能’來已是很好了?!?/span>
轉(zhuǎn)向JMP
JMP還是FMC公司項目優(yōu)先級劃分的重要軟件。項目優(yōu)先級劃分是保持領(lǐng)先競爭力的一個重要步驟。此外,JMP也被培訓(xùn)主管們運用于六西格瑪項目,以保障生產(chǎn)成品質(zhì)量,降低成本、提高客戶滿意度。Sarpkaya說,在去年轉(zhuǎn)用JMP之前,他已用Minitab軟件對新用戶培訓(xùn)六西格瑪體系長達十年。
“我十分高興轉(zhuǎn)用JMP?!彼f,“這款軟件的客戶定制程度較高。你可以撰寫自己的文本,這樣更靈活些?!?/span>
Fortune說,他極力支持在FMC公司的六西格瑪項目中使用JMP軟件,因為他曾在之前就職的公司里運用JMP軟件,并認(rèn)為其功能卓越。此前,F(xiàn)ortune曾以一個項目為FMC節(jié)省了大量成本;這有助于FMC的高管們認(rèn)同JMP軟件。
Fortune說,能源業(yè)的設(shè)備造價高昂、體積龐大,有些僅零件就重達80噸;而被認(rèn)定有缺陷、不可靠的零件必須報廢,因此FMC公司在某些工程案例中為單個零件就花費了25萬美金或更多。2011年進入董事會并擔(dān)任質(zhì)量部門領(lǐng)導(dǎo)后,F(xiàn)ortune對判定設(shè)備服務(wù)期限的測量方法存在懷疑,便運用JMP做了一次分析。
“我運用JMP的圖形分析功能計算出結(jié)果,并向公司里許多完全不懂統(tǒng)計技術(shù)的人展示,成功地讓他們明白:這中間存在許多問題,我們需要第三方對零件進行評估。”隨后的第三方評估結(jié)果顯示,一些曾被指明報廢的零件是可靠的,可以回歸使用。其中兩個零件的總價值達到40萬美元。由此,F(xiàn)ortune為FMC公司節(jié)省了近50萬美元的成本。
不過,F(xiàn)ortune表示,JMP的最大優(yōu)勢在于其提升FMC公司“滿足客戶期望”能力的方式?!拔覀児旧a(chǎn)的海底設(shè)備,設(shè)計幾乎全都是獨一無二的?!彼@樣解釋,“但我們也制造地面設(shè)備,這在市場上的競爭激烈得難以想象。所以,進行精準(zhǔn)預(yù)測以確保永遠滿足客戶的需求,對我們來說就尤為重要?!?/span>
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動態(tài)隨機一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗與 t 檢驗:差異、適用場景與實踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計學(xué)領(lǐng)域,假設(shè)檢驗是驗證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實踐指南 在 Python 進行 HTTP 網(wǎng)絡(luò)請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點數(shù)據(jù)的科學(xué)計數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點數(shù)據(jù)時的科學(xué)計數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計” 與 “用戶體驗 ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準(zhǔn)營銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價值 在數(shù)據(jù)驅(qū)動決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類分析:從操作實踐到業(yè)務(wù)價值挖掘 在數(shù)據(jù)分析場景中,聚類分析作為 “無監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價值導(dǎo)向 統(tǒng)計模型作為數(shù)據(jù)分析的核心工具,并非簡單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10