
物聯(lián)網(wǎng)數(shù)據(jù)分析何時迎娶超級計算機?
物聯(lián)網(wǎng)的設備和傳感器會產(chǎn)生許多數(shù)據(jù),分析這些數(shù)據(jù)獲取可行性見解將會有遠大的發(fā)展前景。
在許多企業(yè)滿足于使用小額的投資,慢條斯理地進行數(shù)據(jù)分析的同時,那些需要進行及時和復雜的數(shù)據(jù)分析的企業(yè)正從超級計算機工業(yè)的快速成長和進步中獲益。
來自于Cray公司高級副總裁兼首席策略官Barry Bolding的建議:當數(shù)據(jù)分析的時效性是關鍵因素時,企業(yè)應該考慮選擇超級計算資源方案來進行數(shù)據(jù)分析。
Bolding 說:“假設你要將物聯(lián)網(wǎng)的數(shù)據(jù)快速輸入模擬器或者數(shù)據(jù)模型,及時得到輸出數(shù)據(jù)時,在這種應用場景下,使用Cray資源(超級計算資源)而不是云資源可以非常有效的消除系統(tǒng)的瓶頸。”
這是一個重要的區(qū)別,因為許多企業(yè)的首選是云計算解決方案,即便數(shù)據(jù)分析速度的對于他們來說比較重要,他們認為有著更快的時效性的超級計算意味著更高的成本。
然而,據(jù)IDC公司分析師Steve Conway分析,企業(yè)之所以做出這樣的判斷,是因為他們沒有充分認識到高性能的計算資源給他們帶來的成本收益的權(quán)衡。Conway認為:”即便在大公司,他們對于超級計算機的觀念已經(jīng)過時了?!?
當然這并不是說每個企業(yè)都要用超級計算機來進行物聯(lián)網(wǎng)的數(shù)據(jù)分析。最終,需要極快地分析數(shù)據(jù)的企業(yè)將會選擇超級計算機,與此同時,那些對物聯(lián)網(wǎng)數(shù)據(jù)分析的時效性要求不高的企業(yè)可以放心地選擇基于云計算的方案。
Cray成立于1972年,是世界上歷史悠久,規(guī)模最大的超級計算機提供商之一,它占有31%的市場份額,世界上10臺最強的超級計算機有5臺是它制造的。
這些年Cray公司和超級計算機市場總體發(fā)展艱難,受到了高性能、低成本的小型計算機的沖擊。但是最近這個形勢發(fā)生了變化?!笆袌鲩_始分裂了,而且持續(xù)進行分裂,這因為更多的企業(yè)購買超級計算機,而不是只有政府部門?!盋onway說。
他表示,曾經(jīng)動輒數(shù)百萬美金,只有少數(shù)的政府機構(gòu)使用的超級計算機,現(xiàn)在80%的超級計算機成本已經(jīng)低于100,000美元。
這使得許多的企業(yè)能夠購買得起這些超級計算機。盡管從成本經(jīng)濟的角度考慮,不同的用戶使用場景對超級計算機的青睞程度有著巨大的不同。
物 聯(lián)網(wǎng)就是一個非常合適使用超級計算機的用戶場景。因為它會產(chǎn)生大量的數(shù)據(jù)。但是不同的企業(yè)對物聯(lián)網(wǎng)有著不同的使用方式,這個使得我們很難劃定一個清晰的界 限決定什么時候應該使用超級計算資源。在大多數(shù)的情況下,一些公司可以接受等待一段較長時間的數(shù)據(jù)分析報告,然而對于其他的公司來說,數(shù)據(jù)分析的時效性是 日常工作中至關重要的部分。
例如連網(wǎng)汽車,它依靠大量的交通數(shù)據(jù)來回傳遞來進行操作。超級計算機將從每個連網(wǎng)的汽車獲取交通數(shù)據(jù),經(jīng)過實時交通數(shù)據(jù)管理平臺分析上傳來的數(shù)據(jù),然后回傳路線信息給相應的汽車。
如果分析不是實時進行,回傳給汽車的線路信息總是慢于移動中的汽車,那么這些信息對于行進中的汽車是毫無用處的。所以Conway認為這就是為什么交通數(shù)據(jù)分析是典型的使用超級計算機的用戶場景,因為它完全依賴于實時的數(shù)據(jù)分析洞察。
對于時效性的要求是確定某一個用戶場景是否需要超級計算機的決定因素。Bolding總結(jié)了三個標準來說明什么情況下需要超級計算機。
Bolding 認為從長期的使用的角度來看,一次性投資超級計算機的解決方案和每個月須付高額的服務費的云方案相比較,超級計算機的成本更便宜。
這是基于Cray公司內(nèi)部成本預測模型進行的分析,還未公布于眾,對其正確性持有保留的觀點。但是Conway認同還是有些用戶場景選擇采用超級計算機,可以取得成本效益率的最大化。
有大量的用戶場景是不符合Bolding使用超級計算機的標準,例如商店用來追蹤用戶進進出出的傳感數(shù)據(jù)就不需要超級計算機。Bolding在一定程度上也認同這樣的情形。
Bolding說: “對于很多的物聯(lián)網(wǎng)應用來說,分析速度并不是關鍵, 所以我們對中小企業(yè)的用戶還沒進行推廣使用超級計算機”
但是有趣的是有些公司盡管切合Bolding使用超級計算機的標準,他們?nèi)匀粵]有選擇使用超級計算機。
例 如,雖然GE公司在它的科研中有使用超級計算資源,但是GE公司的一定數(shù)量的應用仍是依賴于基于云的Predix engine分析其物聯(lián)網(wǎng)感應器產(chǎn)生的數(shù)據(jù)。GE公司很多部門每天都在使用Predix來進行數(shù)據(jù)分析。他們并沒有感受到更快處理速度的超級計算機因高投 資帶來的高效益。
“依我們觀察,大部分的用戶場景并不需要額外的計算能力”, GE運輸軟件首席技術官Wesley Mukai說,”目前我們還沒有看到需要更多計算能力的應用。”
Mukai說依賴于云會給開發(fā)帶來了一定的困難,程序員需要修復當某個組件宕機的情況,但是成本經(jīng)濟學要求他們只能采用云解決方案。
Conway認為實際情況也許不是這樣的,他認為真正的原因是缺乏對當今超級計算機能力和成本有個清晰的認識。 Conway說: “在那些已經(jīng)開始使用超級計算機的公司中,有很大一部分的公司之前就有使用超級計算資源?!?
然而,Conway又說了:”你不必過度采購, 即便人們不使用超級計算機來處理大量的數(shù)據(jù),事情還是照樣的做?!?
事實上,云解決方案很適合大數(shù)據(jù)的使用場景,Conway以諾華制藥公司為例解釋,這家公司就使用Amazon Web Services在4個小時的時間內(nèi)分析2千1百萬個分子。
Conway 認為這不是物聯(lián)網(wǎng)的使用場景, 但是這是一個很好的運用云計算解決方案的例子。因為每個測試分子任務都有自己獨立的進程,即便一個組件宕機了,整個分析任務不需要重現(xiàn)啟動。而且諾華公司 只需要支付一定金額大概20,000美元就可以完成這些測試,如果可以耐心等待更長的時間輸出分析結(jié)果,他們將付的更少。
關鍵的因素是分析速度。云可以處理大量數(shù)據(jù),在一定程度上也可以處理復雜問題,但是如果分析速度是關鍵因素,公司期望在幾分鐘或者幾秒鐘而不是4個小時或者1個小時內(nèi)獲取答案,那么我們就需要超級計算機的解決方案。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關鍵? 在循環(huán)神經(jīng)網(wǎng)絡(RNN)家族中,長短期記憶網(wǎng)絡(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預測分析中的應用:從數(shù)據(jù)查詢到趨勢預判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領域中,準確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應對策略? 長短期記憶網(wǎng)絡(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學方法在市場調(diào)研數(shù)據(jù)中的深度應用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準確性的基礎 ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03