
大數(shù)據(jù)時(shí)代,人們?cè)絹碓角宄匾庾R(shí)到數(shù)據(jù)中蘊(yùn)藏的價(jià)值。海量數(shù)據(jù)的擁有者——運(yùn)營商,銀行,物流公司等等——都在積極地尋求方法利用手中的數(shù)據(jù)。然而,爆發(fā)式增長的數(shù)據(jù)量正在超出傳統(tǒng)數(shù)據(jù)庫的處理能力。為了應(yīng)對(duì)這樣的增長,企業(yè)需要對(duì)數(shù)據(jù)庫進(jìn)行升級(jí)。基于小型機(jī)DB2或Oracle架構(gòu)的傳統(tǒng)數(shù)據(jù)庫升級(jí)依靠縱向擴(kuò)展,也就是通過提升服務(wù)器本身的性能來提高處理能力。更大更強(qiáng)的服務(wù)器價(jià)格高昂,但性能的提升卻是有限的。企業(yè)為自己的傳統(tǒng)數(shù)據(jù)庫做縱向擴(kuò)展只會(huì)錢越花越多,收效越來越少。
Hadoop架構(gòu)很好地解決了擴(kuò)展的瓶頸,它設(shè)計(jì)部署在經(jīng)濟(jì)實(shí)惠的硬件上,通過橫向擴(kuò)展,便可無限地提升數(shù)據(jù)處理能力?;?a href='/map/hadoop/' style='color:#000;font-size:inherit;'>Hadoop的大數(shù)據(jù)軟件因?yàn)槠鋸?qiáng)大的處理能力和高性價(jià)比在數(shù)據(jù)分析市場嶄露頭角。星環(huán)信息科技(上海)有限公司(以下簡稱星環(huán)科技)的企業(yè)級(jí)一站式大數(shù)據(jù)綜合平臺(tái)Transwarp Data Hub (以下簡稱TDH)是Hadoop發(fā)行版中的佼佼者。它在國內(nèi)擁有最多的上線案例,已經(jīng)為眾多企業(yè)解決了棘手的大數(shù)據(jù)難題。TDH下的分布式內(nèi)存分析引擎Transwarp Inceptor將數(shù)據(jù)和計(jì)算中間結(jié)果放在內(nèi)存中,依靠內(nèi)存的高速讀寫,克服了大數(shù)據(jù)處理中常見的I/O瓶頸,加上它對(duì)SQL和R的全面支持,可以輕松地應(yīng)對(duì)海量數(shù)據(jù)的復(fù)雜計(jì)算,極大地提高了數(shù)據(jù)處理的效率,解放了企業(yè)的生產(chǎn)力。然而,星環(huán)科技的開發(fā)人員并不滿足于此。
一方面,Transwarp Inceptor運(yùn)行在JVM上,使用大內(nèi)存的時(shí)候,對(duì)GC的影響非常嚴(yán)重,用戶體驗(yàn)不夠平滑;另一方面,完全使用內(nèi)存作為存儲(chǔ)介質(zhì)價(jià)格較高。星環(huán)科技的開發(fā)人員發(fā)現(xiàn),隨著硬件技術(shù)的發(fā)展,SSD的讀寫速度已經(jīng)遠(yuǎn)遠(yuǎn)甩開機(jī)械硬盤,向內(nèi)存靠攏,但在價(jià)格上,SSD相對(duì)昂貴的內(nèi)存有巨大的優(yōu)勢,這讓SSD成為了內(nèi)存強(qiáng)有力的競爭者?!拔覀兿嘈?,大數(shù)據(jù)分析應(yīng)該朝著更經(jīng)濟(jì)更普及的方向發(fā)展,”星環(huán)科技的CTO孫元浩說道,“我們的產(chǎn)品為企業(yè)提高生產(chǎn)力,而將內(nèi)存替換為SSD可以在不影響性能的情況下提升用戶體驗(yàn)并且降低成本?!?/span>
在為某省級(jí)移動(dòng)通信運(yùn)營商部署大數(shù)據(jù)解決方案時(shí),星環(huán)科技第一次將SSD作為內(nèi)存的替代應(yīng)用在了生產(chǎn)中。在比較市場上各品牌型號(hào)的固態(tài)盤的信息之后,星環(huán)科技最終選擇了具備高穩(wěn)定性技術(shù)的英特爾? 固態(tài)盤DC S3500系列來構(gòu)建新的解決方案。對(duì)于固態(tài)盤而言,影響讀寫能力的最大因素在于固態(tài)盤的控制芯片和固件算法。英特爾在芯片技術(shù)和固件算法上的優(yōu)勢讓英特爾? 固態(tài)盤DC S3500系列在處理讀寫任務(wù)時(shí)擁有得天獨(dú)厚的優(yōu)勢。英特爾? 固態(tài)盤DC S3500系列具有50微秒的順序讀取延遲,在 99.9% 的時(shí)間內(nèi) 500 微秒的最大讀取延遲,以及4KB 隨機(jī)讀取性能高達(dá)75,000的每秒輸入輸出操作次數(shù)(IOPS)。同時(shí)具備較低的有功讀取 功率(小于 1.3 瓦)。這些特點(diǎn)保證了英特爾? 固態(tài)盤數(shù)據(jù)存儲(chǔ)和讀取的出色能力以及在頻繁操作情況下的性能穩(wěn)定性。作為一款優(yōu)秀的企業(yè)級(jí)固態(tài)盤,除了高性能優(yōu)勢之外,英特爾? 固態(tài)盤DC S3500系列還具備防止數(shù)據(jù)丟失和損壞的特性。英特爾? 固態(tài)盤DC S3500系列提供能夠端到端數(shù)據(jù)安全性保護(hù),使數(shù)據(jù)從進(jìn)入硬盤到離開硬盤時(shí)刻處于保護(hù)之中。此外,英特爾還將固態(tài)盤將NAND、SRAM和DRAM內(nèi)存的高級(jí)錯(cuò)誤糾正方案結(jié)合起來,通過奇偶校驗(yàn)、循環(huán)冗余檢查(CRC),以及邏輯塊地址(LBA)標(biāo)記驗(yàn)證來保護(hù)傳輸中的數(shù)據(jù)。它還使用高級(jí)加密標(biāo)準(zhǔn)(AES)和增強(qiáng)的電源損耗保護(hù)進(jìn)一步增強(qiáng)數(shù)據(jù)的安全性。英特爾? 固態(tài)盤DC S3500系列產(chǎn)品穩(wěn)定的高性能使星環(huán)科技的解決方案得到了有效的保障。而英特爾? 固態(tài)盤技術(shù)人員專業(yè)而嚴(yán)謹(jǐn)?shù)那捌诋a(chǎn)品測試、積極響應(yīng)的售后服務(wù)方案和強(qiáng)大的渠道供貨能力,更是為項(xiàng)目提供了強(qiáng)有力的后盾。
與傳統(tǒng)方案相比,星環(huán)科技的解決方案有如下幾點(diǎn)優(yōu)勢:
該省級(jí)移動(dòng)運(yùn)營商單月清單數(shù)量在1000億條左右,每月數(shù)據(jù)量達(dá)100TB,完全超出了原有數(shù)據(jù)庫架構(gòu)的處理能力,無法為用戶提供優(yōu)質(zhì)服務(wù)。星環(huán)科技的解決方案使用了800G英特爾? 固態(tài)盤DC S3500替換了256G的內(nèi)存。測試環(huán)境下,在單張表統(tǒng)計(jì)操作中,傳統(tǒng)方案需耗時(shí)230秒,Transwarp Inceptor僅耗時(shí)3秒,查詢速度是原有方案的76倍。而在多張數(shù)據(jù)表關(guān)聯(lián)操作中,傳統(tǒng)方案需耗時(shí)414秒,Transwarp Inceptor耗時(shí)僅為26秒,原有方案的效率僅是新方案的6%??梢?,在處理大數(shù)據(jù)量、復(fù)雜賬單等情況的環(huán)境下,新解決方案完勝傳統(tǒng)方案,能夠應(yīng)對(duì)移動(dòng)通信行業(yè)爆發(fā)式的大數(shù)據(jù)需求,支持?jǐn)?shù)百萬用戶同時(shí)在線查詢,極大地提高用戶體驗(yàn)。跟完全使用內(nèi)存的Transwarp Inceptor相比,這套解決方案的性能也不遑多讓,英特爾? 固態(tài)盤 DC S3500表現(xiàn)出了與內(nèi)存極其接近的反應(yīng)速度:
從成本上來看,256G內(nèi)存成本在2萬元左右,而5000元左右便能買到800G的DC S3500,絕對(duì)成本大約下降了75%;從價(jià)格容量比來看,內(nèi)存所需成本約為78元/GB,而DC S3500 800G僅為6.25元/GB,單位容量成本大約下降了92%,大大降低方案成本。這個(gè)項(xiàng)目中,SSD顯示了其極大的優(yōu)越性——在極少影響性能的情形下,SSD可以為企業(yè)節(jié)省開支。
“我們已經(jīng)習(xí)慣了用SSD來替代傳統(tǒng)硬盤?,F(xiàn)在我們欣喜地看到SSD的技術(shù)已經(jīng)發(fā)展到可以在某些場景取代內(nèi)存?!庇⑻貭柗且资源鎯?chǔ)解決方案事業(yè)部中國區(qū)市場總監(jiān)劉鋼說道,“大數(shù)據(jù)是現(xiàn)在最熱門的應(yīng)用之一,大數(shù)據(jù)分析處理所需要的持續(xù)、多路并發(fā)、快速讀寫對(duì)計(jì)算平臺(tái)帶來了極大的挑戰(zhàn),基于傳統(tǒng)硬盤的存儲(chǔ)方案已成為瓶頸。英特爾? 固態(tài)盤具備快速穩(wěn)定的并發(fā)讀寫能力、出色的可靠性以及數(shù)據(jù)保護(hù)功能,尤其是最新發(fā)布的基于NVMe的PCIe SSD是大數(shù)據(jù)分析處理的完美搭配。我們很高興能夠和星環(huán)科技合作,提供一流的大數(shù)據(jù)解決方案。希望在未來,使用SSD作為緩存的大數(shù)據(jù)解決方案會(huì)成為行業(yè)標(biāo)準(zhǔn)?!彪S著SSD技術(shù)的成熟,其性價(jià)比優(yōu)勢將繼續(xù)增強(qiáng)。未來,星環(huán)科技還將繼續(xù)與英特爾緊密合作,借助性能出色的企業(yè)級(jí)固態(tài)盤來有效增強(qiáng)解決方案,為用戶提供更優(yōu)質(zhì)、更可靠的服務(wù)。請(qǐng)拭目以待。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
AI 浪潮下的生存與進(jìn)階: CDA數(shù)據(jù)分析師—開啟新時(shí)代職業(yè)生涯的鑰匙(深度研究報(bào)告、發(fā)展指導(dǎo)白皮書) 發(fā)布機(jī)構(gòu):CDA數(shù)據(jù)科 ...
2025-07-13LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對(duì)策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動(dòng)力,CDA(Certifie ...
2025-07-04