
大數(shù)據(jù)圈盤點:你不知道的15個新技術(shù)
對于大數(shù)據(jù)來說,業(yè)界這幾周算是比較忙碌的。因為很多初創(chuàng)公司和一些老牌的公司都推出了數(shù)據(jù)分析和數(shù)據(jù)管理產(chǎn)品,以及更新了現(xiàn)有產(chǎn)品,提供更豐富的功能與性能。
雖然這些技術(shù)都還只是藍(lán)圖規(guī)劃,但是一些常見的主題還是對其貫穿始終:為用戶提供簡單的獲得數(shù)據(jù)的訪問方式,更好的管理大規(guī)模數(shù)據(jù)以及預(yù)先分析的功能,例如Spark、HAWQ 和 Geode等新興的大數(shù)據(jù)技術(shù)來實現(xiàn)更多的功能。
下面一起來看看吸引眼球的十五項大數(shù)據(jù)公告。雖然羅列了很多,但還不是全部內(nèi)容,只是最近在加利福尼亞州圣何塞市Strata + Hadoop World大會上亮相的部分技術(shù)。
Altiscale Insight Cloud
Altiscale作為大數(shù)據(jù)服務(wù)的提供者,最近推出了Altiscale Insight Cloud產(chǎn)品,是一個自主服務(wù)型的數(shù)據(jù)分析服務(wù)產(chǎn)品,能夠幫助業(yè)務(wù)分析人員使用BI工具等類似于Tableau和Excel的產(chǎn)品,實現(xiàn)快速的數(shù)據(jù)湖查詢,而不需要IT部門投入過多的精力參與。
Altiscal Insight Cloud可以驅(qū)動SQL查詢、動態(tài)可視化、實時儀表板和其他報告及分析能力。它不再因為聚合數(shù)據(jù)而需要一個單獨的關(guān)系數(shù)據(jù)存儲,繞過了價格昂貴的、專屬的數(shù)據(jù)庫系統(tǒng)。
Altiscale還與Tableau建立了一個戰(zhàn)略聯(lián)盟,能夠讓Altiscale客戶通過使用Tableau的數(shù)據(jù)可視化軟件與Altiscale服務(wù)結(jié)合的產(chǎn)品,而實現(xiàn)數(shù)據(jù)發(fā)現(xiàn)的應(yīng)用服務(wù)。
AtScale Intelligence Platform 4.0
AtScale軟件提供了一種使用流行的商業(yè)智能工具的方法,包括Tableau和Qlik,可以訪問存儲在Hadoop集群中的數(shù)據(jù)。該軟件創(chuàng)建了Hadoop和第三方工具之間的語義層級,從本上來說,通過聯(lián)機分析處理服務(wù)器而實現(xiàn)多維分析的方法。
4.0版本提供了多達(dá)100項的新功能和系統(tǒng)改進(jìn),其中許多都與企業(yè)的安全和性能有關(guān)。
新AtScale Hybrid Query Service(AtScale混合查詢服務(wù)),是可以在本地實現(xiàn)支持SQL和MDX查詢語言的商業(yè)智能工具。由于許多企業(yè)和組織在其整個組織中使用多種BI工具,所以說AtScale對于SQL和MDX的支持也就意味著這些企業(yè)不需要在其用戶的電腦中下載新的客戶端軟件或者自定義驅(qū)動了。
BlueData EPIC Spring Release
BlueData EPIC是一個大數(shù)據(jù)即服務(wù)平臺,旨在減少實施大數(shù)據(jù)技術(shù)的復(fù)雜性,例如Hadoop 和Spark。
EPIC發(fā)布的春季版本中提供了幾十種的新性能和功能改進(jìn),包括在多租戶部署中提高服務(wù)的安全性和服務(wù)質(zhì)量。該清單包括更多的顆粒資源管理控制、基于QoS的分配、性能優(yōu)化和用于多租戶部署的配額執(zhí)行功能。
新版本還支持更大范圍的大數(shù)據(jù)的應(yīng)用程序和工具,包括用于數(shù)據(jù)管理和安全管理的Cloudera Navigator以及Ranger,用于大規(guī)模并行處理分析的HAWQ,以及Geode、Cassandra和用于實時分析的Kafka。
Domo商務(wù)云
Domo 商務(wù)云是一個對于商務(wù)管理應(yīng)用的生態(tài)系統(tǒng),包括免費和付費的預(yù)包裝,為企業(yè)決策者提供數(shù)據(jù)、見解和訪問的支持,以及所有可以幫助找到商務(wù)問題的答案,甚至是特定行業(yè)和特定角色中。該公司提供云計算的免費版本,如果用戶需要存儲更多的數(shù)據(jù)或者獲取更先進(jìn)的企業(yè)功能,例如行政管制得話需要另行付費。
Domo最近還推出了應(yīng)用商店,帶有1000多個商務(wù)管理應(yīng)用以擴張商務(wù)云系統(tǒng),并開始了Domo應(yīng)用發(fā)布合作伙伴計劃,為第三方獨立軟件開發(fā)商開發(fā)商務(wù)云軟件。
Domo 同時還推出了Buzz,是與商務(wù)云一起工作的社交協(xié)作平臺,以及允許商務(wù)云訪問任何移動設(shè)備的Domo Mobile產(chǎn)品。
Kyvos Insights With Azure HDInsight
Kyvos Insights的旗艦產(chǎn)品運行在Hadoop系統(tǒng)上,并允許企業(yè)用戶通過可視化,探索和分析的存儲在Hadoop中大數(shù)據(jù)的可大規(guī)模擴展的聯(lián)機分析處理(OLAP)系統(tǒng)。
該Kyvos軟件現(xiàn)在與Azure的HDInsight協(xié)同工作,微軟基于云計算的Hadoop的平臺,可以幫助Azure HDInsight用戶通過部署Kyvos從而實現(xiàn)分析任務(wù)。
IBM云數(shù)據(jù)服務(wù)的Looker Blocks
Looker為基于Web的商業(yè)智能平臺提供了訪問駐留在數(shù)據(jù)庫中或者云中的數(shù)據(jù)。去年,該公司推出了被稱為Looker Blocks的可復(fù)用、可定制的業(yè)務(wù)邏輯組件,可以創(chuàng)建完整的業(yè)務(wù)分析查詢功能。
Looker與IBM合作開發(fā)了一套Looker Blocks組件,通過利用IBM的云數(shù)據(jù)服務(wù)實現(xiàn)更加簡化和可定制的數(shù)據(jù)分析服務(wù)。根據(jù)這兩家公司所稱,該組合將允許客戶在數(shù)天內(nèi)部署一個完整的數(shù)據(jù)平臺。
MapD Technologies GPU-Powered Database
MapD Technologies推出了新的數(shù)據(jù)庫和可視化分析軟件,利用圖形處理單元芯片幫助數(shù)據(jù)分析師交互式地探索大型數(shù)據(jù)集。
通過利用GPU的強大動力,數(shù)據(jù)庫可以在每臺服務(wù)器將近4000個核上并行查詢,比領(lǐng)先的內(nèi)存數(shù)據(jù)庫提供更快的性能。使用帶有MapD Immerse分析前端工具的數(shù)據(jù)庫可以更快的處理復(fù)雜數(shù)據(jù)庫的可視性問題。(例如政治捐款,在此地圖上就可以看到數(shù)據(jù))。
MemSQL 5
MemSQL開發(fā)了其同名的數(shù)據(jù)庫,用于事務(wù)處理和實時分析。在該公司公布的最新版本MemSQL 5中,提供了一系列的新技術(shù)和增強的功能,以提高軟件的數(shù)據(jù)庫、數(shù)據(jù)倉庫和流媒體的工作負(fù)載性能。
在新版本中,通過混合的事務(wù)處理或者分析處理將事務(wù)和分析合并成一個單一的數(shù)據(jù)庫,以支持OLTP和OLAP查詢。用戶可以在大量的寫入負(fù)載中實現(xiàn)實時查詢。借助于可插拔的認(rèn)證模塊以及類似于Kerberos的工具提高了安全性。用戶可以通過使用MemSQL Streamliner來部署Apache Spark,創(chuàng)建了用戶可視化界面的實時數(shù)據(jù)管道,同時消除了批量的ETL任務(wù)。
Paxata Spring ’16 Release
Paxata的自適應(yīng)數(shù)據(jù)準(zhǔn)備平臺,建立在Apache Spark之上,運行在最優(yōu)化的Hadoop環(huán)境中,提供了數(shù)據(jù)集成、數(shù)據(jù)質(zhì)量、語義豐富、協(xié)作和管理能力。
新版本提高了軟件的能力,通過先進(jìn)filtergrams綜合數(shù)據(jù)分析,跨越列寬數(shù)據(jù)集的細(xì)粒度搜索,對于數(shù)據(jù)發(fā)現(xiàn)與統(tǒng)計選項的新的選擇,以及在Hadoop壓縮文件下集成復(fù)雜的嵌套JSON/XML數(shù)據(jù),為用戶提供了連接信息的能力。
該版本還包括新的IT控制,以提高系統(tǒng)的管理、安全性和規(guī)模。
Platfora Big Data Discovery 5.2
Platfora是一個很大的數(shù)據(jù)發(fā)現(xiàn)平臺,建立本地的Apache Hadoop 和Spark。最新的版本”democratizes(民主化)”大數(shù)據(jù),使其更容易使用現(xiàn)有的商業(yè)智能工具來訪問Hadoop數(shù)據(jù)。
新版本提供了本地Tableau直接出口,用以準(zhǔn)備和豐富數(shù)據(jù)集成的Tableau (畫面數(shù)據(jù)提取)數(shù)據(jù)到Tableau桌面和Tableau服務(wù)器中。其他前端BI工具可以通過lens-accelerated SQL訪問Platfora數(shù)據(jù),通過SparkSQL和ODBC處理查詢。
Platfora5.2也直接運行在Hadoop集群上,除了傳統(tǒng)的專用配置外,可以助其更容易地利用現(xiàn)有的硬件,并重新調(diào)整計算資源。用于數(shù)據(jù)可視化的Platfora Vizboard已經(jīng)得到增強,能夠”更加智能化”的默認(rèn)可視化效果。
Ryft One Cluster
Ryft系統(tǒng)開發(fā)的硬件/軟件設(shè)備,使用FPGA的并行處理能力處理器加速了tb和pb級別的數(shù)據(jù)分析能力。
新版的Ryft One Cluster使用帶有開放API接口的混合FPGA / x86計算架構(gòu),該公司表示,這可以實現(xiàn)以100倍的速度加速大數(shù)據(jù)生態(tài)系統(tǒng)的發(fā)展,同時降低70%的成本。
新系統(tǒng)擴展了數(shù)據(jù)分析性能和存儲線性,處理分析速度達(dá)到每秒200GB以上。它可以作為一個獨立的群集或作為現(xiàn)有的Apache Spark系統(tǒng)或其他大數(shù)據(jù)生態(tài)系統(tǒng)的一部分工作。
Tableau 9.3
Tableau公布了Tableau 9.3全面上市,在最新的版本中,其最受歡迎的數(shù)據(jù)可視化軟件可以永久地連接桌面功能和Snowflake Elastic Data數(shù)據(jù)倉庫。
Tableau Desktop 的”一直連接”功能可以更容易的與他人分享結(jié)果,同時留存在流動的分析過程中。該軟件的全球地圖覆蓋功能獲得了顯著地提升,新數(shù)據(jù)添加到了地址解析數(shù)據(jù)庫和Tableau Map Service中。
在9.3版本中,本地連接到本機連接到Snowflake Computing的云數(shù)據(jù)倉庫系統(tǒng)更易于Tableau用戶執(zhí)行簡單和復(fù)雜數(shù)據(jù)探索和分析。這兩家公司還將繼續(xù)合作,幫助客戶將他們的業(yè)務(wù)分析過程轉(zhuǎn)移到云端。
Talena ActiveRx
Telena的軟件是用于在測試和開發(fā)、備份和恢復(fù)、歸檔和法規(guī)遵從和災(zāi)難恢復(fù)系統(tǒng)中優(yōu)化數(shù)據(jù)。
Talena最近推出了ActiveRx,是一款新的預(yù)測分析軟件,它采用機器學(xué)習(xí)算法和數(shù)據(jù)可視化,以更好地管理大數(shù)據(jù)的管理工作負(fù)載,和更準(zhǔn)確地預(yù)測數(shù)據(jù)的可用性。
ActiveX軟件還提供了”驅(qū)動副本分析”功能,企業(yè)可以用它來把閑置的備份數(shù)據(jù)轉(zhuǎn)換成有用的資產(chǎn)。
Tamr Apache Spark Compatibility
Tamr的數(shù)據(jù)統(tǒng)一平臺擁有豐富的企業(yè)的數(shù)據(jù) ,匯聚了從企業(yè)內(nèi)部和外部的數(shù)百甚至數(shù)千數(shù)據(jù)源進(jìn)行分析。
Tamr宣布其軟件可與Apache Spark兼容,其內(nèi)存處理引擎可用于擴展機器學(xué)習(xí),Tamr表示,其補充了機器驅(qū)動方式以備企業(yè)數(shù)據(jù)之需。
Tamr也在開發(fā)開放的接口和核心組件來支持由Spark驅(qū)動的數(shù)據(jù)監(jiān)護(hù)系統(tǒng)。
Trifacta Photon
Trifacta開發(fā)了”數(shù)據(jù)爭論”軟件,揭開了光子計算框架,新技術(shù)的核心用戶界面,在大規(guī)模的內(nèi)存數(shù)據(jù)集時為用戶提供了豐富的交互式數(shù)據(jù)探索和轉(zhuǎn)型的經(jīng)驗。
數(shù)據(jù)爭論是原始數(shù)據(jù)的轉(zhuǎn)化過程,將復(fù)雜的數(shù)據(jù)轉(zhuǎn)換成清潔的,結(jié)構(gòu)化的數(shù)據(jù)轉(zhuǎn)化成可分析的,這是數(shù)據(jù)分析過程中最具有挑戰(zhàn)性的一個部分。
Photon產(chǎn)品符合Apache Arrow內(nèi)存數(shù)據(jù)架構(gòu)的說明要求,在與數(shù)據(jù)內(nèi)容交互的時候為用戶提供了即時的反饋。Photon 引擎在更高水平的計算中實現(xiàn)更多的數(shù)據(jù)探索。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動態(tài)隨機一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗與 t 檢驗:差異、適用場景與實踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計學(xué)領(lǐng)域,假設(shè)檢驗是驗證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點數(shù)據(jù)的科學(xué)計數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點數(shù)據(jù)時的科學(xué)計數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計” 與 “用戶體驗 ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準(zhǔn)營銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價值 在數(shù)據(jù)驅(qū)動決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類分析:從操作實踐到業(yè)務(wù)價值挖掘 在數(shù)據(jù)分析場景中,聚類分析作為 “無監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價值導(dǎo)向 統(tǒng)計模型作為數(shù)據(jù)分析的核心工具,并非簡單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10