99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話:13121318867

登錄
首頁精彩閱讀除了Hadoop,其他6個你必須知道的熱門大數(shù)據(jù)技術(shù)
除了Hadoop,其他6個你必須知道的熱門大數(shù)據(jù)技術(shù)
2017-06-13
收藏
你知道新的市場領(lǐng)導(dǎo)者和曾經(jīng)的領(lǐng)導(dǎo)者之間的關(guān)鍵區(qū)別是什么嗎?

那就是“數(shù)據(jù)管理”。任何無法處理數(shù)據(jù)并將其投入使用的企業(yè),很可能會讓位給那些能夠更好處理數(shù)據(jù)的。

事實上,大數(shù)據(jù)和其流動性的力量能促使企業(yè)發(fā)展。

大數(shù)據(jù)是大量數(shù)據(jù)的術(shù)語。由于數(shù)據(jù)的來源渠道眾多,導(dǎo)致其太多樣,太龐大,傳統(tǒng)技術(shù)難以處理。這使得利用技術(shù)和基礎(chǔ)設(shè)施對其進(jìn)行有效處理十分重要。

這些數(shù)據(jù)必須通過計算來分析,以揭示模式和趨勢,從而有助于市場和推廣活動。

以下是一些企業(yè)機(jī)構(gòu)利用大數(shù)據(jù)的例子:

? 政府組織通過緊跟社交媒體的動向,從而了解新疾病的出現(xiàn)和爆發(fā)的信息。
? 石油和天然氣公司將鉆探設(shè)備與傳感器集成在一起,以確保安全和促進(jìn)更有效的鉆探。
? 零售商緊跟網(wǎng)絡(luò)點擊動向,并識別行為趨勢來從而改進(jìn)廣告活動。

下面,讓我們來看一下目前可以促進(jìn)商務(wù)的流行大數(shù)據(jù)技術(shù):

1. Apache Spark
Apache Spark 作為大型數(shù)據(jù)處理的最快和通用的引擎,具備流媒體、機(jī)器學(xué)習(xí)、圖形處理和 SQL 支持的內(nèi)置模塊。它支持所有重要的大數(shù)據(jù)語言,包括 Python、Java、R 和 Scala。

它補(bǔ)充了 Hadoop 最初出現(xiàn)的主要意圖。數(shù)據(jù)處理中的主要關(guān)注點是速度,所以需要減少查詢間的等待時間和運(yùn)行程序所需的時間。

盡管 Spark 被用來加速 Hadoop 的計算軟件過程,但它并不是后者的擴(kuò)展。實際上,Spark 使用 Hadoop 有兩個主要目的——存儲和處理。

用例: Apache Spark 對旨在實時跟蹤欺詐性交易的公司來說是一大福音,例如,金融機(jī)構(gòu)、電子商務(wù)行業(yè)和醫(yī)療保健。假設(shè)你的錢包丟了,同時信用卡被盜刷了一大筆錢,那么該技術(shù)可以幫助你及時掌握卡被盜刷的時間和地點。

2. Apache Flink
如果你知道 Apache Spark 和 Apache Hadoop,那么你很可以也聽過 Apache FlinkFlink 是由德國柏林工業(yè)大學(xué)的 Volker Markl 教授創(chuàng)建的一個社區(qū)驅(qū)動開源框架。在德語中,Flink 的意思是“敏捷的”,具有高性能和極其精確的數(shù)據(jù)流。

Flink 的功能受到 MPP 數(shù)據(jù)庫技術(shù)(如聲明性、查詢優(yōu)化器、并行內(nèi)存、外核算法)和Hadoop MapReduce 技術(shù)(如大規(guī)模擴(kuò)展、用戶定義函數(shù)、閱讀模式)等功能的啟發(fā)。

3. NiFi
NiFi 是一種強(qiáng)大且可拓展的工具,它能夠以最小的編碼和舒適的界面來存儲和處理來自各種數(shù)據(jù)源的數(shù)據(jù)。這還不是全部,它還可以輕松地不同系統(tǒng)之間的數(shù)據(jù)流自動化。如果 NiFi 不包含你需要的任何源,那么通過簡潔的 Java 代碼你可以編寫自己的處理器。


NiFi 的專長在于數(shù)據(jù)提取,這是過濾數(shù)據(jù)的一個非常有用的手段。由于 NiFi 是美國國家安全局的項目,其安全性也是值得稱道的。

4. Kafka
Kafka 是必不可少的,因為它是各種系統(tǒng)之間的強(qiáng)大粘合劑,從 Spark,NiFi 到第三方工具。可以實現(xiàn)高效的數(shù)據(jù)流實時處理。Kafka 具有開放源碼,可水平伸縮,有容錯能力,快速安全的特點。

作為一個分布式系統(tǒng),Kafka 存儲消息在不同主題中,并且主題本身在不同的節(jié)點上進(jìn)行分區(qū)和復(fù)制。

當(dāng) Kafka 最初是建立在 LinkedIn 的分布式消息系統(tǒng),但如今是 Apache 軟件基金會的一部分,并被成千上萬的公司使用。

用例: Pinterest(照片分享網(wǎng)站,堪稱圖片版的Twitter) 使用 Apache Kafka。該公司建立了名為 Secor 的平臺,使用 Kafka、Storm 和 Hadoop 來進(jìn)行實時數(shù)據(jù)分析,并將數(shù)據(jù)輸入到 MemSQL 中。

5. Apache Samza
Apache Samza 主要目的是為了擴(kuò)展 Kafka 的能力,并集成了容錯、持久消息、簡單 API、托管狀態(tài)、可擴(kuò)展、處理器隔離和可伸縮的特性。

它使用 Apache Hadoop YARN 用于容錯,同時使用 Kafka 進(jìn)行通訊。因此,可以說它是一個分布式流處理框架。它還提供了一個可插入的 API 來運(yùn)行 Samza 和其他通訊系統(tǒng)。

6. Cloud Dataflow
Cloud Dataflow 是谷歌的云數(shù)據(jù)處理服務(wù),它集成了基于批處理和流數(shù)據(jù)處理任務(wù)的簡單編程模型。


使用這個工具,無需擔(dān)心操作任務(wù),包括性能優(yōu)化和資源管理。通過其完全托管的服務(wù),可以動態(tài)地提供資源以保持較高的利用率,同時使延遲最小化。

同時通過其統(tǒng)一編程模型方法,無需擔(dān)心編程模型轉(zhuǎn)換成本的。這種方法有助于批量和連續(xù)的流處理,使其易于表達(dá)計算需求,同時無需擔(dān)心數(shù)據(jù)源。

結(jié)論

大數(shù)據(jù)生態(tài)系統(tǒng)不斷發(fā)展,新技術(shù)頻頻出現(xiàn),其中許多技術(shù)進(jìn)一步發(fā)展,超出了 hadoop - spark 集群。這些工具可以用來確保與安全和管理的無縫工作。

數(shù)據(jù)工程師需要利用這些工具來提取、清理和設(shè)置數(shù)據(jù)模式,以幫助數(shù)據(jù)科學(xué)家徹底地探究和檢查它們,并構(gòu)建模型。

ref:

https://hackernoon.com/x-popular-big-data-technologies-that-you-must-know-813452f610b


原文來自 Cabot Technology Solutions
編譯 CDA 編譯團(tuán)隊
本文為  CDA 數(shù)據(jù)分析師原創(chuàng)作品,轉(zhuǎn)載需授權(quán)


數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼,搜微信號:CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1:配置參數(shù) // 參數(shù)2:回調(diào),回調(diào)的第一個參數(shù)驗證碼對象,之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須,不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時表示是新驗證碼的宕機(jī) product: "float", // 產(chǎn)品形式,包括:float,popup width: "280px", https: true // 更多配置參數(shù)說明請參見:http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'!'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'!'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }