99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話:13121318867

登錄
首頁精彩閱讀從三個方向去預(yù)測大數(shù)據(jù)發(fā)展的未來趨勢
從三個方向去預(yù)測大數(shù)據(jù)發(fā)展的未來趨勢
2018-08-17
收藏

從三個方向去預(yù)測大數(shù)據(jù)發(fā)展的未來趨勢

技術(shù)的發(fā)展,讓這個世界每天都在源源不斷地產(chǎn)生數(shù)據(jù),隨著大數(shù)據(jù)概念被提出,這個技術(shù)逐漸發(fā)展成為一個行業(yè),并被不斷看好。那么大數(shù)據(jù)行業(yè)的未來發(fā)展如何?三個方向預(yù)測大數(shù)據(jù)技術(shù)發(fā)展未來趨勢:

(一)社交網(wǎng)絡(luò)和物聯(lián)網(wǎng)技術(shù)拓展了數(shù)據(jù)采集技術(shù)渠道

經(jīng)過行業(yè)信息化建設(shè),醫(yī)療、交通、金融等領(lǐng)域已經(jīng)積累了許多內(nèi)部數(shù)據(jù),構(gòu)成大數(shù)據(jù)資源的“存量”;而移動互聯(lián)網(wǎng)和物聯(lián)網(wǎng)的發(fā)展,大大豐富了大數(shù)據(jù)的采集渠道,來自外部社交網(wǎng)絡(luò)、可穿戴設(shè)備、車聯(lián)網(wǎng)、物聯(lián)網(wǎng)及政府公開信息平臺的數(shù)據(jù)將成為大數(shù)據(jù)增量數(shù)據(jù)資源的主體。當(dāng)前,移動互聯(lián)網(wǎng)的深度普及,為大數(shù)據(jù)應(yīng)用提供了豐富的數(shù)據(jù)源。

另外,快速發(fā)展的物聯(lián)網(wǎng),也將成為越來越重要的大數(shù)據(jù)資源提供者。相對于現(xiàn)有互聯(lián)網(wǎng)數(shù)據(jù)雜亂無章和價值密度低的特點,通過可穿戴、車聯(lián)網(wǎng)等多種數(shù)據(jù)采集終端,定向采集的數(shù)據(jù)資源更具利用價值。例如,智能化的可穿戴設(shè)備經(jīng)過幾年的發(fā)展,智能手環(huán)、腕帶、手表等可穿戴正在走向成熟,智能鑰匙扣、自行車、筷子等設(shè)備層出窮,國外 Intel、Google、Facebook,國內(nèi)百度、京東、小米等有所布局。

企業(yè)內(nèi)部數(shù)據(jù)仍是大數(shù)據(jù)主要來源,但對外部數(shù)據(jù)的需求日益強烈。當(dāng)前,有 32%的企業(yè)通過外部購買所獲得的數(shù)據(jù);只有18%的企業(yè)使用政府開放數(shù)據(jù)。如何促進(jìn)大數(shù)據(jù)資源建設(shè),提高數(shù)據(jù)質(zhì)量,推動跨界融合流通,是推動大數(shù)據(jù)應(yīng)用進(jìn)一步發(fā)展的關(guān)鍵問題之一。

總體來看,各行業(yè)都在致力于在用好存量資源的基礎(chǔ)之上,積極拓展新興數(shù)據(jù)收集的技術(shù)渠道,開發(fā)增量資源。社交媒體、物聯(lián)網(wǎng)等大大豐富了數(shù)據(jù)采集的潛在渠道,理論上,數(shù)據(jù)獲取將變得越來越容易。

(二) 分布式存儲和計算技術(shù)夯實了大數(shù)據(jù)處理的技術(shù)基礎(chǔ)

數(shù)據(jù)存儲和計算技術(shù)是整個大數(shù)據(jù)系統(tǒng)的基礎(chǔ)。

在存儲方面,2000 年左右谷歌等提出的文件系統(tǒng)(GFS)、以及隨后的 Hadoop 的分布式文件系統(tǒng) HDFS(Hadoop Distributed File System)奠定了大數(shù)據(jù)存儲技術(shù)的基礎(chǔ)。

與傳統(tǒng)系統(tǒng)相比,GFS/HDFS 將計算和存儲節(jié)點在物理上結(jié)合在一起,從而避免在數(shù)據(jù)密集計算中易形成的 I/O吞吐量的制約,同時這類分布式存儲系統(tǒng)的文件系統(tǒng)也采用了分布式架構(gòu),能達(dá)到較高的并發(fā)訪問能力。

在計算方面,谷歌在 2004 年公開的 MapReduce 分布式并行計算技術(shù),是新型分布式計算技術(shù)的代表。一個 MapReduce 系統(tǒng)由廉價的通用服務(wù)器構(gòu)成,通過添加服務(wù)器節(jié)點可線性擴展系統(tǒng)的總處理能力(Scale Out),在成本和可擴展性上都有巨大的優(yōu)勢。

(三) 深度神經(jīng)網(wǎng)絡(luò)等新興技術(shù)開辟大數(shù)據(jù)分析技術(shù)的新時代

大數(shù)據(jù)數(shù)據(jù)分析技術(shù),一般分為聯(lián)機分析處理(OLAP,OnlineAnalytical Processing)和數(shù)據(jù)挖掘(Data Mining)兩大類。

OLAP技術(shù),一般基于用戶的一系列假設(shè),在多維數(shù)據(jù)集上進(jìn)行交互式的數(shù)據(jù)集查詢、關(guān)聯(lián)等操作(一般使用 SQL 語句)來驗證這些假設(shè),代表了演繹推理的思想方法。

數(shù)據(jù)挖掘技術(shù),一般是在海量數(shù)據(jù)中主動尋找模型,自動發(fā)展隱藏在數(shù)據(jù)中的模式(Pattern),代表了歸納的思想方法。

傳統(tǒng)的數(shù)據(jù)挖掘算法主要有:

(1)聚類,又稱群分析,是研究(樣品或指標(biāo))分類問題的一種統(tǒng)計分析方法,針對數(shù)據(jù)的相似性和差異性將一組數(shù)據(jù)分為幾個類別。屬于同一類別的數(shù)據(jù)間的相似性很大,但不同類別之間數(shù)據(jù)的相似性很小,跨類的數(shù)據(jù)關(guān)聯(lián)性很低。企業(yè)通過使用聚類分析算法可以進(jìn)行客戶分群,在不明確客戶群行為特征的情況下對客戶數(shù)據(jù)從不同維度進(jìn)行分群,再對分群客戶進(jìn)行特征提取和分析,從而抓住客戶特點推薦相應(yīng)的產(chǎn)品和服務(wù)。

(2)分類,類似于聚類,但是目的不同,分類可以使用聚類預(yù)先生成的模型,也可以通過經(jīng)驗數(shù)據(jù)找出一組數(shù)據(jù)對象的共同點,將數(shù)據(jù)劃分成不同的類,其目的是通過分類模型將數(shù)據(jù)項映射到某個給定的類別中,代表算法是 CART(分類與回歸樹)。企業(yè)可以將用戶、產(chǎn)品、服務(wù)等各業(yè)務(wù)數(shù)據(jù)進(jìn)行分類,構(gòu)建分類模型,再對新的數(shù)據(jù)進(jìn)行預(yù)測分析,使之歸于已有類中。分類算法比較成熟,分類準(zhǔn)確率也比較高,對于客戶的精準(zhǔn)定位、營銷和服務(wù)有著非常好的預(yù)測能力,幫助企業(yè)進(jìn)行決策。

(3)回歸,反映了數(shù)據(jù)的屬性值的特征,通過函數(shù)表達(dá)數(shù)據(jù)映射的關(guān)系來發(fā)現(xiàn)屬性值之間的一覽關(guān)系。它可以應(yīng)用到對數(shù)據(jù)序列的預(yù)測和相關(guān)關(guān)系的研究中。企業(yè)可以利用回歸模型對市場銷售情況進(jìn)行分析和預(yù)測,及時作出對應(yīng)策略調(diào)整。在風(fēng)險防范、反欺詐等方面也可以通過回歸模型進(jìn)行預(yù)警。

傳統(tǒng)的數(shù)據(jù)方法,不管是傳統(tǒng)的 OLAP 技術(shù)還是數(shù)據(jù)挖掘技術(shù),都難以應(yīng)付大數(shù)據(jù)的挑戰(zhàn)。首先是執(zhí)行效率低。傳統(tǒng)數(shù)據(jù)挖掘技術(shù)都是基于集中式的底層軟件架構(gòu)開發(fā),難以并行化,因而在處理 TB 級以上數(shù)據(jù)的效率低。其次是數(shù)據(jù)分析精度難以隨著數(shù)據(jù)量提升而得到改進(jìn),特別是難以應(yīng)對非結(jié)構(gòu)化數(shù)據(jù)。

在人類全部數(shù)字化數(shù)據(jù)中,僅有非常小的一部分(約占總數(shù)據(jù)量的 1%)數(shù)值型數(shù)據(jù)得到了深入分析和挖掘(如回歸、分類、聚類),大型互聯(lián)網(wǎng)企業(yè)對網(wǎng)頁索引、社交數(shù)據(jù)等半結(jié)構(gòu)化數(shù)據(jù)進(jìn)行了淺層分析(如排序),占總量近 60%的語音、圖片、視頻等非結(jié)構(gòu)化數(shù)據(jù)還難以進(jìn)行有效的分析。

所以,大數(shù)據(jù)分析技術(shù)的發(fā)展需要在兩個方面取得突破,一是對體量龐大的結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)進(jìn)行高效率的深度分析,挖掘隱性知識,如從自然語言構(gòu)成的文本網(wǎng)頁中理解和識別語義、情感、意圖等;二是對非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析,將海量復(fù)雜多源的語音、圖像和視頻數(shù)據(jù)轉(zhuǎn)化為機器可識別的、具有明確語義的信息,進(jìn)而從中提取有用的知識。

目前來看,以深度神經(jīng)網(wǎng)絡(luò)等新興技術(shù)為代表的大數(shù)據(jù)分析技術(shù)已經(jīng)得到一定發(fā)展。

神經(jīng)網(wǎng)絡(luò)是一種先進(jìn)的人工智能技術(shù),具有自身自行處理、分布存儲和高度容錯等特性,非常適合處理非線性的以及那些以模糊、不完整、不嚴(yán)密的知識或數(shù)據(jù),十分適合解決大數(shù)據(jù)挖掘的問題。

典型的神經(jīng)網(wǎng)絡(luò)模型主要分為三大類:第一類是以用于分類預(yù)測和模式識別的前饋式神經(jīng)網(wǎng)絡(luò)模型,其主要代表為函數(shù)型網(wǎng)絡(luò)、感知機;第二類是用于聯(lián)想記憶和優(yōu)化算法的反饋式神經(jīng)網(wǎng)絡(luò)模型,以 Hopfield的離散模型和連續(xù)模型為代表。第三類是用于聚類的自組織映射方法,以 ART 模型為代表。不過,雖然神經(jīng)網(wǎng)絡(luò)有多種模型及算法,但在特定領(lǐng)域的數(shù)據(jù)挖掘中使用何種模型及算法并沒有統(tǒng)一的規(guī)則,而且人們很難理解網(wǎng)絡(luò)的學(xué)習(xí)及決策過程。

隨著互聯(lián)網(wǎng)與傳統(tǒng)行業(yè)融合程度日益加深,對于 web 數(shù)據(jù)的挖掘和分析成為了需求分析和市場預(yù)測的重要段。Web 數(shù)據(jù)挖掘是一項綜合性的技術(shù),可以從文檔結(jié)構(gòu)和使用集合中發(fā)現(xiàn)隱藏的輸入到輸出的映射過程。

目前研究和應(yīng)用比較多的是 PageRank 算法。PageRank是Google算法的重要內(nèi)容,于2001年9月被授予美國專利,以Google創(chuàng)始人之一拉里·佩奇(Larry Page)命名。PageRank 根據(jù)網(wǎng)站的外部鏈接和內(nèi)部鏈接的數(shù)量和質(zhì)量衡量網(wǎng)站的價值。這個概念的靈感,來自于學(xué)術(shù)研究中的這樣一種現(xiàn)象,即一篇論文的被引述的頻度越多,一般會判斷這篇論文的共識性和質(zhì)量越高。

需要指出的是,數(shù)據(jù)挖掘與分析的行業(yè)與企業(yè)特點強,除了一些最基本的數(shù)據(jù)分析工具外,目前還缺少針對性的、一般化的建模與分析工具。各個行業(yè)與企業(yè)需要根據(jù)自身業(yè)務(wù)構(gòu)建特定數(shù)據(jù)模型。數(shù)據(jù)分析模型構(gòu)建的能力強弱,成為不同企業(yè)在大數(shù)據(jù)競爭中取勝的關(guān)鍵。


數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼,搜微信號:CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1:配置參數(shù) // 參數(shù)2:回調(diào),回調(diào)的第一個參數(shù)驗證碼對象,之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須,不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務(wù)器是否宕機 new_captcha: data.new_captcha, // 用于宕機時表示是新驗證碼的宕機 product: "float", // 產(chǎn)品形式,包括:float,popup width: "280px", https: true // 更多配置參數(shù)說明請參見:http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'!'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'!'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }