大數(shù)據(jù)時代下的生活_數(shù)據(jù)分析師

最近幾年IT都成長在一個大數(shù)據(jù)的環(huán)境下，大家動不動就要分布式，想想就搞大數(shù)據(jù)。有的網(wǎng)站明明訪問量幾臺普通的服務(wù)器就可以搞定，非要弄分布式，掛著云計算的名字，卻做著屌絲的事情。

　　雖然，大環(huán)境如此，但是為了沾上這種高大上的氣息，也著手看一下這方面的書。

　　剛剛看完《大數(shù)據(jù)時代》這本書，感覺收獲也蠻多的。習慣性的整理了一下書籍的思維導圖

 　　這本書是國外人寫的，但是內(nèi)容上還比較符合國內(nèi)目前的環(huán)境，畢竟國內(nèi)的大數(shù)據(jù)發(fā)展起步還是要晚一點的。

　　個人吐槽

　　就從法律這方面來說，感覺國內(nèi)的個人隱私方面法律就不怎么看重，因此即便某些軟件或者網(wǎng)站侵犯了用戶的個人隱私，用戶也極少會采取一定的措施。況且很多網(wǎng)站或者軟件在不顯眼或者讓人不在意的地方使用了 聲明許可......簡直是推卸責任的最佳方案。

　　就這點來說，書中提倡，不應(yīng)該采用個人許可這種類似的手段來避免大數(shù)據(jù)的使用責任，而是應(yīng)該由使用方來承擔責任。

　　這樣，使用數(shù)據(jù)的人就會在使用過程中，去了解什么地方可能觸犯了用戶的隱私，什么地方可能會讓用戶陷入尷尬的困境，從而使用模糊化或者匿名化的手段來避免。

　　模糊化就是不給出數(shù)據(jù)的具體內(nèi)容，只是粗略的描述。

　　而匿名化就好理解了，就是隱藏掉用戶的關(guān)鍵信息。

　　就目前的互聯(lián)網(wǎng)公司，也有很多公司根本不注重這種細節(jié)，就我特別反感的一點來說：

　　京東目前應(yīng)該說是互聯(lián)網(wǎng)產(chǎn)業(yè)很火的一個產(chǎn)品了...由于它的東西很多都是京東自營的，質(zhì)量上總是感覺比淘寶要有保障。因此，我買東西能在京東上買，就絕對不會去淘寶。但是京東的購物歷史，卻很是讓人尷尬！

　　比如下面這些標紅的地方，是購物的評價區(qū)

 　　點擊上面的用戶名，就直接可以看到這個人的消費歷史。當然這個歷史記錄是可以關(guān)閉，不顯示的。但是默認上來都是開啟的，一般用戶也不會在意。但是如果查看某XX斯這種尷尬的產(chǎn)品，查看其用戶，就可以發(fā)現(xiàn)很多有意思的購物歷史。

　　這里就當做一個吐槽吧！這雖然不是什么大數(shù)據(jù)，購物歷史應(yīng)該說是簡單的歷史數(shù)據(jù)了。但是這也算是泄露了用戶的隱私吧。

　　大數(shù)據(jù)流程

　　其次呢，我們目前的這種生活環(huán)境，每天會產(chǎn)生大量的數(shù)據(jù)，這些數(shù)據(jù)利用好了，可以為我們進行一定的數(shù)據(jù)可視化，分析或者預(yù)測出生活中一些即將發(fā)生，我們有意去關(guān)注的事情。

　　因此好壞參半，大數(shù)據(jù)的使用還要看具體來做什么。

　　總的來說，其中的商機以及潛在的機會都是非常大的，如何有效的搜集數(shù)據(jù)，如何有效的利用分析數(shù)據(jù)才是目前最應(yīng)該關(guān)注的事情。

　　大體上無非都是這些步驟：

　　1 數(shù)據(jù)一般都是某些應(yīng)用的記錄，或者消息

　　2 有了數(shù)據(jù)，需要對數(shù)據(jù)進行有效的采集，存儲，查詢。

　　這里就涉及到 一定的技術(shù)了，采集需要對業(yè)務(wù)進行分析，在有效的地方進行記錄。存儲需要考慮數(shù)據(jù)的增長量，或者安全性，是否會由于龐大的數(shù)據(jù)而存不存下，是否會因為某些 故障而漏掉信息，這個時候就要高一些分布式存儲之類的了。最后的查詢，可能會設(shè)計到一些搜索啊，MapReduce之類的。

　　3 數(shù)據(jù)已經(jīng)有了，就要對數(shù)據(jù)進行分析了。這一塊基于某些業(yè)務(wù)肯定有不同的搜集方法，具體看業(yè)務(wù)而定吧。

　　4 數(shù)據(jù)的用途：既可以采取數(shù)據(jù)的可視化進行數(shù)據(jù)的直觀展現(xiàn)，也可以利用數(shù)據(jù)進行一些趨勢動向的分析預(yù)測，還可以進行某些特定預(yù)測的預(yù)警等等。

　　大數(shù)據(jù)的時代，重要的是數(shù)據(jù)的搜集，相關(guān)的技術(shù)，以及如何使用這些數(shù)據(jù)。

　　以上的博文，純屬個人的無聊記錄與吐槽，設(shè)計到某些互聯(lián)網(wǎng)的公司的部分，也是純屬希望能夠做得更好。

　　正如書中的最后一句話，凡是過去，皆為序曲。

　　個人理解，過去的歷史數(shù)據(jù)可能就直接丟掉了，但是現(xiàn)在我們應(yīng)該利用這些數(shù)據(jù)，去做更有價值的事情。

最近幾年IT都成長在一個大數(shù)據(jù)的環(huán)境下，大家動不動就要分布式，想想就搞大數(shù)據(jù)。有的網(wǎng)站明明訪問量幾臺普通的服務(wù)器就可以搞定，非要弄分布式，掛著云計算的名字，卻做著屌絲的事情。

　　雖然，大環(huán)境如此，但是為了沾上這種高大上的氣息，也著手看一下這方面的書。

　　剛剛看完《大數(shù)據(jù)時代》這本書，感覺收獲也蠻多的。習慣性的整理了一下書籍的思維導圖

 　　這本書是國外人寫的，但是內(nèi)容上還比較符合國內(nèi)目前的環(huán)境，畢竟國內(nèi)的大數(shù)據(jù)發(fā)展起步還是要晚一點的。

　　個人吐槽

　　就從法律這方面來說，感覺國內(nèi)的個人隱私方面法律就不怎么看重，因此即便某些軟件或者網(wǎng)站侵犯了用戶的個人隱私，用戶也極少會采取一定的措施。況且很多網(wǎng)站或者軟件在不顯眼或者讓人不在意的地方使用了 聲明許可......簡直是推卸責任的最佳方案。

　　就這點來說，書中提倡，不應(yīng)該采用個人許可這種類似的手段來避免大數(shù)據(jù)的使用責任，而是應(yīng)該由使用方來承擔責任。

　　這樣，使用數(shù)據(jù)的人就會在使用過程中，去了解什么地方可能觸犯了用戶的隱私，什么地方可能會讓用戶陷入尷尬的困境，從而使用模糊化或者匿名化的手段來避免。

　　模糊化就是不給出數(shù)據(jù)的具體內(nèi)容，只是粗略的描述。

　　而匿名化就好理解了，就是隱藏掉用戶的關(guān)鍵信息。

　　就目前的互聯(lián)網(wǎng)公司，也有很多公司根本不注重這種細節(jié)，就我特別反感的一點來說：

　　京東目前應(yīng)該說是互聯(lián)網(wǎng)產(chǎn)業(yè)很火的一個產(chǎn)品了...由于它的東西很多都是京東自營的，質(zhì)量上總是感覺比淘寶要有保障。因此，我買東西能在京東上買，就絕對不會去淘寶。但是京東的購物歷史，卻很是讓人尷尬！

　　比如下面這些標紅的地方，是購物的評價區(qū)

 　　點擊上面的用戶名，就直接可以看到這個人的消費歷史。當然這個歷史記錄是可以關(guān)閉，不顯示的。但是默認上來都是開啟的，一般用戶也不會在意。但是如果查看某XX斯這種尷尬的產(chǎn)品，查看其用戶，就可以發(fā)現(xiàn)很多有意思的購物歷史。

　　這里就當做一個吐槽吧！這雖然不是什么大數(shù)據(jù)，購物歷史應(yīng)該說是簡單的歷史數(shù)據(jù)了。但是這也算是泄露了用戶的隱私吧。

　　大數(shù)據(jù)流程

　　其次呢，我們目前的這種生活環(huán)境，每天會產(chǎn)生大量的數(shù)據(jù)，這些數(shù)據(jù)利用好了，可以為我們進行一定的數(shù)據(jù)可視化，分析或者預(yù)測出生活中一些即將發(fā)生，我們有意去關(guān)注的事情。

　　因此好壞參半，大數(shù)據(jù)的使用還要看具體來做什么。

　　總的來說，其中的商機以及潛在的機會都是非常大的，如何有效的搜集數(shù)據(jù)，如何有效的利用分析數(shù)據(jù)才是目前最應(yīng)該關(guān)注的事情。

　　大體上無非都是這些步驟：

　　1 數(shù)據(jù)一般都是某些應(yīng)用的記錄，或者消息

　　2 有了數(shù)據(jù)，需要對數(shù)據(jù)進行有效的采集，存儲，查詢。

　　這里就涉及到 一定的技術(shù)了，采集需要對業(yè)務(wù)進行分析，在有效的地方進行記錄。存儲需要考慮數(shù)據(jù)的增長量，或者安全性，是否會由于龐大的數(shù)據(jù)而存不存下，是否會因為某些 故障而漏掉信息，這個時候就要高一些分布式存儲之類的了。最后的查詢，可能會設(shè)計到一些搜索啊，MapReduce之類的。

　　3 數(shù)據(jù)已經(jīng)有了，就要對數(shù)據(jù)進行分析了。這一塊基于某些業(yè)務(wù)肯定有不同的搜集方法，具體看業(yè)務(wù)而定吧。

　　4 數(shù)據(jù)的用途：既可以采取數(shù)據(jù)的可視化進行數(shù)據(jù)的直觀展現(xiàn)，也可以利用數(shù)據(jù)進行一些趨勢動向的分析預(yù)測，還可以進行某些特定預(yù)測的預(yù)警等等。

　　大數(shù)據(jù)的時代，重要的是數(shù)據(jù)的搜集，相關(guān)的技術(shù)，以及如何使用這些數(shù)據(jù)。

　　以上的博文，純屬個人的無聊記錄與吐槽，設(shè)計到某些互聯(lián)網(wǎng)的公司的部分，也是純屬希望能夠做得更好。

　　正如書中的最后一句話，凡是過去，皆為序曲。

　　個人理解，過去的歷史數(shù)據(jù)可能就直接丟掉了，但是現(xiàn)在我們應(yīng)該利用這些數(shù)據(jù)，去做更有價值的事情。CDA數(shù)據(jù)分析師培訓官網(wǎng)