實(shí)用的大數(shù)據(jù)技巧合集_數(shù)據(jù)分析師

大數(shù)據(jù)應(yīng)用的安全性方面往往被忽視或者被視為次要的需求。但是，數(shù)據(jù)的安全性在數(shù)據(jù)處理過程有著十分巨大的影響。本文將介紹一些保護(hù)大數(shù)據(jù)應(yīng)用的步驟和工具。

隨著大數(shù)據(jù)在不同的領(lǐng)域蔓延，安全方面受到越來越多的關(guān)注。以前，我們使用具有中心控制的安全系統(tǒng)，但這并不足以保護(hù)你的應(yīng)用程序免受入侵。大數(shù)據(jù)帶來了另外一些安全關(guān)切問題，與正常的應(yīng)用程序有很大不同。

在當(dāng)今世界，安全性相關(guān)的探索非常困難,前進(jìn)方向也難以界定。整個軟件系統(tǒng)中實(shí)現(xiàn)合適的端至端安全系統(tǒng)是非常昂貴的?？傆幸粋€突破安全防護(hù)的可能性存在，無論你遵循什么樣的政策或制度都是一樣。企業(yè)進(jìn)行大數(shù)據(jù)項(xiàng)目時應(yīng)制定相應(yīng)的計劃，根據(jù)自己的預(yù)算和政策，采用最現(xiàn)代化新式安全措施。

在大數(shù)據(jù)環(huán)境中的安全風(fēng)險

大數(shù)據(jù)時代出現(xiàn)了數(shù)據(jù)量，數(shù)據(jù)速率和數(shù)據(jù)種類的顯著增長，另外云計算模式下，移動應(yīng)用程序和其他應(yīng)用程序接連增長。通過不同的系統(tǒng)、應(yīng)用和環(huán)境，數(shù)據(jù)從一端流向另一端。這種數(shù)據(jù)爆炸對業(yè)務(wù)發(fā)展洞察力提供了有意義幫助，但它也把商業(yè)數(shù)據(jù)暴露給了各種系統(tǒng)，流程和相關(guān)人員。由于龐大的數(shù)據(jù)量在不同的協(xié)作系統(tǒng)進(jìn)行存儲，處理，分析，總會存在安全漏洞。

大數(shù)據(jù)從不同的源和不同類型的商業(yè)智能工具采集出來以用于分析，并獲得有意義的信息。該信息被決策者訪問和使用。有時候數(shù)據(jù)也可用于協(xié)作。用于協(xié)作和處理的工具也有安全性限制。所以，總有暴露敏感數(shù)據(jù)/內(nèi)容的概率。一旦大數(shù)據(jù)的值元素被確定，它就可以被訪問，更新或甚至由用戶改變。這可能會導(dǎo)致對企業(yè)造成嚴(yán)重的安全問題和威脅。

先進(jìn)的安全措施，可以確保在協(xié)作環(huán)境中的信息安全。涉及大數(shù)據(jù)的企業(yè)需要在控制和平衡業(yè)務(wù)需求與數(shù)據(jù)安全防護(hù)之間做到更加精確。以下是關(guān)于保護(hù)數(shù)據(jù)的一些建議：

• 將大數(shù)據(jù)分割成小數(shù)據(jù)：以這種方式，系統(tǒng)將能夠更好地處理數(shù)據(jù)的數(shù)量，速度和種類。其結(jié)果，企業(yè)也將能夠更快和更準(zhǔn)確進(jìn)行商業(yè)決策。
• 識別信息的適用范圍：企業(yè)需要識別參與此次合作的員工，合作伙伴，供應(yīng)商，或任何其他第三方，另外也要識別溝通渠道。這有助于給出關(guān)于合作環(huán)境和利益相關(guān)者的詳細(xì)思路。
• 部署數(shù)據(jù)控制：數(shù)據(jù)控件都部署在非常重要戰(zhàn)略位置。這將確保數(shù)據(jù)的保護(hù)與協(xié)作。
• 在云計算和移動環(huán)境的控制部署：云和移動合作是任何應(yīng)用程序及其部署的重要組成部分，也是風(fēng)險最高的區(qū)域之一。企業(yè)需要了解和識別數(shù)據(jù)是如何在云計算和移動環(huán)境中實(shí)現(xiàn)共享。

大數(shù)據(jù)安全工具

在過去幾年中，大多數(shù)企業(yè)采用單一的軟件供應(yīng)商和單個數(shù)據(jù)庫(SAP，Oracle ，PeopleSoft等)為整個企業(yè)服務(wù)。其結(jié)果是，安全性問題更加明顯并易于管理。但在目前情況下，我們有大數(shù)據(jù)，云計算，移動設(shè)備等等，系統(tǒng)中的安全漏洞的數(shù)量是未知的，并且安全漏洞的可能性要高得多。

在最近的信息安全發(fā)展中，也有許多軟件包和供應(yīng)商可用于加強(qiáng)信息安全實(shí)踐。對于大數(shù)據(jù)邊界安全策略與其他系統(tǒng)類似，所以在這部分中，我們將只討論’處于網(wǎng)絡(luò)內(nèi)部“ 的工具。

監(jiān)控和記錄：監(jiān)視和記錄一切是檢測未授權(quán)活動的最佳策略。一些日志系統(tǒng)，如系統(tǒng)日志(Linux)，事件日志(Windows)可以被有效地利用。SNMP對記錄網(wǎng)絡(luò)事件非常有用。也有可供日志匯總不同的軟件包，并將其存儲在一個中央位置進(jìn)行分析。這些被稱為安全信息和事件管理軟件(SIEM)包。

分析和審計：SIEM包的主要功能是自動檢測未經(jīng)授權(quán)的活動，并產(chǎn)生警告。但是，所有SIEM軟件需要配置才能正常工作。建議使用預(yù)配置SIEM包并時常更新他們，這樣能夠通過日志分析，找出安全漏洞。最新的SIEM包LogRhythm，Q1實(shí)驗(yàn)室(IBM)，McAfee的Splunk等

身份管理：身份和訪問管理(IAM)對于大數(shù)據(jù)保護(hù)來說是非常重要的，。因?yàn)閿?shù)據(jù)是通過使用不同的信道被員工/承包商訪問，這些信道包括移動設(shè)備，SAAS模式，或其他服務(wù)。身份可以確定是誰正在對敏感數(shù)據(jù)進(jìn)行訪問，考慮“身份”作為新的安全尺度是非常重要的，不應(yīng)只是專注于敏感數(shù)據(jù)的物理位置。身份管理是絕對有必要考慮的工具集合，將有助于我們應(yīng)對周邊發(fā)生的故障。

掩蔽數(shù)據(jù)：數(shù)據(jù)掩蔽是保護(hù)數(shù)據(jù)安全的另一種方式。這些數(shù)據(jù)可以通過加密或斷詞被屏蔽。一些廠商還要求他們的數(shù)據(jù)屏蔽工具不遵循加密和標(biāo)記化，但能夠動態(tài)地執(zhí)行整個屏蔽。

應(yīng)用安全：最后一步是確保訪問敏感信息的大數(shù)據(jù)應(yīng)用安全性。這是非常關(guān)鍵的，因?yàn)榇蟛糠至餍泄ぞ邩?gòu)建時并沒有考慮安全因素。最近，大多數(shù)的大數(shù)據(jù)工具在安全方面有了顯著改善。最重要的兩個因素是“權(quán)限粒度級別’和’數(shù)據(jù)加密”。Hadoop的最新版本將支持新的安全功能，可能解決這些新出現(xiàn)的問題。

總結(jié)

在當(dāng)今世界，大數(shù)據(jù)安全是個大問題。正如我們所知道的大數(shù)據(jù)系統(tǒng)并不像普通單一的供應(yīng)商系統(tǒng)，因此安全問題的處理更加復(fù)雜。沒有單一的解決方案/工具/供應(yīng)商可以保護(hù)您的數(shù)據(jù)，但是你可能需要使用不同的安全工具，這取決于需要保護(hù)的區(qū)域所處位置。因此，最終的解決辦法是繼續(xù)使用多種有效的工具，隨著時間的推移。最后，你應(yīng)該會具有一個良好的，全面的安全系統(tǒng)。本文來源：CDA數(shù)據(jù)分析師官網(wǎng)