實(shí)用的大數(shù)據(jù)技巧合集 _數(shù)據(jù)分析師

大數(shù)據(jù)應(yīng)用的安全性方面往往被忽視或者被視為次要的需求。但是，數(shù)據(jù)的安全性在數(shù)據(jù)處理過程有著十分巨大的影響。本文將介紹一些保護(hù)大數(shù)據(jù)應(yīng)用的步驟和工具。
隨著大數(shù)據(jù)在不同的領(lǐng)域蔓延，安全方面受到越來越多的關(guān)注。以前，我們使用具有中心控制的安全系統(tǒng)，但這并不足以保護(hù)你的應(yīng)用程序免受入侵。大數(shù)據(jù)帶來了另外一些安全關(guān)切問題，與正常的應(yīng)用程序有很大不同。
在當(dāng)今世界，安全性相關(guān)的探索非常困難,前進(jìn)方向也難以界定。整個(gè)軟件系統(tǒng)中實(shí)現(xiàn)合適的端至端安全系統(tǒng)是非常昂貴的?？傆幸粋€(gè)突破安全防護(hù)的可能性 存在，無論你遵循什么樣的政策或制度都是一樣。企業(yè)進(jìn)行大數(shù)據(jù)項(xiàng)目時(shí)應(yīng)制定相應(yīng)的計(jì)劃，根據(jù)自己的預(yù)算和政策，采用最現(xiàn)代化新式安全措施。
在大數(shù)據(jù)環(huán)境中的安全風(fēng)險(xiǎn)
大數(shù)據(jù)時(shí)代出現(xiàn)了數(shù)據(jù)量，數(shù)據(jù)速率和數(shù)據(jù)種類的顯著增長，另外云計(jì)算模式下，移動(dòng)應(yīng)用程序和其他應(yīng)用程序接連增長。通過不同的系統(tǒng)、應(yīng)用和環(huán)境，數(shù) 據(jù)從一端流向另一端。這種數(shù)據(jù)爆炸對業(yè)務(wù)發(fā)展洞察力提供了有意義幫助，但它也把商業(yè)數(shù)據(jù)暴露給了各種系統(tǒng)，流程和相關(guān)人員。由于龐大的數(shù)據(jù)量在不同的協(xié)作 系統(tǒng)進(jìn)行存儲(chǔ)，處理，分析，總會(huì)存在安全漏洞。
大數(shù)據(jù)從不同的源和不同類型的商業(yè)智能工具采集出來以用于分析，并獲得有意義的信息。該信息被決策者訪問和使用。有時(shí)候數(shù)據(jù)也可用于協(xié)作。用于協(xié)作 和處理的工具也有安全性限制。所以，總有暴露敏感數(shù)據(jù)/內(nèi)容的概率。一旦大數(shù)據(jù)的值元素被確定，它就可以被訪問，更新或甚至由用戶改變。這可能會(huì)導(dǎo)致對企 業(yè)造成嚴(yán)重的安全問題和威脅。
先進(jìn)的安全措施，可以確保在協(xié)作環(huán)境中的信息安全。涉及大數(shù)據(jù)的企業(yè)需要在控制和平衡業(yè)務(wù)需求與數(shù)據(jù)安全防護(hù)之間做到更加精確。以下是關(guān)于保護(hù)數(shù)據(jù)的一些建議：
將大數(shù)據(jù)分割成小數(shù)據(jù)：以這種方式，系統(tǒng)將能夠更好地處理數(shù)據(jù)的數(shù)量，速度和種類。其結(jié)果，企業(yè)也將能夠更快和更準(zhǔn)確進(jìn)行商業(yè)決策。
識(shí)別信息的適用范圍：企業(yè)需要識(shí)別參與此次合作的員工，合作伙伴，供應(yīng)商，或任何其他第三方，另外也要識(shí)別溝通渠道。這有助于給出關(guān)于合作環(huán)境和利益相關(guān)者的詳細(xì)思路。
部署數(shù)據(jù)控制：數(shù)據(jù)控件都部署在非常重要戰(zhàn)略位置。這將確保數(shù)據(jù)的保護(hù)與協(xié)作。
在云計(jì)算和移動(dòng)環(huán)境的控制部署：云和移動(dòng)合作是任何應(yīng)用程序及其部署的重要組成部分，也是風(fēng)險(xiǎn)最高的區(qū)域之一。企業(yè)需要了解和識(shí)別數(shù)據(jù)是如何在云計(jì)算和移動(dòng)環(huán)境中實(shí)現(xiàn)共享。
大數(shù)據(jù)安全工具
在過去幾年中，大多數(shù)企業(yè)采用單一的軟件供應(yīng)商和單個(gè)數(shù)據(jù)庫(SAP，Oracle ，PeopleSoft等)為整個(gè)企業(yè)服務(wù)。其結(jié)果是，安全性問題更加明顯并易于管理。但在目前情況下，我們有大數(shù)據(jù)，云計(jì)算，移動(dòng)設(shè)備等等，系統(tǒng)中的安 全漏洞的數(shù)量是未知的，并且安全漏洞的可能性要高得多。
在最近的信息安全發(fā)展中，也有許多軟件包和供應(yīng)商可用于加強(qiáng)信息安全實(shí)踐。對于大數(shù)據(jù)邊界安全策略與其他系統(tǒng)類似，所以在這部分中，我們將只討論’處于網(wǎng)絡(luò)內(nèi)部“ 的工具。
監(jiān)控和記錄：監(jiān)視和記錄一切是檢測未授權(quán)活動(dòng)的最佳策略。一些日志系統(tǒng)，如系統(tǒng)日志(Linux)，事件日志 (Windows)可以被有效地利用。SNMP對記錄網(wǎng)絡(luò)事件非常有用。也有可供日志匯總不同的軟件包，并將其存儲(chǔ)在一個(gè)中央位置進(jìn)行分析。這些被稱為安 全信息和事件管理軟件(SIEM)包。
分析和審計(jì)：SIEM包的主要功能是自動(dòng)檢測未經(jīng)授權(quán)的活動(dòng)，并產(chǎn)生警告。但是，所有SIEM軟件需要配置才能 正常工作。建議使用預(yù)配置SIEM包并時(shí)常更新他們，這樣能夠通過日志分析，找出安全漏洞。最新的SIEM包LogRhythm，Q1實(shí)驗(yàn)室 (IBM)，McAfee的Splunk等
身份管理：身份和訪問管理(IAM)對于大數(shù)據(jù)保護(hù)來說是非常重要的，。因?yàn)閿?shù)據(jù)是通過使用不同的信道被員工/ 承包商訪問，這些信道包括移動(dòng)設(shè)備，SAAS模式，或其他服務(wù)。身份可以確定是誰正在對敏感數(shù)據(jù)進(jìn)行訪問，考慮“身份”作為新的安全尺度是非常重要的，不 應(yīng)只是專注于敏感數(shù)據(jù)的物理位置。身份管理是絕對有必要考慮的工具集合，將有助于我們應(yīng)對周邊發(fā)生的故障。
掩蔽數(shù)據(jù)：數(shù)據(jù)掩蔽是保護(hù)數(shù)據(jù)安全的另一種方式。這些數(shù)據(jù)可以通過加密或斷詞被屏蔽。一些廠商還要求他們的數(shù)據(jù)屏蔽工具不遵循加密和標(biāo)記化，但能夠動(dòng)態(tài)地執(zhí)行整個(gè)屏蔽。
應(yīng)用安全：最后一步是確保訪問敏感信息的大數(shù)據(jù)應(yīng)用安全性。這是非常關(guān)鍵的，因?yàn)榇蟛糠至餍泄ぞ邩?gòu)建時(shí)并沒有考 慮安全因素。最近，大多數(shù)的大數(shù)據(jù)工具在安全方面有了顯著改善。最重要的兩個(gè)因素是“權(quán)限粒度級別’和’數(shù)據(jù)加密”。Hadoop的最新版本將支持新的安 全功能，可能解決這些新出現(xiàn)的問題。
總結(jié)
在當(dāng)今世界，大數(shù)據(jù)安全是個(gè)大問題。正如我們所知道的大數(shù)據(jù)系統(tǒng)并不像普通單一的供應(yīng)商系統(tǒng)，因此安全問題的處理更加復(fù)雜。沒有單一的解決方案/工 具/供應(yīng)商可以保護(hù)您的數(shù)據(jù)，但是你可能需要使用不同的安全工具，這取決于需要保護(hù)的區(qū)域所處位置。因此，最終的解決辦法是繼續(xù)使用多種有效的工具，隨著 時(shí)間的推移。最后，你應(yīng)該會(huì)具有一個(gè)良好的，全面的安全系統(tǒng)。