大數(shù)據(jù)時(shí)代 命令行技術(shù)過時(shí)了嗎？

隨著《關(guān)于促進(jìn)大數(shù)據(jù)發(fā)展的行動(dòng)綱要》(簡(jiǎn)稱“《綱要》”)日前正式下發(fā)，《綱要》提出，大數(shù)據(jù)成為推動(dòng)經(jīng)濟(jì)轉(zhuǎn)型發(fā)展的新動(dòng)力。大數(shù)據(jù)產(chǎn)業(yè)正在成為新的經(jīng)濟(jì)增長(zhǎng)點(diǎn)，將對(duì)未來信息產(chǎn)業(yè)格局產(chǎn)生重要影響。伴著這股潮流，出現(xiàn)了N多新技術(shù)如Hadoop、Spark、Hive等等，與這些時(shí)髦的技術(shù)相比，命令行好像應(yīng)該被放進(jìn)博物館被人參觀的古董。命令行的歷史可以追溯到幾十年前，而大數(shù)據(jù)的崛起才短短幾年，命令行技術(shù)在數(shù)據(jù)科學(xué)這樣新的應(yīng)用領(lǐng)域是否還發(fā)揮作用，彰顯其獨(dú)有的魅力呢？

前幾日，小編注意到ChinaUnix論壇中有一貼子《大數(shù)據(jù)崛起時(shí)代，命令行技術(shù)的價(jià)值在哪里?》網(wǎng)友們討論的很是熱鬧，網(wǎng)友fengzhanhai說道“命令行給系統(tǒng)管理員及開發(fā)人員帶來的靈活性和快感不是圖形界面所能夠替代的”。于是小編也投身參與，讓我們一起來討論。

命令行技術(shù)的優(yōu)缺點(diǎn)

使用命令行是很有趣的，記住各種命令，學(xué)會(huì)腳本的編寫，用命令行是非常高效的。即使是使用Windows Server，我們也可以使用PowerShell，繼續(xù)享受命令行的樂趣。對(duì)于初學(xué)者來說，命令行需要學(xué)習(xí)并記住很多命令及用法，顯得頗有難度。

網(wǎng)友seasea2517說“不用鼠標(biāo)操作減少鼠標(biāo)手煩惱，靈活、容易實(shí)現(xiàn)自動(dòng)化批量化、系統(tǒng)要求低、不同平臺(tái)的同樣命令行工具下的操作相同。不足就是不夠直觀，上手比GUI慢一些?！?

“從最初的dos命令行，truboC的命令行編譯及執(zhí)行，到unix和linux時(shí)代命令行的普遍應(yīng)用。他是一個(gè)系統(tǒng)工程師的普遍技能。但命令行是結(jié)構(gòu)化編程變成的產(chǎn)物，在面向?qū)ο缶幊痰慕裉?，追求?duì)象的引用、類的實(shí)例化、RPC的時(shí)候，命令行就其不能應(yīng)對(duì)復(fù)雜的調(diào)用關(guān)系和形象的編程。尤其對(duì)于UE用戶體驗(yàn)要求較高的場(chǎng)合，命令行基本用不上?！本W(wǎng)友hiyachen說道。

網(wǎng)友yinyuemi非常喜歡命令行，他說“我的學(xué)習(xí)之路，有80%的代碼都是在命令行學(xué)習(xí)和運(yùn)行的。很喜歡這種“溝通”方式，用awk/sed/grep等處理文本，命令行里操作無疑是高效的。經(jīng)常是一段代碼從頭寫到尾，不換行，一氣呵成，感覺只有這種方式不會(huì)把在腦子里形成的偽代碼思路隔斷。不足之處，我覺得是命令行畢竟是依賴于終端，history的記錄數(shù)有限，對(duì)于新手或不熟悉linux環(huán)境的童鞋們，一旦終端關(guān)閉，再想找回之前的代碼記錄并不是一件容易的事。當(dāng)然，高手們不會(huì)為此感到煩惱。”

那些你接觸過的命令行工具

相信每個(gè)Linux愛好者都能說出一大串命令行工具，并且能把它們運(yùn)用的恰到好處!歡迎你們到論壇中(http://bbs.chinaunix.net/thread-4181945-1-1.html)來補(bǔ)充，這里說兩個(gè)印象比較深刻的~

網(wǎng)友xdsnet說道“用的比較多的是bash環(huán)境，以及其上的各類命令行工具，主要有直接bash內(nèi)置命令行結(jié)合系統(tǒng)命令進(jìn)行系統(tǒng)管理。“

另一位網(wǎng)友jieforest談到“Linux Shell，Python的Shell、Ruby的Shell等。Linux Shell用于解決服務(wù)器維護(hù)、搭建生產(chǎn)環(huán)境、部署業(yè)務(wù)、測(cè)試等等。Python Shell、Ruby Shell通常用于開發(fā)及調(diào)試代碼?！?

面對(duì)高大上的數(shù)據(jù)科學(xué)，命令行過時(shí)了嗎?

打個(gè)做菜的比方，來描述數(shù)據(jù)科學(xué)5部分(數(shù)據(jù)獲取、數(shù)據(jù)清洗、數(shù)據(jù)探索、數(shù)據(jù)建模、數(shù)據(jù)解釋)，要做一道菜的步驟——a先要有原材料，有菜;b 洗菜，過濾無用數(shù)據(jù);c 探索菜譜，能做啥菜;d 建模，實(shí)際做菜;e 解釋->吃菜，吸收營(yíng)養(yǎng)。

網(wǎng)友seesea2517說：“和數(shù)據(jù)打交道多的就是 mysql 了，對(duì)于數(shù)據(jù)庫的數(shù)據(jù)來說可以用 mysql 或 mysqldump 獲取數(shù)據(jù)，可以在 mysql 里做數(shù)據(jù)過濾，也可以用 awk sed grep 等過濾”命令行工具和技術(shù)永遠(yuǎn)在發(fā)揮著它的更接近于底層，一個(gè)個(gè)對(duì)資源(cpu、內(nèi)存、網(wǎng)絡(luò)、存儲(chǔ))的有效利用。

也有網(wǎng)友說道：“一直用命令行處理文本問題，而對(duì)于數(shù)據(jù)科學(xué)在命令行的操作，命令行會(huì)不會(huì)略顯單薄?！?

小編認(rèn)為：命令行靈活、可增強(qiáng)、可擴(kuò)展、可擴(kuò)充無所不在，能使你真正成為更加高效和多產(chǎn)的數(shù)據(jù)科學(xué)家。數(shù)據(jù)是數(shù)據(jù)科學(xué)工作的主要原料，因此很重要的一點(diǎn)是要能很容易地處理包含數(shù)據(jù)集的文件。命令行為此提供了許多方便的工具。命令行與其他技術(shù)能夠無縫集成。一方面，你可以經(jīng)常在自己的工作環(huán)境中采用命令行。例如，可以在Python 和R 中運(yùn)行命令行工具并捕獲其結(jié)果。另一方面，也可以將自己的代碼(例如以前編寫的Python 或R 函數(shù))轉(zhuǎn)變?yōu)槊钚泄ぞ摺?

【結(jié)語】

數(shù)據(jù)科學(xué)中，數(shù)據(jù)解釋最為關(guān)鍵，僅根據(jù)數(shù)據(jù)找出相關(guān)性，但缺乏相關(guān)領(lǐng)域的理解和解釋，是很危險(xiǎn)的。就像一個(gè)嬰兒和一棵樹苗，在發(fā)育期的時(shí)間交集區(qū)間內(nèi)都會(huì)長(zhǎng)高?？磾?shù)據(jù)，相關(guān)性非常好，但這兩組數(shù)據(jù)沒有任何關(guān)系。如果不能用合理的行業(yè)知識(shí)解釋數(shù)據(jù)的結(jié)果，就很容易犯這種錯(cuò)誤。命令行在實(shí)施數(shù)據(jù)計(jì)算分析處理方面，是跨行業(yè)、跨學(xué)科的人進(jìn)行有效協(xié)作，最簡(jiǎn)單直接的方式。數(shù)據(jù)分析處理光靠學(xué)計(jì)算機(jī)的專業(yè)程序員是不夠的，更多的是依靠各個(gè)學(xué)科領(lǐng)域的專業(yè)人士編寫的程序包。把他們的成果匯集，還是一個(gè)個(gè)命令行程序。所以命令行不會(huì)過時(shí)，命令行工具和技術(shù)也發(fā)揮著作用，只是調(diào)用/處理流程上會(huì)發(fā)生變化，很多命令行命令(組/集)因?yàn)樾枰貜?fù)使用，而為了減低工作強(qiáng)度，會(huì)通過配置、預(yù)處理等等手段來減少正式命令行輸入，但本質(zhì)還是命令行工具。