Python子進程 (subprocess包)

subprocess以及常用的封裝函數(shù)

當(dāng)我們運行python的時候，我們都是在創(chuàng)建并運行一個進程。正如我們在Linux進程基礎(chǔ)中介紹的那樣，一個進程可以fork一個子進程，并讓這個子進程exec另外一個程序。在Python中，我們通過標(biāo)準(zhǔn)庫中的subprocess包來fork一個子進程，并運行一個外部的程序(fork，exec見Linux進程基礎(chǔ))。

subprocess包中定義有數(shù)個創(chuàng)建子進程的函數(shù)，這些函數(shù)分別以不同的方式創(chuàng)建子進程，所以我們可以根據(jù)需要來從中選取一個使用。另外subprocess還提供了一些管理標(biāo)準(zhǔn)流(standard stream)和管道(pipe)的工具，從而在進程間使用文本通信。
使用subprocess包中的函數(shù)創(chuàng)建子進程的時候，要注意:
1) 在創(chuàng)建子進程之后，父進程是否暫停，并等待子進程運行。
2) 函數(shù)返回什么
3) 當(dāng)returncode不為0時，父進程如何處理。
subprocess.call()
父進程等待子進程完成
返回退出信息(returncode，相當(dāng)于exit code，見Linux進程基礎(chǔ))
subprocess.check_call()
父進程等待子進程完成
返回0
檢查退出信息，如果returncode不為0，則舉出錯誤subprocess.CalledProcessError，該對象包含有returncode屬性，可用try...except...來檢查(見Python錯誤處理)。
subprocess.check_output()
父進程等待子進程完成
返回子進程向標(biāo)準(zhǔn)輸出的輸出結(jié)果
檢查退出信息，如果returncode不為0，則舉出錯誤subprocess.CalledProcessError，該對象包含有returncode屬性和output屬性，output屬性為標(biāo)準(zhǔn)輸出的輸出結(jié)果，可用try...except...來檢查。
這三個函數(shù)的使用方法相類似，我們以subprocess.call()來說明:
import subprocess
rc = subprocess.call(["ls","-l"])
我們將程序名(ls)和所帶的參數(shù)(-l)一起放在一個表中傳遞給subprocess.call()
可以通過一個shell來解釋一整個字符串:
import subprocess
out = subprocess.call("ls -l", shell=True)
out = subprocess.call("cd ..", shell=True)
我們使用了shell=True這個參數(shù)。這個時候，我們使用一整個字符串，而不是一個表來運行子進程。Python將先運行一個shell，再用這個shell來解釋這整個字符串。
shell命令中有一些是shell的內(nèi)建命令，這些命令必須通過shell運行，$cd。shell=True允許我們運行這樣一些命令。
Popen()
實際上，我們上面的三個函數(shù)都是基于Popen()的封裝(wrapper)。這些封裝的目的在于讓我們?nèi)菀资褂米舆M程。當(dāng)我們想要更個性化我們的需求的時候，就要轉(zhuǎn)向Popen類，該類生成的對象用來代表子進程。
與上面的封裝不同，Popen對象創(chuàng)建后，主程序不會自動等待子進程完成。我們必須調(diào)用對象的wait()方法，父進程才會等待 (也就是阻塞block)：
import subprocess
child = subprocess.Popen(["ping","-c","5","www.google.com"])
print("parent process")
從運行結(jié)果中看到，父進程在開啟子進程之后并沒有等待child的完成，而是直接運行print。
對比等待的情況:
import subprocess
child = subprocess.Popen(["ping","-c","5","www.google.com"])
child.wait()
print("parent process")
此外，你還可以在父進程中對子進程進行其它操作，比如我們上面例子中的child對象:
child.poll()           # 檢查子進程狀態(tài)
child.kill()           # 終止子進程
child.send_signal()    # 向子進程發(fā)送信號
child.terminate()      # 終止子進程
子進程的PID存儲在child.pid
子進程的文本流控制
(沿用child子進程) 子進程的標(biāo)準(zhǔn)輸入，標(biāo)準(zhǔn)輸出和標(biāo)準(zhǔn)錯誤也可以通過如下屬性表示:
child.stdin
child.stdout
child.stderr
我們可以在Popen()建立子進程的時候改變標(biāo)準(zhǔn)輸入、標(biāo)準(zhǔn)輸出和標(biāo)準(zhǔn)錯誤，并可以利用subprocess.PIPE將多個子進程的輸入和輸出連接在一起，構(gòu)成管道(pipe):
import subprocess
child1 = subprocess.Popen(["ls","-l"], stdout=subprocess.PIPE)
child2 = subprocess.Popen(["wc"], stdin=child1.stdout,stdout=subprocess.PIPE)
out = child2.communicate()
print(out)
subprocess.PIPE實際上為文本流提供一個緩存區(qū)。child1的stdout將文本輸出到緩存區(qū)，隨后child2的stdin從該PIPE中將文本讀取走。child2的輸出文本也被存放在PIPE中，直到communicate()方法從PIPE中讀取出PIPE中的文本。
要注意的是，communicate()是Popen對象的一個方法，該方法會阻塞父進程，直到子進程完成。
我們還可以利用communicate()方法來使用PIPE給子進程輸入:
import subprocess
child = subprocess.Popen(["cat"], stdin=subprocess.PIPE)
child.communicate("vamei")
我們啟動子進程之后，cat會等待輸入，直到我們用communicate()輸入"vamei"。
通過使用subprocess包，我們可以運行外部程序。這極大的拓展了Python的功能。如果你已經(jīng)了解了操作系統(tǒng)的某些應(yīng)用，你可以從Python中直接調(diào)用該應(yīng)用(而不是完全依賴Python)，并將應(yīng)用的結(jié)果輸出給Python，并讓Python繼續(xù)處理。shell的功能(比如利用文本流連接各個應(yīng)用)，就可以在Python中實現(xiàn)。數(shù)據(jù)分析師培訓(xùn)
總結(jié)
subprocess.call, subprocess.check_call(), subprocess.check_output()
subprocess.Popen(), subprocess.PIPE
Popen.wait(), Popen.communicate()