淺談python多線程和隊列管理shell程序

首先來描述下環(huán)境，在機器上有很多個JAVA程序，我們在每個JAVA程序里都配置了一個啟動|停止|重啟的腳本

舉個例子：

我們現(xiàn)在要同時運行這些腳本，來達到快速啟動所有的JAVA程序，如果我們只用多線程的話，線程是不會返回消息給父進程，我們?nèi)绾尾拍苤肋@些程序是啟動成功了呢？

所以我們用到了隊列來管理。

"""我試過gevent,但是會在command這里造成阻塞"""

gevent代碼如下  如果有朋友知道如何優(yōu)化，請您告訴我

#!/usr/bin/python2.7
# -*- coding:utf-8 -*-
import os,sys
from datetime import datetime
import commands
import gevent.monkey
gevent.monkey.patch_os()
import gevent
 
def Servers():
  servers=commands.getoutput('''ls /data/program/payment/ | grep 'payment' ''')
  servers=servers.split('\n')
  return servers
 
def handle(servername):
  if sys.argv[1] == 'start' or sys.argv[1] == 'stop' or sys.argv[1] == 'restart':
    print '\033[1;31;40m'
    print '========================>>>go to handle %s<<<=========================' %servername
    print '\033[0m'
    r=commands.getoutput('''su - tomcat -c "/data/program/payment/%s/bin/server.sh %s &" ''' %(servername,sys.argv[1]))  #在這里會阻塞，我們無法找到合適的地方進行協(xié)程的切換
    gevent.sleep(0)        #無論放到何處，不是之前就是切換之后都會阻塞。
    print r
  else:
    print 'Please Use start | stop | restart To Handle The Command'
    sys.exit(1)
    
if __name__ == '__main__':
  s=Servers()
  threads=[]
  for i in s:
    threads.append(gevent.spawn(handle,i))
#  print threads
  gevent.joinall(threads)

多線程代碼如下
#!/usr/bin/python2.7
# -*- coding:utf-8 -*-
 
from datetime import datetime
import commands
from Queue import Queue
from threading import Thread
 
_sentinel = object()
 
def Servers():
  servers=commands.getoutput('''ls /data/program/payment/ | grep 'payment' ''')
  servers=servers.split('\n')
  return servers
 
def producer(servername,out_q):
  if sys.argv[1] == 'start' or sys.argv[1] == 'stop' or sys.argv[1] == 'restart':
    print '\033[1;31;40m'
    print '========================>>>put %s in Queue<<<=========================' %servername
    print '\033[0m'
    out_q.put_nowait(commands.getoutput('''su - tomcat -c "/data/program/payment/%s/bin/server.sh %s &" ''' %(servername,sys.argv[1])))  #放入隊列的對象
      
  else:
    print 'Please Use start | stop | restart To Handle The Command'
    sys.exit(1)
 
def consumer(servername,in_q):
  n=len(servername)
  while n > 0:             #循環(huán)在隊列中取結果，直到循環(huán)結束
    data=in_q.get()
    n -= 1
    print '\033[1;31;40m'
    print data
    print '\033[0m'
  print '\033[1;31;40m'
  print 'consumer was done!!!!!!!'
  print '\033[0m'
 
if __name__ == '__main__':
  s=Servers()
  q = Queue()
  t1 = Thread(target=consumer, args=(s,q,))      #消費者在隊列中獲取結果，前面的函數(shù)內(nèi)部已經(jīng)循環(huán)獲取
  for i in s:
    t2=Thread(target=producer, args=(i,q,))     #講線程進行管理，放入隊列
    t2.start()                   #啟動生產(chǎn)者線程
#    t2.join()                   #啟動生產(chǎn)者以后放棄校驗線程是否結束，進行并發(fā)，因為我們是把線程放入隊列進行管理的，所以不用在這里等待線程結束，如果使用了join這里會阻塞我們的程序。線程結束后，消費者會通知父進程線程已經(jīng)結束。
  t1.start()                     #啟動消費者線程
  t1.join()                      #在獲取完成之前進行線程的阻塞
簡單的說下join這個方法：
調(diào)用Thread.join將會使主調(diào)線程堵塞，直到被調(diào)用線程運行結束或超時。參數(shù)timeout是一個數(shù)值類型，表示超時時間，如果未提供該參數(shù)，那么主調(diào)線程將一直堵塞到被調(diào)線程結束。
以上所述就是本文的全部內(nèi)容了，希望大家能夠喜歡。