淺談python多線程和隊(duì)列管理shell程序

首先來(lái)描述下環(huán)境，在機(jī)器上有很多個(gè)JAVA程序，我們?cè)诿總€(gè)JAVA程序里都配置了一個(gè)啟動(dòng)|停止|重啟的腳本

舉個(gè)例子：

我們現(xiàn)在要同時(shí)運(yùn)行這些腳本，來(lái)達(dá)到快速啟動(dòng)所有的JAVA程序，如果我們只用多線程的話，線程是不會(huì)返回消息給父進(jìn)程，我們?nèi)绾尾拍苤肋@些程序是啟動(dòng)成功了呢？

所以我們用到了隊(duì)列來(lái)管理。

"""我試過(guò)gevent,但是會(huì)在command這里造成阻塞"""

gevent代碼如下  如果有朋友知道如何優(yōu)化，請(qǐng)您告訴我

#!/usr/bin/python2.7
# -*- coding:utf-8 -*-
import os,sys
from datetime import datetime
import commands
import gevent.monkey
gevent.monkey.patch_os()
import gevent
 
def Servers():
  servers=commands.getoutput('''ls /data/program/payment/ | grep 'payment' ''')
  servers=servers.split('\n')
  return servers
 
def handle(servername):
  if sys.argv[1] == 'start' or sys.argv[1] == 'stop' or sys.argv[1] == 'restart':
    print '\033[1;31;40m'
    print '========================>>>go to handle %s<<<=========================' %servername
    print '\033[0m'
    r=commands.getoutput('''su - tomcat -c "/data/program/payment/%s/bin/server.sh %s &" ''' %(servername,sys.argv[1]))  #在這里會(huì)阻塞，我們無(wú)法找到合適的地方進(jìn)行協(xié)程的切換
    gevent.sleep(0)        #無(wú)論放到何處，不是之前就是切換之后都會(huì)阻塞。
    print r
  else:
    print 'Please Use start | stop | restart To Handle The Command'
    sys.exit(1)
    
if __name__ == '__main__':
  s=Servers()
  threads=[]
  for i in s:
    threads.append(gevent.spawn(handle,i))
#  print threads
  gevent.joinall(threads)

多線程代碼如下
#!/usr/bin/python2.7
# -*- coding:utf-8 -*-
 
from datetime import datetime
import commands
from Queue import Queue
from threading import Thread
 
_sentinel = object()
 
def Servers():
  servers=commands.getoutput('''ls /data/program/payment/ | grep 'payment' ''')
  servers=servers.split('\n')
  return servers
 
def producer(servername,out_q):
  if sys.argv[1] == 'start' or sys.argv[1] == 'stop' or sys.argv[1] == 'restart':
    print '\033[1;31;40m'
    print '========================>>>put %s in Queue<<<=========================' %servername
    print '\033[0m'
    out_q.put_nowait(commands.getoutput('''su - tomcat -c "/data/program/payment/%s/bin/server.sh %s &" ''' %(servername,sys.argv[1])))  #放入隊(duì)列的對(duì)象
      
  else:
    print 'Please Use start | stop | restart To Handle The Command'
    sys.exit(1)
 
def consumer(servername,in_q):
  n=len(servername)
  while n > 0:             #循環(huán)在隊(duì)列中取結(jié)果，直到循環(huán)結(jié)束
    data=in_q.get()
    n -= 1
    print '\033[1;31;40m'
    print data
    print '\033[0m'
  print '\033[1;31;40m'
  print 'consumer was done!!!!!!!'
  print '\033[0m'
 
if __name__ == '__main__':
  s=Servers()
  q = Queue()
  t1 = Thread(target=consumer, args=(s,q,))      #消費(fèi)者在隊(duì)列中獲取結(jié)果，前面的函數(shù)內(nèi)部已經(jīng)循環(huán)獲取
  for i in s:
    t2=Thread(target=producer, args=(i,q,))     #講線程進(jìn)行管理，放入隊(duì)列
    t2.start()                   #啟動(dòng)生產(chǎn)者線程
#    t2.join()                   #啟動(dòng)生產(chǎn)者以后放棄校驗(yàn)線程是否結(jié)束，進(jìn)行并發(fā)，因?yàn)槲覀兪前丫€程放入隊(duì)列進(jìn)行管理的，所以不用在這里等待線程結(jié)束，如果使用了join這里會(huì)阻塞我們的程序。線程結(jié)束后，消費(fèi)者會(huì)通知父進(jìn)程線程已經(jīng)結(jié)束。
  t1.start()                     #啟動(dòng)消費(fèi)者線程
  t1.join()                      #在獲取完成之前進(jìn)行線程的阻塞
簡(jiǎn)單的說(shuō)下join這個(gè)方法：
調(diào)用Thread.join將會(huì)使主調(diào)線程堵塞，直到被調(diào)用線程運(yùn)行結(jié)束或超時(shí)。參數(shù)timeout是一個(gè)數(shù)值類(lèi)型，表示超時(shí)時(shí)間，如果未提供該參數(shù)，那么主調(diào)線程將一直堵塞到被調(diào)線程結(jié)束。
以上所述就是本文的全部?jī)?nèi)容了，希望大家能夠喜歡。