Python基礎教程之利用期物處理并發(fā)

抨擊線程的往往是系統(tǒng)程序員，他們考慮的使用場景對一般的應用程序員來說，也許一生都不會遇到……應用程序員遇到的使用場景，99% 的情況下只需知道如何派生一堆獨立的線程，然后用隊列收集結(jié)果。

本文章記錄了本人在學習Python基礎之控制流程篇的重點知識及個人心得，打算入門Python的朋友們可以來一起學習并交流。
本文重點：
      1、掌握異步編程的相關概念；
      2、了解期物future的概念、意義和使用方法；
      3、了解Python中的阻塞型I/O函數(shù)釋放GIL的特點。
一、異步編程相關概念
阻塞：程序未得到所需計算資源時被掛起的狀態(tài)。換句話說，程序在等待某個操作完成期間，自身無法繼續(xù)干別的事情，則稱該程序在該操作上是阻塞的。
并發(fā)：描述的是程序的組織結(jié)構。指程序要被設計成多個可獨立執(zhí)行的子任務。并發(fā)以利用有限的計算機資源使多個任務可以被實時或近實時執(zhí)行為目的。
并行：指的是多任務同時執(zhí)行的程序狀態(tài)，以利用多核CPU加速完成多任務為目的。
異步：為完成某個任務，不同程序單元之間過程中無需通信協(xié)調(diào)，也能完成任務的方式。
不相關的程序單元之間可以是異步的。簡言之，異步意味著無序。
異步編程：以進程、線程、協(xié)程、函數(shù)/方法作為執(zhí)行任務的基本單位，結(jié)合回調(diào)，事件循環(huán)、信號量等機制，以提高整體執(zhí)行效率和并發(fā)能力的編程方式。
二、期物
就下載國旗為目標實現(xiàn)的三個客戶端中，兩個HTTP并發(fā)客戶端比依序下載的腳本性能高很多。
由此說明使用并發(fā)可以高效處理網(wǎng)絡I/O。
期物(future)指一種對象，表示異步執(zhí)行的操作。
期物對象：concurrent.futures.Future或asyncio.Future類的實例。
三大方法：

    Executor.submit()：創(chuàng)建期物。
    concurrent.futures.as_completed()：迭代運行結(jié)束的期物，返回一個迭代器。
    Executor.map(): 處理參數(shù)不同的同一個可調(diào)用對象。

小結(jié)：Executor.submit()加futures.as_completed()的組合比Executor.map()更靈活，因為submit()能處理不同的可調(diào)用對象和參數(shù)。

concurrent.futures模塊的主要特色是ThreadPoolExecutor和ProcessPoolExecutor類，這兩個類實現(xiàn)的接口能分別在不同的線程或進程中執(zhí)行可調(diào)用的對象。

注意：通常情況下自己不應該創(chuàng)建期物，而只能由并發(fā)框架(concurrent.futures或asyncio)實例化。

實例：concurrent.futures模塊應用    
from concurrent import futures
from flags import save_flag, get_flag, show, main
MAX_WORKERS = 20
def download_one(cc):
  image = get_flag(cc)
  show(cc)
  save_flag(image, cc.lower() + '.gif')
  return cc
def download_many(cc_list):
  workers = min(MAX_WORKERS, len(cc_list))
  with futures.ThreadPoolExecutor(workers) as executor:
    res = executor.map(download_one, sorted(cc_list))
  return len(list(res))
if __name__ == '__main__':
  main(download_many)
三、阻塞性I/O與GIL
Python標準庫中所有阻塞型I/O函數(shù)都會釋放全局解釋器鎖（GIL），允許其他線程運行。
因此盡管有GIL，Python線程仍然適合在I/O密集型系統(tǒng)使用。
四、線程和多進程的替代方案
對CPU密集型工作來說，要啟動多個進程，規(guī)避GIL。
創(chuàng)建多進程最簡單的方式是使用futures.ProcessPoolExecutor類。
threading和multiprocessing模塊：是Python中多線程和多進程并發(fā)的低層實現(xiàn)。
總結(jié)
以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家的學習或者工作具有一定的參考學習價值