淺談使用ArcPy執(zhí)行大數(shù)據(jù)量處理任務(wù)

Python功能強(qiáng)大而易于學(xué)習(xí)。對(duì)于ArcGIS for Desktop用戶來講，Python是提高工作效率的不二選擇。

Arcpy是esri提供的用于高效數(shù)據(jù)處理分析、制圖等的Python站點(diǎn)包。 利用ArcPy，我們可以在ArcMap的Python窗口交互執(zhí)行腳本，還可以創(chuàng)建自定義腳本工具或腳本工具箱，還可以在ArcGIS之外運(yùn)行獨(dú)立腳本，享受更純正的python體驗(yàn)。
這一篇說說如何利用Python批量執(zhí)行數(shù)據(jù)處理任務(wù)，這個(gè)問題也是前段時(shí)間遇到的用戶的實(shí)際問題，比較有價(jià)值。
需求
還是從實(shí)例開始……
有一個(gè)簡(jiǎn)單但耗體力的裁剪任務(wù)，希望通過大量面分割（逐一裁剪）大量的數(shù)據(jù)，類似Split工具要完成的任務(wù)，并且要按照一定的規(guī)則命名將分割結(jié)果輸出到指定的位置，例如要求有指定前綴。
實(shí)現(xiàn)
例如，一種思路是逐一遍歷面要素，然后去裁剪目標(biāo)數(shù)據(jù)再輸出，這時(shí)你可能會(huì)遇到下面的小問題：
我如何通過ArcPy獲取要素的幾何？
在ArcPy中提供了一個(gè)數(shù)據(jù)訪問模塊/Data Access (arcpy.da)，我們可以通過游標(biāo)（Cursor）來查詢要素的幾何或?qū)傩浴Ｔ谶@個(gè)需求中是逐一遍歷面要素的幾何，我們選擇 SearchCursor，通過 SHAPE@ 可以訪問要素的幾何。
語法： SearchCursor(in_table, field_names, {where_clause}, {spatial_reference}, {explode_to_points}, {sql_clause})
了解詳細(xì)的幫助信息點(diǎn)這里。
那么可以把函數(shù)主體定義成這樣，即可實(shí)現(xiàn)需求：

def MyBatchClip(Parameter):
    # 參數(shù)
    inputFC = Parameter[0]
    ClipArea = Parameter[1]
    OutputWS = Parameter[2]
    Prefix = Parameter[3]
    # 字段列表，SHAPE@ 訪問要素幾何對(duì)象
    Fields = ['FID','SHAPE@']
    # 遍歷面要素逐一裁剪目標(biāo)數(shù)據(jù)并輸出自定義前綴的結(jié)果。
    with arcpy.da.SearchCursor(ClipArea,Fields) as cursor:
        for row in cursor:
            outputFC = os.path.join(OutputWS, Prefix+str(row[0])+'.shp')
            arcpy.Clip_analysis(inputFC, row[1], outputFC)
多進(jìn)程
如果這個(gè)批量任務(wù)是大量的，如何更高效地開動(dòng)起來？
這里按照esri以前的一篇 Blog 提到的方法分享給大家，使用Multiprocessing模塊并行處理。 Multiprocessing 模塊是Python的一個(gè)標(biāo)準(zhǔn)庫，通過這個(gè)庫，我們可以利用多核CPU，來實(shí)現(xiàn)多進(jìn)程處理大數(shù)據(jù)量的任務(wù)。
可以通過 multiprocessing.Pool 來使用進(jìn)程池，Pool類可以管理固定數(shù)目的進(jìn)程，默認(rèn)是開啟和機(jī)器CPU數(shù)目相同的進(jìn)程。
    語法：
    multiprocessing.Pool([processes[, initializer[, initargs[, maxtasksperchild]]]])
    processes表示pool中進(jìn)程的數(shù)目，默認(rèn)地為當(dāng)前CPU的核數(shù)。
    initializer表示新進(jìn)程的初始化函數(shù)。
    initargs表示新進(jìn)程的初始化函數(shù)的參數(shù)。
    maxtasksperchild表示每個(gè)進(jìn)程執(zhí)行task的最大數(shù)目
把腳本修改下，加上多進(jìn)程處理的部分：
# -*- coding:utf-8 -*-
__author__ = 'kikita'

import arcpy
import timeit
import time
import multiprocessing
import os

arcpy.env.workspace =  r'D:\LearnAboutPython\MyPythonProject\UsingCurser\DemoDataS.gdb'
arcpy.env.overwriteOutput = True

# 批量裁剪函數(shù)
def MyBatchClip(Parameter):
    # 參數(shù)
    inputFC = Parameter[0]
    ClipArea = Parameter[1]
    OutputWS = Parameter[2]
    Prefix = Parameter[3]
    # 字段列表，其中 SHAPE@用于訪問數(shù)據(jù)幾何
    Fields = ['OBJECTID','SHAPE@']
    with arcpy.da.SearchCursor(ClipArea,Fields) as cursor:
        for row in cursor:
            outputFC = os.path.join(OutputWS, Prefix+str(row[0])+'.shp')
            arcpy.Clip_analysis(inputFC, row[1], outputFC)
            print Prefix+str(row[0])+'.shp'


if __name__ == '__main__':
    # 參數(shù)
    OutputWS = r'D:\LearnAboutPython\MyPythonProject\UsingCurser\OutputWS'
    # SDE庫輸出
    #OutputWS = r'C:\Connection131.sde'
    Parameter1 = ['CountyPoints','Area_A',OutputWS, 'AAA_']
    Parameter2 = ['hyd_line','Area_B',OutputWS, 'BBB_']
    Parameter3 = ['River_line.shp','Area_C.shp',OutputWS,'CCC_']
    Parameters = [Parameter1,Parameter2,Parameter3 ]
    # 當(dāng)前CPU核數(shù)
    print 'CPU Count:' + str(multiprocessing.cpu_count())
    # 進(jìn)程池
    MyGPpool = multiprocessing.Pool()
    # 多進(jìn)程并行處理
    StartTime = time.time()
    results = MyGPpool.map(MyBatchClip,Parameters)
    EndTime = time.time()
    print 'Elapsed:  ' + str(EndTime - StartTime) + '  Seconds...'
結(jié)果

CPU Count:8
AAA_0.shp
BBB_0.shp
CCC_0.shp
BBB_1.shp
AAA_1.shp
CCC_1.shp
BBB_2.shp
AAA_2.shp
CCC_2.shp
……
……
……
BBB_28.shp
AAA_27.shp
BBB_29.shp
CCC_28.shp
CCC_29.shp
AAA_28.shp
BBB_30.shp
CCC_30.shp
AAA_29.shp
AAA_30.shp
Elapsed:  28.628000021  Seconds...
一點(diǎn)有用的提示：
1.在使用Multiprocessing時(shí)，注意數(shù)據(jù)鎖定（Schema Lock）的問題，例如這個(gè)例子中，當(dāng)輸出工作空間選擇為FileGDB時(shí)出現(xiàn)異常。 使用文件夾輸出 Shapefile，或者以SDE數(shù)據(jù)庫作為輸出工作空間，都是可以的。
2.我在代碼中也加入了計(jì)時(shí)，用于比較并行與否的耗時(shí)情況。 但是有時(shí)確實(shí)會(huì)發(fā)現(xiàn)，較簡(jiǎn)單的處理任務(wù)時(shí)，多進(jìn)程并行并不比單進(jìn)程快，因?yàn)閷?dǎo)入模塊和啟動(dòng)進(jìn)程都需要花時(shí)間。