
作者:豌豆花下貓
來源:Python貓
在之前的文章《python 中如何實現參數化測試?》中,我提到了在 python 中實現參數化測試的幾個庫,并留下一個問題:它們是如何做到把一個方法變成多個方法,并且將每個方法與相應的參數綁定起來的呢?
我們再提煉一下,原問題等于是:在一個類中,如何使用裝飾器把一個類方法變成多個類方法(或者產生類似的效果)?
# 帶有一個方法的測試類 class TestClass: def test_func(self): pass # 使用裝飾器,生成多個類方法 class TestClass: def test_func1(self): pass def test_func2(self): pass def test_func3(self): pass
Python 中裝飾器的本質就是移花接木,用一個新的方法來替代被裝飾的方法。在實現參數化的過程中,我們介紹過的幾個庫到底用了什么手段/秘密武器呢?
1、ddt 如何實現參數化?
先回顧一下上篇文章中 ddt 庫的寫法:
import unittest from ddt import ddt,data,unpack @ddt class MyTest(unittest.TestCase): @data((3, 1), (-1, 0), (1.2, 1.0)) @unpack def test(self, first, second): pass
ddt 可提供 4 個裝飾器:1 個加在類上的 @ddt,還有 3 個加在類方法上的 @data、@unpack 和 @file_data(前文未提及)。
先看看加在類方法上的三個裝飾器的作用:
# ddt 版本(win):1.2.1 def data(*values): global index_len index_len = len(str(len(values))) return idata(values) def idata(iterable): def wrapper(func): setattr(func, DATA_ATTR, iterable) return func return wrapper def unpack(func): setattr(func, UNPACK_ATTR, True) return func def file_data(value): def wrapper(func): setattr(func, FILE_ATTR, value) return func return wrapper
它們的共同作用是在類方法上 setattr() 添加屬性。至于這些屬性在什么時候使用?下面看看加在類上的 @ddt 裝飾器源碼:
第一層 for 循環(huán)遍歷了所有的類方法,然后是 if/elif 兩條分支,分別對應 DATA_ATTR/FILE_ATTR,即對應參數的兩種來源:數據(@data)和文件(@file_data)。
elif 分支有解析文件的邏輯,之后跟處理數據相似,所以我們把它略過,主要看前面的 if 分支。這部分的邏輯很清晰,主要完成的任務如下:
分析源碼,可以看出,@data、@unpack 和 @file_data 這三個裝飾器主要是設置屬性并傳參,而 @ddt 裝飾器才是核心的處理邏輯。
這種將裝飾器分散(分別加在類與類方法上),再組合使用的方案,很不優(yōu)雅。為什么就不能統一起來使用呢?后面我們會分析它的難言之隱,先按下不表,看看其它的實現方案是怎樣的?
2、parameterized 如何實現參數化?
先回顧一下上篇文章中 parameterized 庫的寫法:
import unittest from parameterized import parameterized class MyTest(unittest.TestCase): @parameterized.expand([(3,1), (-1,0), (1.5,1.0)]) def test_values(self, first, second): self.assertTrue(first > second)
它提供了一個裝飾器類 @parameterized,源碼如下(版本 0.7.1),主要做了一些初始的校驗和參數解析,并非我們關注的重點,略過。
我們主要關注這個裝飾器類的 expand() 方法,它的文檔注釋中寫到:
A "brute force" method of parameterizing test cases. Creates new test cases and injects them into the namespace that the wrapped function is being defined in. Useful for parameterizing tests in subclasses of 'UnitTest', where Nose test generators don't work.
關鍵的兩個動作是:“creates new test cases(創(chuàng)建新的測試單元)”和“inject them into the namespace…(注入到原方法的命名空間)”。
關于第一點,它跟 ddt 是相似的,只是一些命名風格上的差異,以及參數的解析及綁定不同,不值得太關注。
最不同的則是,怎么令新的測試方法生效?
parameterized 使用的是一種“注入”的方式:
inspect 是個功能強大的標準庫,在此用于獲取程序調用棧的信息。前三句代碼的目的是取出 f_locals,它的含義是“l(fā)ocal namespace seen by this frame”,此處 f_locals 指的就是類的局部命名空間。
說到局部命名空間,你可能會想到 locals(),但是,我們之前有文章提到過“l(fā)ocals() 與 globals() 的讀寫問題”,locals() 是可讀不可寫的,所以這段代碼才用了 f_locals。
3、pytest 如何實現參數化?
按慣例先看看上篇文章中的寫法:
import pytest @pytest.mark.parametrize("first,second", [(3,1), (-1,0), (1.5,1.0)]) def test_values(first, second): assert(first > second)
首先看到“mark”,pytest 里內置了一些標簽,例如 parametrize、timeout、skipif、xfail、tryfirst、trylast 等,還支持用戶自定義的標簽,可以設置執(zhí)行條件、分組篩選執(zhí)行,以及修改原測試行為等等。
用法也是非常簡單的,然而,其源碼可復雜多了。我們這里只關注 parametrize,先看看核心的一段代碼:
根據傳入的參數對,它復制了原測試方法的調用信息,存入待調用的列表里。跟前面分析的兩個庫不同,它并沒有在此創(chuàng)建新的測試方法,而是復用了已有的方法。在 parametrize() 所屬的 Metafunc 類往上查找,可以追蹤到 _calls 列表的使用位置:
最終是在 Function 類中執(zhí)行:
好玩的是,在這里我們可以看到幾行神注釋……
閱讀(粗淺涉獵) pytest 的源碼,真的是自討苦吃……不過,依稀大致可以看出,它在實現參數化時,使用的是生成器的方案,遍歷一個參數則調用一次測試方法,而前面的 ddt 和 parameterized 則是一次性把所有參數解析完,生成 n 個新的測試方法,再交給測試框架去調度。
對比一下,前兩個庫的思路很清晰,而且由于其設計單純是為了實現參數化,不像 pytest 有什么標記和過多的抽象設計,所以更易讀易懂。前兩個庫發(fā)揮了 Python 的動態(tài)特性,設置類屬性或者注入局部命名空間,而 pytest 倒像是從什么靜態(tài)語言中借鑒的思路,略顯笨拙。
4、最后小結
回到標題中的問題“如何將一個方法變?yōu)槎鄠€方法?”除了在參數化測試中,不知還有哪些場景會有此訴求?歡迎留言討論。
本文分析了三個測試庫的裝飾器實現思路,通過閱讀源碼,我們可以發(fā)現它們各有千秋,這個發(fā)現本身還挺有意思。在使用裝飾器時,表面看它們差異不大,但是真功夫的細節(jié)都隱藏在底下。
源碼分析的意義在于探究其所以然,在這次探究之旅中,讀者們可有什么收獲???一起來聊聊吧!
數據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
SQL Server 中 CONVERT 函數的日期轉換:從基礎用法到實戰(zhàn)優(yōu)化 在 SQL Server 的數據處理中,日期格式轉換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關聯查詢效率:打破 “拆分必慢” 的認知誤區(qū) 在 MySQL 數據庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18CDA 數據分析師:表結構數據 “獲取 - 加工 - 使用” 全流程的賦能者 表結構數據(如數據庫表、Excel 表、CSV 文件)是企業(yè)數字 ...
2025-09-18DSGE 模型中的 Et:理性預期算子的內涵、作用與應用解析 動態(tài)隨機一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數據分析師:解鎖表結構數據特征價值的專業(yè)核心 表結構數據(以 “行 - 列” 規(guī)范存儲的結構化數據,如數據庫表、Excel 表、 ...
2025-09-17Excel 導入數據含缺失值?詳解 dropna 函數的功能與實戰(zhàn)應用 在用 Python(如 pandas 庫)處理 Excel 數據時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗與 t 檢驗:差異、適用場景與實踐應用 在數據分析與統計學領域,假設檢驗是驗證研究假設、判斷數據差異是否 “ ...
2025-09-16CDA 數據分析師:掌控表格結構數據全功能周期的專業(yè)操盤手 表格結構數據(以 “行 - 列” 存儲的結構化數據,如 Excel 表、數據 ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數量的準確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實踐指南 在 Python 進行 HTTP 網絡請求開發(fā)時(如使用requests ...
2025-09-15CDA 數據分析師:激活表格結構數據價值的核心操盤手 表格結構數據(如 Excel 表格、數據庫表)是企業(yè)最基礎、最核心的數據形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調用、數據爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點數據的科學計數法問題 為幫助 Python 數據從業(yè)者解決pd.read_csv讀取長浮點數據時的科學計數法問題 ...
2025-09-12CDA 數據分析師:業(yè)務數據分析步驟的落地者與價值優(yōu)化者 業(yè)務數據分析是企業(yè)解決日常運營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗證業(yè)務邏輯:從規(guī)則拆解到數據把關的實戰(zhàn)指南 在業(yè)務系統落地過程中,“業(yè)務邏輯” 是連接 “需求設計” 與 “用戶體驗 ...
2025-09-11塔吉特百貨孕婦營銷案例:數據驅動下的精準零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當下,精準營銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數據分析師與戰(zhàn)略 / 業(yè)務數據分析:概念辨析與協同價值 在數據驅動決策的體系中,“戰(zhàn)略數據分析”“業(yè)務數據分析” 是企業(yè) ...
2025-09-11Excel 數據聚類分析:從操作實踐到業(yè)務價值挖掘 在數據分析場景中,聚類分析作為 “無監(jiān)督分組” 的核心工具,能從雜亂數據中挖 ...
2025-09-10統計模型的核心目的:從數據解讀到決策支撐的價值導向 統計模型作為數據分析的核心工具,并非簡單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10