
作者:豌豆花下貓
來源:Python貓
在之前的文章《python 中如何實(shí)現(xiàn)參數(shù)化測(cè)試?》中,我提到了在 python 中實(shí)現(xiàn)參數(shù)化測(cè)試的幾個(gè)庫(kù),并留下一個(gè)問題:它們是如何做到把一個(gè)方法變成多個(gè)方法,并且將每個(gè)方法與相應(yīng)的參數(shù)綁定起來的呢?
我們?cè)偬釤捯幌?,原問題等于是:在一個(gè)類中,如何使用裝飾器把一個(gè)類方法變成多個(gè)類方法(或者產(chǎn)生類似的效果)?
# 帶有一個(gè)方法的測(cè)試類 class TestClass: def test_func(self): pass # 使用裝飾器,生成多個(gè)類方法 class TestClass: def test_func1(self): pass def test_func2(self): pass def test_func3(self): pass
Python 中裝飾器的本質(zhì)就是移花接木,用一個(gè)新的方法來替代被裝飾的方法。在實(shí)現(xiàn)參數(shù)化的過程中,我們介紹過的幾個(gè)庫(kù)到底用了什么手段/秘密武器呢?
1、ddt 如何實(shí)現(xiàn)參數(shù)化?
先回顧一下上篇文章中 ddt 庫(kù)的寫法:
import unittest from ddt import ddt,data,unpack @ddt class MyTest(unittest.TestCase): @data((3, 1), (-1, 0), (1.2, 1.0)) @unpack def test(self, first, second): pass
ddt 可提供 4 個(gè)裝飾器:1 個(gè)加在類上的 @ddt,還有 3 個(gè)加在類方法上的 @data、@unpack 和 @file_data(前文未提及)。
先看看加在類方法上的三個(gè)裝飾器的作用:
# ddt 版本(win):1.2.1 def data(*values): global index_len index_len = len(str(len(values))) return idata(values) def idata(iterable): def wrapper(func): setattr(func, DATA_ATTR, iterable) return func return wrapper def unpack(func): setattr(func, UNPACK_ATTR, True) return func def file_data(value): def wrapper(func): setattr(func, FILE_ATTR, value) return func return wrapper
它們的共同作用是在類方法上 setattr() 添加屬性。至于這些屬性在什么時(shí)候使用?下面看看加在類上的 @ddt 裝飾器源碼:
第一層 for 循環(huán)遍歷了所有的類方法,然后是 if/elif 兩條分支,分別對(duì)應(yīng) DATA_ATTR/FILE_ATTR,即對(duì)應(yīng)參數(shù)的兩種來源:數(shù)據(jù)(@data)和文件(@file_data)。
elif 分支有解析文件的邏輯,之后跟處理數(shù)據(jù)相似,所以我們把它略過,主要看前面的 if 分支。這部分的邏輯很清晰,主要完成的任務(wù)如下:
分析源碼,可以看出,@data、@unpack 和 @file_data 這三個(gè)裝飾器主要是設(shè)置屬性并傳參,而 @ddt 裝飾器才是核心的處理邏輯。
這種將裝飾器分散(分別加在類與類方法上),再組合使用的方案,很不優(yōu)雅。為什么就不能統(tǒng)一起來使用呢?后面我們會(huì)分析它的難言之隱,先按下不表,看看其它的實(shí)現(xiàn)方案是怎樣的?
2、parameterized 如何實(shí)現(xiàn)參數(shù)化?
先回顧一下上篇文章中 parameterized 庫(kù)的寫法:
import unittest from parameterized import parameterized class MyTest(unittest.TestCase): @parameterized.expand([(3,1), (-1,0), (1.5,1.0)]) def test_values(self, first, second): self.assertTrue(first > second)
它提供了一個(gè)裝飾器類 @parameterized,源碼如下(版本 0.7.1),主要做了一些初始的校驗(yàn)和參數(shù)解析,并非我們關(guān)注的重點(diǎn),略過。
我們主要關(guān)注這個(gè)裝飾器類的 expand() 方法,它的文檔注釋中寫到:
A "brute force" method of parameterizing test cases. Creates new test cases and injects them into the namespace that the wrapped function is being defined in. Useful for parameterizing tests in subclasses of 'UnitTest', where Nose test generators don't work.
關(guān)鍵的兩個(gè)動(dòng)作是:“creates new test cases(創(chuàng)建新的測(cè)試單元)”和“inject them into the namespace…(注入到原方法的命名空間)”。
關(guān)于第一點(diǎn),它跟 ddt 是相似的,只是一些命名風(fēng)格上的差異,以及參數(shù)的解析及綁定不同,不值得太關(guān)注。
最不同的則是,怎么令新的測(cè)試方法生效?
parameterized 使用的是一種“注入”的方式:
inspect 是個(gè)功能強(qiáng)大的標(biāo)準(zhǔn)庫(kù),在此用于獲取程序調(diào)用棧的信息。前三句代碼的目的是取出 f_locals,它的含義是“l(fā)ocal namespace seen by this frame”,此處 f_locals 指的就是類的局部命名空間。
說到局部命名空間,你可能會(huì)想到 locals(),但是,我們之前有文章提到過“l(fā)ocals() 與 globals() 的讀寫問題”,locals() 是可讀不可寫的,所以這段代碼才用了 f_locals。
3、pytest 如何實(shí)現(xiàn)參數(shù)化?
按慣例先看看上篇文章中的寫法:
import pytest @pytest.mark.parametrize("first,second", [(3,1), (-1,0), (1.5,1.0)]) def test_values(first, second): assert(first > second)
首先看到“mark”,pytest 里內(nèi)置了一些標(biāo)簽,例如 parametrize、timeout、skipif、xfail、tryfirst、trylast 等,還支持用戶自定義的標(biāo)簽,可以設(shè)置執(zhí)行條件、分組篩選執(zhí)行,以及修改原測(cè)試行為等等。
用法也是非常簡(jiǎn)單的,然而,其源碼可復(fù)雜多了。我們這里只關(guān)注 parametrize,先看看核心的一段代碼:
根據(jù)傳入的參數(shù)對(duì),它復(fù)制了原測(cè)試方法的調(diào)用信息,存入待調(diào)用的列表里。跟前面分析的兩個(gè)庫(kù)不同,它并沒有在此創(chuàng)建新的測(cè)試方法,而是復(fù)用了已有的方法。在 parametrize() 所屬的 Metafunc 類往上查找,可以追蹤到 _calls 列表的使用位置:
最終是在 Function 類中執(zhí)行:
好玩的是,在這里我們可以看到幾行神注釋……
閱讀(粗淺涉獵) pytest 的源碼,真的是自討苦吃……不過,依稀大致可以看出,它在實(shí)現(xiàn)參數(shù)化時(shí),使用的是生成器的方案,遍歷一個(gè)參數(shù)則調(diào)用一次測(cè)試方法,而前面的 ddt 和 parameterized 則是一次性把所有參數(shù)解析完,生成 n 個(gè)新的測(cè)試方法,再交給測(cè)試框架去調(diào)度。
對(duì)比一下,前兩個(gè)庫(kù)的思路很清晰,而且由于其設(shè)計(jì)單純是為了實(shí)現(xiàn)參數(shù)化,不像 pytest 有什么標(biāo)記和過多的抽象設(shè)計(jì),所以更易讀易懂。前兩個(gè)庫(kù)發(fā)揮了 Python 的動(dòng)態(tài)特性,設(shè)置類屬性或者注入局部命名空間,而 pytest 倒像是從什么靜態(tài)語言中借鑒的思路,略顯笨拙。
4、最后小結(jié)
回到標(biāo)題中的問題“如何將一個(gè)方法變?yōu)槎鄠€(gè)方法?”除了在參數(shù)化測(cè)試中,不知還有哪些場(chǎng)景會(huì)有此訴求?歡迎留言討論。
本文分析了三個(gè)測(cè)試庫(kù)的裝飾器實(shí)現(xiàn)思路,通過閱讀源碼,我們可以發(fā)現(xiàn)它們各有千秋,這個(gè)發(fā)現(xiàn)本身還挺有意思。在使用裝飾器時(shí),表面看它們差異不大,但是真功夫的細(xì)節(jié)都隱藏在底下。
源碼分析的意義在于探究其所以然,在這次探究之旅中,讀者們可有什么收獲啊?一起來聊聊吧!
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
LSTM 模型輸入長(zhǎng)度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長(zhǎng)序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠(chéng)摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡(jiǎn)稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測(cè)分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢(shì)預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測(cè)分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭(zhēng)搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢(shì)性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢(shì)性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢(shì)與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢(shì)變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國(guó)內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對(duì)策略? 長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場(chǎng)調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場(chǎng)調(diào)研是企業(yè)洞察市場(chǎng)動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場(chǎng)調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動(dòng)力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03