
學(xué)習(xí)python過程中,大家對于python的一些理論知識一定要理解清楚,不要搞混。今天小編跟大家分享的就是對于python中eval() 與 exec()的辨析。希望對于大家學(xué)習(xí)和使用python有所幫助。
文章來源: Python貓
作者: 豌豆花下貓
python 提供了很多內(nèi)置的工具函數(shù)(Built-in Functions),在最新的 python 3 官方文檔中,它列出了 69 個(gè)。
大部分函數(shù)是我們經(jīng)常使用的,例如 print()、open() 與 dir(),而有一些函數(shù)雖然不常用,但它們在某些場景下,卻能發(fā)揮出不一般的作用。內(nèi)置函數(shù)們能夠被“提拔”出來,這就意味著它們皆有獨(dú)到之處,有用武之地。
因此,掌握內(nèi)置函數(shù)的用法,就成了我們應(yīng)該點(diǎn)亮的技能。
在《Python進(jìn)階:如何將字符串常量轉(zhuǎn)為變量?》文中,我提到過 eval() 和 exec() ,但對它們并不太了解。為了彌補(bǔ)這方面知識,我就重新學(xué)習(xí)了下。這篇文章是一份超級詳細(xì)的學(xué)習(xí)記錄,系統(tǒng)、全面而深入地辨析了這兩大函數(shù)。
語法:eval(expression, globals=None, locals=None)
它有三個(gè)參數(shù),其中 expression 是一個(gè)字符串類型的表達(dá)式或代碼對象,用于做運(yùn)算;globals 與 locals 是可選參數(shù),默認(rèn)值是 None。
具體而言,expression 只能是單個(gè)表達(dá)式,不支持復(fù)雜的代碼邏輯,例如賦值操作、循環(huán)語句等等。(PS:單個(gè)表達(dá)式并不意味著“簡單無害”,參見下文第 4 節(jié))
globals 用于指定運(yùn)行時(shí)的全局命名空間,類型是字典,缺省時(shí)使用的是當(dāng)前模塊的內(nèi)置命名空間。locals 指定運(yùn)行時(shí)的局部命名空間,類型是字典,缺省時(shí)使用 globals 的值。兩者都缺省時(shí),則遵循 eval 函數(shù)執(zhí)行時(shí)的作用域。值得注意的是,這兩者不代表真正的命名空間,只在運(yùn)算時(shí)起作用,運(yùn)算后則銷毀。
x = 10 def func(): y = 20 a = eval('x + y') print('a: ', a) b = eval('x + y', {'x': 1, 'y': 2}) print('x: ' + str(x) + ' y: ' + str(y)) print('b: ', b) c = eval('x + y', {'x': 1, 'y': 2}, {'y': 3, 'z': 4}) print('x: ' + str(x) + ' y: ' + str(y)) print('c: ', c) func()
輸出結(jié)果:
a: 30 x: 10 y: 20 b: 3 x: 10 y: 20 c: 4
由此可見,當(dāng)指定了命名空間的時(shí)候,變量會在對應(yīng)命名空間中查找。而且,它們的值不會覆蓋實(shí)際命名空間中的值。
語法:exec(object[, globals[, locals]])
在 Python2 中 exec 是個(gè)語句,而 Python3 將其改造成一個(gè)函數(shù),像 print 一樣。exec() 與 eval() 高度相似,三個(gè)參數(shù)的意義和作用相近。
主要的區(qū)別是,exec() 的第一個(gè)參數(shù)不是表達(dá)式,而是代碼塊,這意味著兩點(diǎn):一是它不能做表達(dá)式求值并返回出去,二是它可以執(zhí)行復(fù)雜的代碼邏輯,相對而言功能更加強(qiáng)大,例如,當(dāng)代碼塊中賦值了新的變量時(shí),該變量可能 在函數(shù)外的命名空間中存活下來。
>>> x = 1 >>> y = exec('x = 1 + 1') >>> print(x) >>> print(y) 2 None
可以看出,exec() 內(nèi)外的命名空間是相通的,變量由此傳遞出去,而不像 eval() 函數(shù),需要一個(gè)變量來接收函數(shù)的執(zhí)行結(jié)果。
兩個(gè)函數(shù)都很強(qiáng)大,它們將字符串內(nèi)容當(dāng)做有效的代碼執(zhí)行。這是一種字符串驅(qū)動的事件,意義重大。然而,在實(shí)際使用過程中,存在很多微小的細(xì)節(jié),此處就列出我所知道的幾點(diǎn)吧。
常見用途:將字符串轉(zhuǎn)成相應(yīng)的對象,例如 string 轉(zhuǎn)成 list ,string 轉(zhuǎn)成 dict,string 轉(zhuǎn) tuple 等等。
>>> a = "[[1,2], [3,4], [5,6], [7,8], [9,0]]" >>> print(eval(a)) [[1, 2], [3, 4], [5, 6], [7, 8], [9, 0]] >>> a = "{'name': 'Python貓', 'age': 18}" >>> print(eval(a)) {'name': 'Python貓', 'age': 18} # 與 eval 略有不同 >>> a = "my_dict = {'name': 'Python貓', 'age': 18}" >>> exec(a) >>> print(my_dict) {'name': 'Python貓', 'age': 18}
eval() 函數(shù)的返回值是其 expression 的執(zhí)行結(jié)果,在某些情況下,它會是 None,例如當(dāng)該表達(dá)式是 print() 語句,或者是列表的 append() 操作時(shí),這類操作的結(jié)果是 None,因此 eval() 的返回值也會是 None。
>>> result = eval('[].append(2)') >>> print(result) None
exec() 函數(shù)的返回值只會是 None,與執(zhí)行語句的結(jié)果無關(guān),所以,將 exec() 函數(shù)賦值出去,就沒有任何必要。所執(zhí)行的語句中,如果包含 return 或 yield ,它們產(chǎn)生的值也無法在 exec 函數(shù)的外部起作用。
>>> result = exec('1 + 1') >>> print(result) None
兩個(gè)函數(shù)中的 globals 和 locals 參數(shù),起到的是白名單的作用,通過限定命名空間的范圍,防止作用域內(nèi)的數(shù)據(jù)被濫用。
conpile() 函數(shù)編譯后的 code 對象,可作為 eval 和 exec 的第一個(gè)參數(shù)。compile() 也是個(gè)神奇的函數(shù),我翻譯的上一篇文章《Python騷操作:動態(tài)定義函數(shù)》就演示了一個(gè)動態(tài)定義函數(shù)的操作。
吊詭的局部命名空間:前面講到了 exec() 函數(shù)內(nèi)的變量是可以改變原有命名空間的,然而也有例外。
def foo(): exec('y = 1 + 1\nprint(y)') print(locals()) print(y) foo()
按照前面的理解,預(yù)期的結(jié)果是局部變量中會存入變量 y,因此兩次的打印結(jié)果都會是 2,然而實(shí)際上的結(jié)果卻是:
2 {'y': 2} Traceback (most recent call last): ...(略去部分報(bào)錯(cuò)信息) print(y) NameError: name 'y' is not defined
明明看到了局部命名空間中有變量 y,為何會報(bào)錯(cuò)說它未定義呢?
原因與 Python 的編譯器有關(guān),對于以上代碼,編譯器會先將 foo 函數(shù)解析成一個(gè) ast(抽象語法樹),然后將所有變量節(jié)點(diǎn)存入棧中,此時(shí) exec() 的參數(shù)只是一個(gè)字符串,整個(gè)就是常量,并沒有作為代碼執(zhí)行,因此 y 還不存在。直到解析第二個(gè) print() 時(shí),此時(shí)第一次出現(xiàn)變量 y ,但因?yàn)闆]有完整的定義,所以 y 不會被存入局部命名空間。
在運(yùn)行期,exec() 函數(shù)動態(tài)地創(chuàng)建了局部變量 y ,然而由于 Python 的實(shí)現(xiàn)機(jī)制是“運(yùn)行期的局部命名空間不可改變 ”,也就是說這時(shí)的 y 始終無法成為局部命名空間的一員,當(dāng)執(zhí)行 print() 時(shí)也就報(bào)錯(cuò)了。
至于為什么 locals() 取出的結(jié)果有 y,為什么它不能代表真正的局部命名空間?為什么局部命名空間無法被動態(tài)修改?可以查看我之前分享的《Python 動態(tài)賦值的陷阱》,另外,官方的 bug 網(wǎng)站中也有對此問題的討論,查看地址:https://bugs.python.org/issue4831
若想把 exec() 執(zhí)行后的 y 取出來的話,可以這樣:z = locals()['y'] ,然而如果不小心寫成了下面的代碼,則會報(bào)錯(cuò):
def foo(): exec('y = 1 + 1') y = locals()['y'] print(y) foo() #報(bào)錯(cuò):KeyError: 'y' #把變量 y 改為其它變量則不會報(bào)錯(cuò)
KeyError 指的是在字典中不存在對應(yīng)的 key 。本例中 y 作了聲明,卻因?yàn)檠h(huán)引用而無法完成賦值,即 key 值對應(yīng)的 value 是個(gè)無效值,因此讀取不到,就報(bào)錯(cuò)了。
此例還有 4 個(gè)變種,我想用一套自恰的說法來解釋它們,但嘗試了很久,未果。留個(gè)后話吧,等我想明白,再單獨(dú)寫一篇文章。
很多動態(tài)的編程語言中都會有 eval() 函數(shù),作用大同小異,但是,無一例外,人們會告訴你說,避免使用它。
為什么要慎用 eval() 呢?主要出于安全考慮,對于不可信的數(shù)據(jù)源,eval 函數(shù)很可能會招來代碼注入的問題。
>>> eval("__import__('os').system('whoami')") desktop-fa4b888\pythoncat >>> eval("__import__('subprocess').getoutput('ls ~')") #結(jié)果略,內(nèi)容是當(dāng)前路徑的文件信息
在以上例子中,我的隱私數(shù)據(jù)就被暴露了。而更可怕的是,如果將命令改為rm -rf ~ ,那當(dāng)前目錄的所有文件都會被刪除干凈。
針對以上例子,有一個(gè)限制的辦法,即指定 globals 為 {'__builtins__': None} 或者{'__builtins__': {}} 。
>>> s = {'__builtins__': None} >>> eval("__import__('os').system('whoami')", s) #報(bào)錯(cuò):TypeError: 'NoneType' object is not subscriptable
__builtins__ 包含了內(nèi)置命名空間中的名稱,在控制臺中輸入 dir(__builtins__) ,就能發(fā)現(xiàn)很多內(nèi)置函數(shù)、異常和其它屬性的名稱。在默認(rèn)情況下,eval 函數(shù)的 globals 參數(shù)會隱式地?cái)y帶__builtins__ ,即使是令 globals 參數(shù)為 {} 也如此,所以如果想要禁用它,就得顯式地指定它的值。
上例將它映射成 None,就意味著限定了 eval 可用的內(nèi)置命名空間為 None,從而限制了表達(dá)式調(diào)用內(nèi)置模塊或?qū)傩缘哪芰Α?
但是,這個(gè)辦法還不是萬無一失的,因?yàn)槿杂惺侄慰梢园l(fā)起攻擊。
某位漏洞挖掘高手在他的博客中分享了一個(gè)思路,令人大開眼界。其核心的代碼是下面這句,你可以試試執(zhí)行,看看輸出的是什么內(nèi)容。
>>> ().__class__.__bases__[0].__subclasses__()
關(guān)于這句代碼的解釋,以及更進(jìn)一步的利用手段,詳見:https://www.tuicool.com/articles/jeaqe2n
另外還有一篇博客,不僅提到了上例的手段,還提供了一種新的思路:
#警告:千萬不要執(zhí)行如下代碼,后果自負(fù)。 >>> eval('(lambda fc=(lambda n: [c 1="c" 2="in" 3="().__class__.__bases__[0" language="for"][/c].__subclasses__() if c.__name__ == n][0]):fc("function")(fc("code")(0,0,0,0,"KABOOM",(),(),(),"","",0,""),{})())()', {"__builtins__":None})
這行代碼會導(dǎo)致 Python 直接 crash 掉,詳見:https://segmentfault.com/a/1190000011532358
除了黑客的手段,簡單的內(nèi)容也能發(fā)起攻擊。像下例這樣的寫法, 將在短時(shí)間內(nèi)耗盡服務(wù)器的計(jì)算資源。
>>> eval("2 ** 888888888", {"__builtins__":None}, {})
如上所述,我們直觀地展示了 eval() 函數(shù)的危害性,然而,即使是 Python 高手們小心謹(jǐn)慎地使用,也不能保證不出錯(cuò)。
在官方的 dumbdbm 模塊中,曾經(jīng)(2014年)發(fā)現(xiàn)一個(gè)安全漏洞,攻擊者通過偽造數(shù)據(jù)庫文件,可以在調(diào)用 eval() 時(shí)發(fā)起攻擊。(詳情:https://bugs.python.org/issue22885)
無獨(dú)有偶,在上個(gè)月(2019.02),有核心開發(fā)者針對 Python 3.8 也提出了一個(gè)安全問題,提議不在 logging.config 中使用 eval() 函數(shù),目前該問題還是 open 狀態(tài)。(詳情:https://bugs.python.org/issue36022)
如此種種,足以說明為什么要慎用 eval() 了。同理可證,exec() 函數(shù)也得謹(jǐn)慎使用。
既然有種種安全隱患,為什么要創(chuàng)造出這兩個(gè)內(nèi)置方法呢?為什么要使用它們呢?
理由很簡單,因?yàn)?Python 是一門靈活的動態(tài)語言。與靜態(tài)語言不同,動態(tài)語言支持動態(tài)地產(chǎn)生代碼,對于已經(jīng)部署好的工程,也可以只做很小的局部修改,就實(shí)現(xiàn) bug 修復(fù)。
那有什么辦法可以相對安全地使用它們呢?
ast 模塊的 literal() 是 eval() 的安全替代,與 eval() 不做檢查就執(zhí)行的方式不同,ast.literal() 會先檢查表達(dá)式內(nèi)容是否有效合法。它所允許的字面內(nèi)容如下:
strings, bytes, numbers, tuples, lists, dicts, sets, booleans, 和 None
一旦內(nèi)容非法,則會報(bào)錯(cuò):
import ast ast.literal_eval("__import__('os').system('whoami')") 報(bào)錯(cuò):ValueError: malformed node or string
不過,它也有缺點(diǎn):AST 編譯器的棧深(stack depth)有限,解析的字符串內(nèi)容太多或太復(fù)雜時(shí),可能導(dǎo)致程序崩潰。
至于 exec() ,似乎還沒有類似的替代方法,畢竟它本身可支持的內(nèi)容是更加復(fù)雜多樣的。
最后是個(gè)建議:搞清楚它們的區(qū)別與運(yùn)行細(xì)節(jié)(例如前面的局部命名空間內(nèi)容),謹(jǐn)慎使用,限制可用的命名空間,對數(shù)據(jù)源作充分校驗(yàn)。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價(jià)值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時(shí),“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計(jì)劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計(jì)劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請求開發(fā)時(shí)(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價(jià)值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點(diǎn)數(shù)據(jù)的科學(xué)計(jì)數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點(diǎn)數(shù)據(jù)時(shí)的科學(xué)計(jì)數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價(jià)值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營問題、提升執(zhí)行效率的核心手段,其價(jià)值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計(jì)” 與 “用戶體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準(zhǔn)營銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價(jià)值 在數(shù)據(jù)驅(qū)動決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類分析:從操作實(shí)踐到業(yè)務(wù)價(jià)值挖掘 在數(shù)據(jù)分析場景中,聚類分析作為 “無監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計(jì)模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價(jià)值導(dǎo)向 統(tǒng)計(jì)模型作為數(shù)據(jù)分析的核心工具,并非簡單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10