
作者 | Martin Heinz
來源 | 機器之心
介紹 Python 炫酷功能(例如,變量解包,偏函數(shù),枚舉可迭代對象等)的文章層出不窮。但是還有很多 Python 的編程小技巧鮮被提及。因此,本文會試著介紹一些其它文章沒有提到的小技巧,這些小技巧也是我平時會用到的的,讓我們一探究竟吧!
整理字符串輸入
整理用戶輸入的問題在編程過程中極為常見。通常情況下,將字符轉(zhuǎn)換為小寫或大寫就夠了,有時你可以使用正則表達式模塊「Regex」完成這項工作。但是如果問題很復(fù)雜,可能有更好的方法來解決:
user_input = "This\nstring has\tsome whitespaces...\r\n" character_map = { ord('\n') : ' ', ord('\t') : ' ', ord('\r') : None } user_input.translate(character_map) # This string has some whitespaces...
在本例中,你可以看到空格符「\ n」和「\ t」都被替換成了單個空格,「\ r」都被刪掉了。這只是個很簡單的例子,我們可以更進一步,使用「unicodedata」程序包生成大型重映射表,并使用其中的「combining()」進行生成和映射,我們可以
迭代器切片(Slice)
如果對迭代器進行切片操作,會返回一個「TypeError」,提示生成器對象沒有下標,但是我們可以用一個簡單的方案來解決這個問題:
import itertools s = itertools.islice(range(50), 10, 20) # <itertools.islice object at 0x7f70fab88138> for val in s: ...
我們可以使用「itertools.islice」創(chuàng)建一個「islice」對象,該對象是一個迭代器,可以產(chǎn)生我們想要的項。但需要注意的是,該操作要使用切片之前的所有生成器項,以及「islice」對象中的所有項。
跳過可迭代對象的開頭
有時你要處理一些以不需要的行(如注釋)開頭的文件?!竔tertools」再次提供了一種簡單的解決方案:
string_from_file = """ // Author: ... // License: ... // // Date: ... Actual content... """ import itertools for line in itertools.dropwhile(lambda line: line.startswith("http://"), string_from_file.split("\n")): print(line)
這段代碼只打印初始注釋部分之后的內(nèi)容。如果我們只想舍棄可迭代對象的開頭部分(本示例中為開頭的注釋行),而又不知道要這部分有多長時,這種方法就很有用了。
只包含關(guān)鍵字參數(shù)的函數(shù) (kwargs)
當我們使用下面的函數(shù)時,創(chuàng)建僅僅需要關(guān)鍵字參數(shù)作為輸入的函數(shù)來提供更清晰的函數(shù)定義,會很有幫助:
def test(*, a, b): pass test("value for a", "value for b") # TypeError: test() takes 0 positional arguments... test(a="value", b="value 2") # Works...
如你所見,在關(guān)鍵字參數(shù)之前加上一個「*」就可以解決這個問題。如果我們將某些參數(shù)放在「*」參數(shù)之前,它們顯然是位置參數(shù)。
創(chuàng)建支持「with」語句的對象
舉例而言,我們都知道如何使用「with」語句打開文件或獲取鎖,但是我們可以實現(xiàn)自己上下文表達式嗎?是的,我們可以使用「__enter__」和「__exit__」來實現(xiàn)上下文管理協(xié)議:
class Connection: def __init__(self): ... def __enter__(self): # Initialize connection... def __exit__(self, type, value, traceback): # Close connection... with Connection() as c: # __enter__() executes ... # conn.__exit__() executes
這是在 Python 中最常見的實現(xiàn)上下文管理的方法,但是還有更簡單的方法:
from contextlib import contextmanager @contextmanager def tag(name): print(f"<{name}>") yield print(f"</{name}>") with tag("h1"): print("This is Title.")
上面這段代碼使用 contextmanager 的 manager 裝飾器實現(xiàn)了內(nèi)容管理協(xié)議。在進入 with 塊時 tag 函數(shù)的第一部分(在 yield 之前的部分)就已經(jīng)執(zhí)行了,然后 with 塊才被執(zhí)行,最后執(zhí)行 tag 函數(shù)的其余部分。
用「__slots__」節(jié)省內(nèi)存
如果你曾經(jīng)編寫過一個創(chuàng)建了某種類的大量實例的程序,那么你可能已經(jīng)注意到,你的程序突然需要大量的內(nèi)存。那是因為 Python 使用字典來表示類實例的屬性,這使其速度很快,但內(nèi)存使用效率卻不是很高。通常情況下,這并不是一個嚴重的問題。但是,如果你的程序因此受到嚴重的影響,不妨試一下「__slots__」:
class Person: __slots__ = ["first_name", "last_name", "phone"] def __init__(self, first_name, last_name, phone): self.first_name = first_name self.last_name = last_name self.phone = phone
當我們定義了「__slots__」屬性時,Python 沒有使用字典來表示屬性,而是使用小的固定大小的數(shù)組,這大大減少了每個實例所需的內(nèi)存。使用「__slots__」也有一些缺點:我們不能聲明任何新的屬性,我們只能使用「__slots__」上現(xiàn)有的屬性。而且,帶有「__slots__」的類不能使用多重繼承。
限制「CPU」和內(nèi)存使用量
如果不是想優(yōu)化程序?qū)?nèi)存或 CPU 的使用率,而是想直接將其限制為某個確定的數(shù)字,Python 也有一個對應(yīng)的庫可以做到:
import signal import resource import os # To Limit CPU time def time_exceeded(signo, frame): print("CPU exceeded...") raise SystemExit(1) def set_max_runtime(seconds): # Install the signal handler and set a resource limit soft, hard = resource.getrlimit(resource.RLIMIT_CPU) resource.setrlimit(resource.RLIMIT_CPU, (seconds, hard)) signal.signal(signal.SIGXCPU, time_exceeded) # To limit memory usage def set_max_memory(size): soft, hard = resource.getrlimit(resource.RLIMIT_AS) resource.setrlimit(resource.RLIMIT_AS, (size, hard))
我們可以看到,在上面的代碼片段中,同時包含設(shè)置最大 CPU 運行時間和最大內(nèi)存使用限制的選項。在限制 CPU 的運行時間時,我們首先獲得該特定資源(RLIMIT_CPU)的軟限制和硬限制,然后使用通過參數(shù)指定的秒數(shù)和先前檢索到的硬限制來進行設(shè)置。最后,如果 CPU 的運行時間超過了限制,我們將發(fā)出系統(tǒng)退出的信號。在內(nèi)存使用方面,我們再次檢索軟限制和硬限制,并使用帶「size」參數(shù)的「setrlimit」和先前檢索到的硬限制來設(shè)置它。
控制可以/不可以導(dǎo)入什么
有些語言有非常明顯的機制來導(dǎo)出成員(變量、方法、接口),例如在 Golang 中只有以大寫字母開頭的成員被導(dǎo)出。然而,在 Python 中,所有成員都會被導(dǎo)出(除非我們使用了「__all__」):
def foo(): pass def bar(): pass __all__ = ["bar"]
在上面這段代碼中,我們知道只有「bar」函數(shù)被導(dǎo)出了。同樣,我們可以讓「__all__」為空,這樣就不會導(dǎo)出任何東西,當從這個模塊導(dǎo)入的時候,會造成「AttributeError」。
實現(xiàn)比較運算符的簡單方法
為一個類實現(xiàn)所有的比較運算符(如 __lt__ , __le__ , __gt__ , __ge__)是很繁瑣的。有更簡單的方法可以做到這一點嗎?這種時候,「functools.total_ordering」就是一個很好的幫手:
from functools import total_ordering @total_ordering class Number: def __init__(self, value): self.value = value def __lt__(self, other): return self.value < other.value def __eq__(self, other): return self.value == other.value print(Number(20) > Number(3)) print(Number(1) < Number(5)) print(Number(15) >= Number(15)) print(Number(10) <= Number(2))
這里的工作原理究竟是怎樣的呢?我們用「total_ordering」裝飾器簡化實現(xiàn)對類實例排序的過程。我們只需要定義「__lt__」和「__eq__」就可以了,它們是實現(xiàn)其余操作所需要的最小的操作集合(這里也體現(xiàn)了裝飾器的作用——為我們填補空白)。
結(jié)語
并非本文中所有提到的功能在日常的 Python 編程中都是必需或有用的,但是其中某些功能可能會不時派上用場,而且它們也可能簡化一些原本就很冗長且令人煩惱的任務(wù)。還需指出的是,所有這些功能都是 Python 標準庫的一部分。而在我看來,其中一些功能似乎并不像標準庫中包含的標準內(nèi)容,所以當你使用 Python 實現(xiàn)本文提到的某些功能時,請先參閱 Python 的標準庫,如果你不能找到想要的功能,可能只是因為你還沒有盡力查找(如果真的沒有,那它肯定也存在于一些第三方庫)。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動態(tài)隨機一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗與 t 檢驗:差異、適用場景與實踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計學領(lǐng)域,假設(shè)檢驗是驗證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數(shù)量的準確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實踐指南 在 Python 進行 HTTP 網(wǎng)絡(luò)請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點數(shù)據(jù)的科學計數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點數(shù)據(jù)時的科學計數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計” 與 “用戶體驗 ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動下的精準零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當下,精準營銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價值 在數(shù)據(jù)驅(qū)動決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類分析:從操作實踐到業(yè)務(wù)價值挖掘 在數(shù)據(jù)分析場景中,聚類分析作為 “無監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價值導(dǎo)向 統(tǒng)計模型作為數(shù)據(jù)分析的核心工具,并非簡單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10