
作者 | Martin Heinz
來源 | 機器之心
介紹 Python 炫酷功能(例如,變量解包,偏函數(shù),枚舉可迭代對象等)的文章層出不窮。但是還有很多 Python 的編程小技巧鮮被提及。因此,本文會試著介紹一些其它文章沒有提到的小技巧,這些小技巧也是我平時會用到的的,讓我們一探究竟吧!
整理字符串輸入
整理用戶輸入的問題在編程過程中極為常見。通常情況下,將字符轉換為小寫或大寫就夠了,有時你可以使用正則表達式模塊「Regex」完成這項工作。但是如果問題很復雜,可能有更好的方法來解決:
user_input = "This\nstring has\tsome whitespaces...\r\n" character_map = { ord('\n') : ' ', ord('\t') : ' ', ord('\r') : None } user_input.translate(character_map) # This string has some whitespaces...
在本例中,你可以看到空格符「\ n」和「\ t」都被替換成了單個空格,「\ r」都被刪掉了。這只是個很簡單的例子,我們可以更進一步,使用「unicodedata」程序包生成大型重映射表,并使用其中的「combining()」進行生成和映射,我們可以
迭代器切片(Slice)
如果對迭代器進行切片操作,會返回一個「TypeError」,提示生成器對象沒有下標,但是我們可以用一個簡單的方案來解決這個問題:
import itertools s = itertools.islice(range(50), 10, 20) # <itertools.islice object at 0x7f70fab88138> for val in s: ...
我們可以使用「itertools.islice」創(chuàng)建一個「islice」對象,該對象是一個迭代器,可以產生我們想要的項。但需要注意的是,該操作要使用切片之前的所有生成器項,以及「islice」對象中的所有項。
跳過可迭代對象的開頭
有時你要處理一些以不需要的行(如注釋)開頭的文件?!竔tertools」再次提供了一種簡單的解決方案:
string_from_file = """ // Author: ... // License: ... // // Date: ... Actual content... """ import itertools for line in itertools.dropwhile(lambda line: line.startswith("http://"), string_from_file.split("\n")): print(line)
這段代碼只打印初始注釋部分之后的內容。如果我們只想舍棄可迭代對象的開頭部分(本示例中為開頭的注釋行),而又不知道要這部分有多長時,這種方法就很有用了。
只包含關鍵字參數(shù)的函數(shù) (kwargs)
當我們使用下面的函數(shù)時,創(chuàng)建僅僅需要關鍵字參數(shù)作為輸入的函數(shù)來提供更清晰的函數(shù)定義,會很有幫助:
def test(*, a, b): pass test("value for a", "value for b") # TypeError: test() takes 0 positional arguments... test(a="value", b="value 2") # Works...
如你所見,在關鍵字參數(shù)之前加上一個「*」就可以解決這個問題。如果我們將某些參數(shù)放在「*」參數(shù)之前,它們顯然是位置參數(shù)。
創(chuàng)建支持「with」語句的對象
舉例而言,我們都知道如何使用「with」語句打開文件或獲取鎖,但是我們可以實現(xiàn)自己上下文表達式嗎?是的,我們可以使用「__enter__」和「__exit__」來實現(xiàn)上下文管理協(xié)議:
class Connection: def __init__(self): ... def __enter__(self): # Initialize connection... def __exit__(self, type, value, traceback): # Close connection... with Connection() as c: # __enter__() executes ... # conn.__exit__() executes
這是在 Python 中最常見的實現(xiàn)上下文管理的方法,但是還有更簡單的方法:
from contextlib import contextmanager @contextmanager def tag(name): print(f"<{name}>") yield print(f"</{name}>") with tag("h1"): print("This is Title.")
上面這段代碼使用 contextmanager 的 manager 裝飾器實現(xiàn)了內容管理協(xié)議。在進入 with 塊時 tag 函數(shù)的第一部分(在 yield 之前的部分)就已經執(zhí)行了,然后 with 塊才被執(zhí)行,最后執(zhí)行 tag 函數(shù)的其余部分。
用「__slots__」節(jié)省內存
如果你曾經編寫過一個創(chuàng)建了某種類的大量實例的程序,那么你可能已經注意到,你的程序突然需要大量的內存。那是因為 Python 使用字典來表示類實例的屬性,這使其速度很快,但內存使用效率卻不是很高。通常情況下,這并不是一個嚴重的問題。但是,如果你的程序因此受到嚴重的影響,不妨試一下「__slots__」:
class Person: __slots__ = ["first_name", "last_name", "phone"] def __init__(self, first_name, last_name, phone): self.first_name = first_name self.last_name = last_name self.phone = phone
當我們定義了「__slots__」屬性時,Python 沒有使用字典來表示屬性,而是使用小的固定大小的數(shù)組,這大大減少了每個實例所需的內存。使用「__slots__」也有一些缺點:我們不能聲明任何新的屬性,我們只能使用「__slots__」上現(xiàn)有的屬性。而且,帶有「__slots__」的類不能使用多重繼承。
限制「CPU」和內存使用量
如果不是想優(yōu)化程序對內存或 CPU 的使用率,而是想直接將其限制為某個確定的數(shù)字,Python 也有一個對應的庫可以做到:
import signal import resource import os # To Limit CPU time def time_exceeded(signo, frame): print("CPU exceeded...") raise SystemExit(1) def set_max_runtime(seconds): # Install the signal handler and set a resource limit soft, hard = resource.getrlimit(resource.RLIMIT_CPU) resource.setrlimit(resource.RLIMIT_CPU, (seconds, hard)) signal.signal(signal.SIGXCPU, time_exceeded) # To limit memory usage def set_max_memory(size): soft, hard = resource.getrlimit(resource.RLIMIT_AS) resource.setrlimit(resource.RLIMIT_AS, (size, hard))
我們可以看到,在上面的代碼片段中,同時包含設置最大 CPU 運行時間和最大內存使用限制的選項。在限制 CPU 的運行時間時,我們首先獲得該特定資源(RLIMIT_CPU)的軟限制和硬限制,然后使用通過參數(shù)指定的秒數(shù)和先前檢索到的硬限制來進行設置。最后,如果 CPU 的運行時間超過了限制,我們將發(fā)出系統(tǒng)退出的信號。在內存使用方面,我們再次檢索軟限制和硬限制,并使用帶「size」參數(shù)的「setrlimit」和先前檢索到的硬限制來設置它。
控制可以/不可以導入什么
有些語言有非常明顯的機制來導出成員(變量、方法、接口),例如在 Golang 中只有以大寫字母開頭的成員被導出。然而,在 Python 中,所有成員都會被導出(除非我們使用了「__all__」):
def foo(): pass def bar(): pass __all__ = ["bar"]
在上面這段代碼中,我們知道只有「bar」函數(shù)被導出了。同樣,我們可以讓「__all__」為空,這樣就不會導出任何東西,當從這個模塊導入的時候,會造成「AttributeError」。
實現(xiàn)比較運算符的簡單方法
為一個類實現(xiàn)所有的比較運算符(如 __lt__ , __le__ , __gt__ , __ge__)是很繁瑣的。有更簡單的方法可以做到這一點嗎?這種時候,「functools.total_ordering」就是一個很好的幫手:
from functools import total_ordering @total_ordering class Number: def __init__(self, value): self.value = value def __lt__(self, other): return self.value < other.value def __eq__(self, other): return self.value == other.value print(Number(20) > Number(3)) print(Number(1) < Number(5)) print(Number(15) >= Number(15)) print(Number(10) <= Number(2))
這里的工作原理究竟是怎樣的呢?我們用「total_ordering」裝飾器簡化實現(xiàn)對類實例排序的過程。我們只需要定義「__lt__」和「__eq__」就可以了,它們是實現(xiàn)其余操作所需要的最小的操作集合(這里也體現(xiàn)了裝飾器的作用——為我們填補空白)。
結語
并非本文中所有提到的功能在日常的 Python 編程中都是必需或有用的,但是其中某些功能可能會不時派上用場,而且它們也可能簡化一些原本就很冗長且令人煩惱的任務。還需指出的是,所有這些功能都是 Python 標準庫的一部分。而在我看來,其中一些功能似乎并不像標準庫中包含的標準內容,所以當你使用 Python 實現(xiàn)本文提到的某些功能時,請先參閱 Python 的標準庫,如果你不能找到想要的功能,可能只是因為你還沒有盡力查找(如果真的沒有,那它肯定也存在于一些第三方庫)。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關鍵? 在循環(huán)神經網絡(RNN)家族中,長短期記憶網絡(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準備指南? ? 在數(shù)據(jù)驅動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務的價值轉化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預測分析中的應用:從數(shù)據(jù)查詢到趨勢預判? ? 在數(shù)據(jù)驅動決策的時代,預測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領域中,準確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認證作為國內權威的數(shù)據(jù)分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應對策略? 長短期記憶網絡(LSTM)作為循環(huán)神經網絡(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學方法在市場調研數(shù)據(jù)中的深度應用? 市場調研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學方法則是市場調研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉日期:解鎖數(shù)據(jù)處理的關鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準確性的基礎 ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03