
python列表生成式與列表生成器的使用
列表生成式:會將所有的結(jié)果全部計算出來,把結(jié)果存放到內(nèi)存中,如果列表中數(shù)據(jù)比較多,就會占用過多的內(nèi)存空間,可能會導致MemoryError內(nèi)存錯誤或者導致程序在運行時出現(xiàn)卡頓的情況
列表生成器:會創(chuàng)建一個列表生成器對象,不會一次性的把所有結(jié)果都計算出來,如果需要獲取數(shù)據(jù),可以使用next()函數(shù)來獲取,但是需要注意,一旦next()函數(shù)獲取不到數(shù)據(jù),會導致出現(xiàn)StopIteration異常錯誤,可以使用for循環(huán)遍歷列表生成器,獲取所有數(shù)據(jù)
需要視情況而定,如果數(shù)據(jù)量比較大,推薦使用生成器
python2.7中就是range(生成式) 和 xrange(生成器)的區(qū)別
列表生成式是快速生成一個列表的一些公式
在列表中存放0~100的數(shù):
普通的列表生成:
numbers=[]
for x in range(0,101):
numbers.append(x)
print(numbers)
用列表生成式生成列表:[要放入列表的數(shù)據(jù) 簡單的表達式1 表達式2]
#x for x in range(0,101) for循環(huán)遍歷出來的值,放入列表中
numbers=[x for x in range(0,101)]
print(numbers)
列表中存放0~100的偶數(shù):
普通方法生成列表:
for x in range(0,101):
if x%2==0:
numbers.append(x)
print(numbers)
用列表生成式生成列表:
#for循環(huán)遍歷0~101的數(shù)字,如果數(shù)字對2取余==0,表示是偶數(shù),x放在列表中
numbers=[x for x in range(0,101)if x%2==0]
print(numbers)
找出列表list1=['asd','adf','dafg','acbo']帶有a的字符
普通寫法:
rs_list=[]
for s in list1:
if 'a' in s:
rs_list.append(s)
print(rs_list)
列表生成式:
list2=[x for x in list1 if 'a' in x]
列表生成式支持雙層for循環(huán)
list3=[x*y for x in range(0,10) for y in range(20)]
print(list3)
生成器構(gòu)造實例
# 使用類似列表生成式的方式構(gòu)造生成器
g1 = (2*n + 1 for n in range(3, 6))
# 使用包含yield的函數(shù)構(gòu)造生成器
def my_range(start, end):
for n in range(start, end):
yield 2*n + 1
g2 = my_range(3, 6)
print(type(g1))
print(type(g2))
輸出結(jié)果:
<class 'generator'>
<class 'generator'>
生成器的調(diào)用方式
要調(diào)用生成器產(chǎn)生新的元素,有兩種方式:
調(diào)用內(nèi)置的next()方法
使用循環(huán)對生成器對象進行遍歷(推薦)
調(diào)用生成器對象的send()方法
實例1:使用next()方法遍歷生成器
print(next(g1))
print(next(g1))
print(next(g1))
print(next(g1))
輸出結(jié)果:
7
9
11
Traceback (most recent call last):
File "***/generator.py", line 26, in <module>
print(next(g1))
StopIteration
print(next(g2))
print(next(g2))
print(next(g2))
print(next(g2))
輸出結(jié)果:
7
9
11
Traceback (most recent call last):
File "***/generator.py", line 31, in <module>
print(next(g2))
StopIteration
可見,使用next()方法遍歷生成器時,最后是以拋出一個StopIeration異常終止。
實例2:使用循環(huán)遍歷生成器
for x in g1:
print(x)
for x in g2:
print(x)
兩個循環(huán)的輸出結(jié)果是一樣的:
7
9
11
可見,使用循環(huán)遍歷生成器時比較簡潔,且最后不會拋出一個StopIeration異常。因此使用循環(huán)的方式遍歷生成器的方式才是被推薦的。
需要說明的是:如果生成器函數(shù)有返回值,要獲取該返回值的話,只能通過在一個while循環(huán)中不斷的next(),最后通過捕獲StopIteration異常
實例3:調(diào)用生成器對象的send()方法
def my_range(start, end):
for n in range(start, end):
ret = yield 2*n + 1
print(ret)
g3 = my_range(3, 6)
print(g3.send(None))
print(g3.send('hello01'))
print(g3.send('hello02'))
輸出結(jié)果:
7
hello01
9
hello02
11
print(next(g3))
print(next(g3))
print(next(g3))
輸出結(jié)果:
7
None
9
None
11
結(jié)論:
next()會調(diào)用yield,但不給它傳值
send()會調(diào)用yield,也會給它傳值(該值將成為當前yield表達式的結(jié)果值)
需要注意的是:第一次調(diào)用生成器的send()方法時,參數(shù)只能為None,否則會拋出異常。當然也可以在調(diào)用send()方法之前先調(diào)用一次next()方法,目的是讓生成器先進入yield表達式。
生成器與列表生成式對比
既然通過列表生成式就可以直接創(chuàng)建一個新的list,那么為什么還要有生成器存在呢?
因為列表生成式是直接創(chuàng)建一個新的list,它會一次性地把所有數(shù)據(jù)都存放到內(nèi)存中,這會存在以下幾個問題:
內(nèi)存容量有限,因此列表容量是有限的;
當列表中的數(shù)據(jù)量很大時,會占用大量的內(nèi)存空間,如果我們僅僅需要訪問前面有限個元素時,就會造成內(nèi)存資源的極大浪費;
當數(shù)據(jù)量很大時,列表生成式的返回時間會很慢;
而生成器中的元素是按照指定的算法推算出來的,只有調(diào)用時才生成相應的數(shù)據(jù)。這樣就不必一次性地把所有數(shù)據(jù)都生成,從而節(jié)省了大量的內(nèi)存空間,這使得其生成的元素個數(shù)幾乎是沒有限制的,并且操作的返回時間也是非??焖俚模▋H僅是創(chuàng)建一個變量而已)。
我們可以做個試驗:對比一下生成一個1000萬個數(shù)字的列表,分別看下用列表生成式和生成器時返回結(jié)果的時間和所占內(nèi)存空間的大?。?nbsp;
import time
import sys
time_start = time.time()
g1 = [x for x in range(10000000)]
time_end = time.time()
print('列表生成式返回結(jié)果花費的時間: %s' % (time_end - time_start))
print('列表生成式返回結(jié)果占用內(nèi)存大小:%s' % sys.getsizeof(g1))
def my_range(start, end):
for x in range(start, end):
yield x
time_start = time.time()
g2 = my_range(0, 10000000)
time_end = time.time()
print('生成器返回結(jié)果花費的時間: %s' % (time_end - time_start))
print('生成器返回結(jié)果占用內(nèi)存大?。?s' % sys.getsizeof(g2))
輸出結(jié)果:
列表生成式返回結(jié)果花費的時間: 0.8215489387512207
列表生成式返回結(jié)果占用內(nèi)存大?。?1528056
生成器返回結(jié)果花費的時間: 0.0
生成器返回結(jié)果占用內(nèi)存大?。?8
可見,生成器返回結(jié)果的時間幾乎為0,結(jié)果所占內(nèi)存空間的大小相對于列表生成器來說也要小的多。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預測分析中的應用:從數(shù)據(jù)查詢到趨勢預判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學方法在市場調(diào)研數(shù)據(jù)中的深度應用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03