
在python的類中動態(tài)添加屬性與生成對象
本文將通過一下幾個方面來一一進(jìn)行解決
1、程序的主要功能
2、實(shí)現(xiàn)過程
3、類的定義
4、用生成器generator動態(tài)更新每個對象并返回對象
5、使用strip 去除不必要的字符
6、rematch匹配字符串
7、使用timestrptime提取字符串轉(zhuǎn)化為時間對象
8、完整代碼
程序的主要功能
現(xiàn)在有個存儲用戶信息的像表格一樣的文檔:第一行是屬性,各個屬性用逗號(,)分隔,從第二行開始每行是各個屬性對應(yīng)的值,每行代表一個用戶。如何實(shí)現(xiàn)讀入這個文檔,每行輸出一個用戶對象呢?
另外還有4個小要求:
每個文檔都很大,如果一次性把所有行生成的那么多對象存成列表返回,內(nèi)存會崩潰。程序中每次只能存一個行生成的對象。
用逗號隔開的每個字符串,前后可能有雙引號(”)或者單引號('),例如”張三“,要把引號去掉;如果是數(shù)字,有+000000001.24這樣的,要把前面的+和0都去掉,提取出1.24
文檔中有時間,形式可能是2013-10-29,也可能是2013/10/29 2:23:56 這樣的形式,要把這樣的字符串轉(zhuǎn)成時間類型
這樣的文檔有好多個,每個的屬性都不一樣,例如這個是用戶的信息,那個是通話紀(jì)錄。所以類中的具體屬性有哪些要根據(jù)文檔的第一行動態(tài)生成
實(shí)現(xiàn)過程
1.類的定義
由于屬性是動態(tài)添加的,屬性-值 對也是動態(tài)添加的,類中要含有updateAttributes()和updatePairs()兩個成員函數(shù)即可,此外用列表attributes存儲屬性,詞典attrilist存儲映射。其中init()函數(shù)為構(gòu)造函數(shù)。 __attributes前有下劃線表示私有變量,不能在外面直接調(diào)用。實(shí)例化時只需a=UserInfo()即可,無需任何參數(shù)。
class UserInfo(object):
'Class to restore UserInformation'
def __init__ (self):
self.attrilist={}
self.__attributes=[]
def updateAttributes(self,attributes):
self.__attributes=attributes
def updatePairs(self,values):
for i in range(len(values)):
self.attrilist[self.__attributes[i]]=values[i]
2.用生成器(generator)動態(tài)更新每個對象并返回對象
生成器相當(dāng)于一個只需要初始化一次,就可自動運(yùn)行多次的函數(shù),每次循環(huán)返回一個結(jié)果。不過函數(shù)用return 返回結(jié)果,而生成器用yield 返回結(jié)果。每次運(yùn)行都在yield返回,下一次運(yùn)行從yield之后開始。例如,我們實(shí)現(xiàn)斐波拉契數(shù)列,分別用函數(shù)和生成器實(shí)現(xiàn):
def fib(max):
n, a, b = 0, 0, 1
while n < max:
print(b)
a, b = b, a + b
n = n + 1
return 'done'
我們計(jì)算數(shù)列的前6個數(shù):
>>> fib(6)
1
1
2
3
5
8
'done'
如果用生成器的話,只要把 print 改成 yield 就可以了。如下:
def fib(max):
n, a, b = 0, 0, 1
while n < max:
yield b
a, b = b, a + b
n = n + 1
使用方法:
>>> f = fib(6)
>>> f
<generator object fib at 0x104feaaa0>
>>> for i in f:
... print(i)
...
1
1
2
3
5
8
>>>
可以看到,生成器fib本身是個對象,每次執(zhí)行到y(tǒng)ield會中斷返回一個結(jié)果,下次又繼續(xù)從yield的下一行代碼繼續(xù)執(zhí)行。生成器還可以用generator.next()執(zhí)行。
在我的程序中,生成器部分代碼如下:
def ObjectGenerator(maxlinenum):
filename='/home/thinkit/Documents/usr_info/USER.csv'
attributes=[]
linenum=1
a=UserInfo()
file=open(filename)
while linenum < maxlinenum:
values=[]
line=str.decode(file.readline(),'gb2312')#linecache.getline(filename, linenum,'gb2312')
if line=='':
print'reading fail! Please check filename!'
break
str_list=line.split(',')
for item in str_list:
item=item.strip()
item=item.strip('\"')
item=item.strip('\'')
item=item.strip('+0*')
item=catchTime(item)
if linenum==1:
attributes.append(item)
else:
values.append(item)
if linenum==1:
a.updateAttributes(attributes)
else:
a.updatePairs(values)
yield a.attrilist #change to ' a ' to use
linenum = linenum +1
其中,a=UserInfo()為類UserInfo的實(shí)例化.因?yàn)槲臋n是gb2312編碼的,上面使用了對應(yīng)的解碼方法。由于第一行是屬性,有個函數(shù)將屬性列表存入U(xiǎn)serInfo中,即updateAttributes();后面的行則要將 屬性-值 對讀入一個字典中存儲。p.s.python中的字典相當(dāng)于映射(map).
3.使用strip 去除不必要的字符
從上面代碼中,可以看到使用str.strip(somechar)即可去除str前后的somechar字符。somechar可以是符號,也可以是正則表達(dá)式,如上:
item=item.strip()#除去字符串前后的所有轉(zhuǎn)義字符,如\t,\n等
item=item.strip('\"')#除去前后的"
item=item.strip('\'')
item=item.strip('+0*')#除去前后的+00...00,*表示0的個數(shù)可以任意多,也可以沒有
4.re.match匹配字符串
函數(shù)語法:
re.match(pattern, string, flags=0)
函數(shù)參數(shù)說明:
參數(shù) 描述
pattern 匹配的正則表達(dá)式
string 要匹配的字符串。
flags 標(biāo)志位,用于控制正則表達(dá)式的匹配方式,如:是否區(qū)分大小寫,多行匹配等等。
若匹配成功re.match方法返回一個匹配的對象,否則返回None。`
>>> s='2015-09-18'
>>> matchObj=re.match(r'\d{4}-\d{2}-\d{2}',s, flags= 0)
>>> print matchObj
<_sre.SRE_Match object at 0x7f3525480f38>
5.使用time.strptime提取字符串轉(zhuǎn)化為時間對象
在time模塊中,time.strptime(str,format)可以把str按照format格式轉(zhuǎn)化為時間對象,format中的常用格式有:
%y 兩位數(shù)的年份表示(00-99)
%Y 四位數(shù)的年份表示(000-9999)
%m 月份(01-12)
%d 月內(nèi)中的一天(0-31)
%H 24小時制小時數(shù)(0-23)
%I 12小時制小時數(shù)(01-12)
%M 分鐘數(shù)(00=59)
%S 秒(00-59)
此外,還需要使用re模塊,用正則表達(dá)式,對字符串進(jìn)行匹配,看是否是一般時間的格式,如YYYY/MM/DD H:M:S, YYYY-MM-DD等
在上面的代碼中,函數(shù)catchTime就是判斷item是否為時間對象,是的話轉(zhuǎn)化為時間對象。
代碼如下:
import time
import re
def catchTime(item):
# check if it's time
matchObj=re.match(r'\d{4}-\d{2}-\d{2}',item, flags= 0)
if matchObj!= None :
item =time.strptime(item,'%Y-%m-%d')
#print "returned time: %s " %item
return item
else:
matchObj=re.match(r'\d{4}/\d{2}/\d{2}\s\d+:\d+:\d+',item,flags=0 )
if matchObj!= None :
item =time.strptime(item,'%Y/%m/%d %H:%M:%S')
#print "returned time: %s " %item
return item
完整代碼:
import collections
import time
import re
class UserInfo(object):
'Class to restore UserInformation'
def __init__ (self):
self.attrilist=collections.OrderedDict()# ordered
self.__attributes=[]
def updateAttributes(self,attributes):
self.__attributes=attributes
def updatePairs(self,values):
for i in range(len(values)):
self.attrilist[self.__attributes[i]]=values[i]
def catchTime(item):
# check if it's time
matchObj=re.match(r'\d{4}-\d{2}-\d{2}',item, flags= 0)
if matchObj!= None :
item =time.strptime(item,'%Y-%m-%d')
#print "returned time: %s " %item
return item
else:
matchObj=re.match(r'\d{4}/\d{2}/\d{2}\s\d+:\d+:\d+',item,flags=0 )
if matchObj!= None :
item =time.strptime(item,'%Y/%m/%d %H:%M:%S')
#print "returned time: %s " %item
return item
def ObjectGenerator(maxlinenum):
filename='/home/thinkit/Documents/usr_info/USER.csv'
attributes=[]
linenum=1
a=UserInfo()
file=open(filename)
while linenum < maxlinenum:
values=[]
line=str.decode(file.readline(),'gb2312')#linecache.getline(filename, linenum,'gb2312')
if line=='':
print'reading fail! Please check filename!'
break
str_list=line.split(',')
for item in str_list:
item=item.strip()
item=item.strip('\"')
item=item.strip('\'')
item=item.strip('+0*')
item=catchTime(item)
if linenum==1:
attributes.append(item)
else:
values.append(item)
if linenum==1:
a.updateAttributes(attributes)
else:
a.updatePairs(values)
yield a.attrilist #change to ' a ' to use
linenum = linenum +1
if __name__ == '__main__':
for n in ObjectGenerator(10):
print n #輸出字典,看是否正確
總結(jié)
以上就是這篇文章的全部內(nèi)容,希望能對大家的學(xué)習(xí)或者工作帶來一定幫助
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗(yàn):捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03