
詳解Python中的序列化與反序列化的使用
學習過marshal模塊用于序列化和反序列化,但marshal的功能比較薄弱,只支持部分內置數據類型的序列化/反序列化,對于用戶自定義的類型就無能為力,同時marshal不支持自引用(遞歸引用)的對象的序列化。所以直接使用marshal來序列化/反序列化可能不是很方便。還好,python標準庫提供了功能更加強大且更加安全的pickle和cPickle模塊。
cPickle模塊是使用C語言實現(xiàn)的,所以在運行效率上比pickle要高。但是cPickle模塊中定義的類型不能被繼承(其實大多數時候,我們不需要從這些類型中繼承。)。cPickle和pickle的序列化/反序列化規(guī)則是一樣的,我們可以使用pickle序列化一個對象,然后使用cPickle來反序列化。同時,這兩個模塊在處理自引用類型時會變得更加“聰明”,它不會無限制的遞歸序列化自引用對象,對于同一對象的多次引用,它只會序列化一次。例如:
import marshal, pickle
list = [1]
list.append(list)
byt1 = marshal.dumps(list)
#出錯, 無限制的遞歸序列化
byt2 = pickle.dumps(list)
#No problem
pickle的序列化規(guī)則
Python規(guī)范(Python-specific)提供了pickle的序列化規(guī)則。這就不必擔心不同版本的Python之間序列化兼容性問題。默認情況下,pickle的序列化是基于文本的,我們可以直接用文本編輯器查看序列化的文本。我們也可以序列成二進制格式的數據,這樣的結果體積會更小。更詳細的內容,可以參考Python手冊pickle模塊。
下面就開始使用pickle吧~
pickle.dump(obj, file[, protocol])
序列化對象,并將結果數據流寫入到文件對象中。參數protocol是序列化模式,默認值為0,表示以文本的形式序列化。protocol的值還可以是1或2,表示以二進制的形式序列化。
pickle.load(file)
反序列化對象。將文件中的數據解析為一個Python對象。下面通過一個簡單的例子來演示上面兩個方法的使用:
#coding=gbk
import pickle, StringIO
class Person(object):
'''自定義類型。
'''
def __init__(self, name, address):
self.name = name
self.address = address
def display(self):
print 'name:', self.name, 'address:', self.address
jj = Person("JGood", "中國 杭州")
jj.display()
file = StringIO.StringIO()
pickle.dump(jj, file, 0)
#序列化
#print file.getvalue() #打印序列化后的結果
#del Person #反序列的時候,必須能找到對應類的定義。否則反序列化操作失敗。
file.seek(0)
jj1 = pickle.load(file)
#反序列化
jj1.display()
file.close()
注意:在反序列化的時候,必須能找到對應類的定義,否則反序列化將失敗。在上面的例子中,如果取消#del Person的注釋,在運行時將拋AttributeError異常,提示當前模塊找不到Person的定義。
pickle.dumps(obj[, protocol])
pickle.loads(string)
我們也可以直接獲取序列化后的數據流,或者直接從數據流反序列化。方法dumps與loads就完成這樣的功能。dumps返回序列化后的數據流,loads返回的序列化生成的對象。
python模塊中還定義了兩個類,分別用來序列化、反序列化對象。
class pickle.Pickler(file[, protocal]):
該類用于序列化對象。參數file是一個類文件對象(file-like object),用于保存序列化結果??蛇x參數表示序列化模式。它定義了兩個方法:
dump(obj):
將對象序列化,并保存到類文件對象中。參數obj是要序列化的對象。
clear_memo()
清空pickler的“備忘”。使用Pickler實例在序列化對象的時候,它會“記住”已經被序列化的對象引用,所以對同一對象多次調用dump(obj),pickler不會“傻傻”的去多次序列化。下面是一個簡單的例子:
#coding=gbk
import pickle, StringIO
class Person(object):
'''自定義類型。
'''
def __init__(self, name, address):
self.name = name
self.address = address
def display(self):
print 'name:', self.name, 'address:', self.address
fle = StringIO.StringIO()
pick = pickle.Pickler(fle)
person = Person("JGood", "Hangzhou China")
pick.dump(person)
val1 = fle.getvalue()
print len(val1)
pick.clear_memo()
#注釋此句,再看看運行結果
pick.dump(person)
#對同一引用對象再次進行序列化
val2 = fle.getvalue()
print len(val2)
#---- 結果 ----
#148
#296
#
#將這行代碼注釋掉:pick.clear_memo()
#結果為:
#148
#152
class pickle.Unpickler(file):
該類用于反序列化對象。參數file是一個類文件(file-like object)對象,Unpickler從該參數中獲取數據進行反序列化。
load():
反序列化對象。該方法會根據已經序列化的數據流,自動選擇合適的反序列化模式。
#.... 接上個例子中的代碼
fle.seek(0)
unpick = pickle.Unpickler(fle)
print unpick.load()
上面介紹了pickle模塊的基本使用,但和marshal一樣,并不是所有的類型都可以通過pickle序列化的。例如對于一個嵌套的類型,使用pickle序列化就失敗。例如:
class A(object):
class B(object):
def __init__(self, name):
self.name = name
def __init__(self):
print 'init A'
b = A.B("my name")
print b
c = pickle.dumps(b, 0)
#失敗哦
print pickle.loads(c)
關于pickle支持的序列化類型,可以參考Python手冊。
數據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關鍵? 在循環(huán)神經網絡(RNN)家族中,長短期記憶網絡(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數據分析師報考條件詳解與準備指南? ? 在數據驅動決策的時代浪潮下,CDA 數據分析師認證愈發(fā)受到矚目,成為眾多有志投身數 ...
2025-07-11數據透視表中兩列相乘合計的實用指南? 在數據分析的日常工作中,數據透視表憑借其強大的數據匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數據分析師:連接數據與業(yè)務的價值轉化者? ? 在大數據與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預測分析中的應用:從數據查詢到趨勢預判? ? 在數據驅動決策的時代,預測分析作為挖掘數據潛在價值的核心手段,正被廣泛 ...
2025-07-10數據查詢結束后:分析師的收尾工作與價值深化? ? 在數據分析的全流程中,“query end”(查詢結束)并非工作的終點,而是將數 ...
2025-07-10CDA 數據分析師考試:從報考到取證的全攻略? 在數字經濟蓬勃發(fā)展的今天,數據分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數據背后的時間軌跡? 在數據分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數據類型:時間維度的精準切片? ? 在數據的世界里,時間是最不可或缺的維度之一,而year_month數據類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數據分析中的核心應用與實戰(zhàn)技巧? ? 在 CDA 數據分析師認證考試中,Python 作為數據處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數據趨勢與突變分析的有力工具? ? ? 在數據分析的廣袤領域中,準確捕捉數據的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數據分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數據分析師認證作為國內權威的數據分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應對策略? 長短期記憶網絡(LSTM)作為循環(huán)神經網絡(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學方法在市場調研數據中的深度應用? 市場調研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學方法則是市場調研數 ...
2025-07-07CDA數據分析師證書考試全攻略? 在數字化浪潮席卷全球的當下,數據已成為企業(yè)決策、行業(yè)發(fā)展的核心驅動力,數據分析師也因此成為 ...
2025-07-07剖析 CDA 數據分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數據分析師考試作為衡量數據專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉日期:解鎖數據處理的關鍵技能? 在數據處理與分析工作中,數據格式的規(guī)范性是保證后續(xù)分析準確性的基礎 ...
2025-07-04CDA 數據分析師視角:從數據迷霧中探尋商業(yè)真相? 在數字化浪潮席卷全球的今天,數據已成為企業(yè)決策的核心驅動力,CDA(Certifie ...
2025-07-04CDA 數據分析師:開啟數據職業(yè)發(fā)展新征程? ? 在數據成為核心生產要素的今天,數據分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03