1）去重

指定多列去重，這是在dataframe沒有獨一無二的字段作為PK（主鍵）時，需要指定多個字段一起作為該行的PK，在這種情況下對整體數(shù)據(jù)進行去重。

Attention：主要用到了drop_duplicates方法，并設(shè)置參數(shù)subset為多個字段名構(gòu)成的數(shù)組。

 

>>>import pandas as pd  
>>>data={'state':[1,1,2,2,1,2,2],'pop':['a','b','c','d','b','c','d']}

2）求差集

假設(shè)有兩個dataframe為a和b，a和b可以是相互包含的關(guān)系，現(xiàn)在想要將a中和b重復的內(nèi)容去掉，也就是求差集，步驟如下：

（1）需要對兩個dataframe進行去重。

（2）利用append方法，a=a.append(b)

（3）再次利用append方法，a=a.append(b)

（4）去重，利用drop_duplicates方法，a=a.drop_duplicates()，以及設(shè)置參數(shù)keep=False，意思就是只要有重復，重復的記錄都去掉。（keep默認='first',也就是保留第一條記錄）

具體代碼如下：

>>>data_a={'state':[1,1,2],'pop':['a','b','c']}
>>>data_b={'state':[1,2,3],'pop':['b','c','d']}
>>>a=pd.DataFrame(data_a)
>>>a 
popstate
0a1
1b1
2c2
>>>b=pd.DataFrame(data_b) 
>>>b
popstate
0b1
1c2
2d3
>>>a = a.append(b)
>>>a = a.append(b)
>>>result = a.drop_duplicates(subset=['pop','state'],keep=False)
>>>result
popstate
0a1