python數(shù)據(jù)分析筆記—數(shù)據(jù)加載與整理

數(shù)據(jù)加載

導(dǎo)入文本數(shù)據(jù)

1、導(dǎo)入文本格式數(shù)據(jù)(CSV)的方法：

方法一：使用pd.read_csv()，默認(rèn)打開csv文件。

9、10、11行三種方式均可以導(dǎo)入文本格式的數(shù)據(jù)。

特殊說明：第9行使用的條件是運(yùn)行文件.py需要與目標(biāo)文件CSV在一個文件夾中的時候可以只寫文件名。第10和11行中文件名ex1.CSV前面的部分均為文件的路徑。

方法二：使用pd.read.table(),需要指定是什么樣分隔符的文本文件。用sep=””來指定。

2、當(dāng)文件沒有標(biāo)題行時

可以讓pandas為其自動分配默認(rèn)的列名。

也可以自己定義列名。

3、將某一列作為索引，比如使用message列做索引。通過index_col參數(shù)指定’message’。

4、要將多個列做成一個層次化索引，只需傳入由列編號或列名組成的列表即可。

5、文本中缺失值處理，缺失數(shù)據(jù)要么是沒有(空字符串)，要么是用某個標(biāo)記值表示的，默認(rèn)情況下，pandas會用一組經(jīng)常出現(xiàn)的標(biāo)記值進(jìn)行識別，如NA、NULL等。查找出結(jié)果以NAN顯示。

6、逐塊讀取文本文件

如果只想讀取幾行(避免讀取整個文件)，通過nrows進(jìn)行制定即可。

7、對于不是使用固定分隔符分割的表格，可以使用正則表達(dá)式來作為read_table的分隔符。

(’\s+’是正則表達(dá)式中的字符)。

導(dǎo)入JSON數(shù)據(jù)

JSON數(shù)據(jù)是通過HTTP請求在Web瀏覽器和其他應(yīng)用程序之間發(fā)送數(shù)據(jù)的標(biāo)注形式之一。通過json.loads即可將JSON對象轉(zhuǎn)換成Python對象。(import json)

對應(yīng)的json.dumps則將Python對象轉(zhuǎn)換成JSON格式。

導(dǎo)入EXCEL數(shù)據(jù)

直接使用read_excel(文件名路徑)進(jìn)行獲取，與讀取CSV格式的文件類似。

導(dǎo)入數(shù)據(jù)庫數(shù)據(jù)

主要包含兩種數(shù)據(jù)庫文件，一種是SQL關(guān)系型數(shù)據(jù)庫數(shù)據(jù)，另一種是非SQL型數(shù)據(jù)庫數(shù)據(jù)即MongoDB數(shù)據(jù)庫文件。

數(shù)據(jù)庫文件是這幾種里面比較難的，本人沒有接觸數(shù)據(jù)庫文件，沒有親測，所以就不貼截圖了。

數(shù)據(jù)整理

合并數(shù)據(jù)集

1、數(shù)據(jù)庫風(fēng)格的合并

數(shù)據(jù)庫風(fēng)格的合并與SQL數(shù)據(jù)庫中的連接(join)原理一樣。通過調(diào)用merge函數(shù)即可進(jìn)行合并。

當(dāng)沒有指明用哪一列進(jìn)行連接時，程序?qū)⒆詣影粗丿B列的列名進(jìn)行連接，上述語句就是按重疊列“key”列進(jìn)行連接。也可以通過on來指定連接列進(jìn)行連接。

當(dāng)兩個對象的列名不同時，即兩個對象沒有共同列時，也可以分別進(jìn)行指定。

Left_on是指左側(cè)DataFrame中用作連接的列。

right_on是指右側(cè)DataFrame中用作連接的列。

通過上面的語句得到的結(jié)果里面只有a和b對應(yīng)的數(shù)據(jù)，c和d以及與之相關(guān)的數(shù)據(jù)被消去，這是因?yàn)槟J(rèn)情況下，merge做的是‘inner’連接，即sql中的內(nèi)連接，取得兩個對象的交集。也有其他方式連接：left、right、outer。用“how”來指明。

也可以根據(jù)多個鍵(列)進(jìn)行合并，用on傳入一個由列名組成的列表即可。

2、索引上的合并

(1)普通索引的合并

Left_index表示將左側(cè)的行索引引用做其連接鍵

right_index表示將右側(cè)的行索引引用做其連接鍵

上面兩個用于DataFrame中的連接鍵位于其索引中，可以使用Left_index=True或right_index=True或兩個同時使用來進(jìn)行鍵的連接。

(2)層次化索引

與數(shù)據(jù)庫中用on來根據(jù)多個鍵合并一樣。

3、軸向連接(合并)

軸向連接，默認(rèn)是在軸方向進(jìn)行連接，也可以通過axis=1使其進(jìn)行橫向連接。

(1)對于numpy對象(數(shù)組)可以用numpy中的concatenation函數(shù)進(jìn)行合并。

(2)對于pandas對象(如Series和DataFrame),可以pandas中的concat函數(shù)進(jìn)行合并。

·4、合并重疊數(shù)據(jù)

對于索引全部或部分重疊的兩個數(shù)據(jù)集，我們可以使用numpy的where函數(shù)來進(jìn)行合并，where函數(shù)相當(dāng)于if—else函數(shù)。

對于重復(fù)的數(shù)據(jù)顯示出相同的數(shù)據(jù)，而對于不同的數(shù)據(jù)顯示a列表的數(shù)據(jù)。同時也可以使用combine_first的方法進(jìn)行合并。合并原則與where函數(shù)一致，遇到相同的數(shù)據(jù)顯示相同數(shù)據(jù)，遇到不同的顯示a列表數(shù)據(jù)。

重塑數(shù)據(jù)集

1、旋轉(zhuǎn)數(shù)據(jù)

(1)重塑索引、分為stack(將數(shù)據(jù)的列旋轉(zhuǎn)為行)和unstack(將數(shù)據(jù)的行旋轉(zhuǎn)為列)。

(2)將‘長格式’旋轉(zhuǎn)為‘寬格式’

2、轉(zhuǎn)換數(shù)據(jù)

(1)數(shù)據(jù)替換，將某一值或多個值用新的值進(jìn)行代替。(比較常用的是缺失值或異常值處理，缺失值一般都用NULL、NAN標(biāo)記，可以用新的值代替缺失標(biāo)記值)。方法是replace。

一對一替換：用np.nan替換-999

多對一替換：用np.nan替換-999和-1000.

多對多替換：用np.nan代替-999,0代替-1000.

也可以使用字典的形式來進(jìn)行替換。

(2)離散化或面元劃分，即根據(jù)某一條件將數(shù)據(jù)進(jìn)行分組。

利用pd.cut()方式對一組年齡進(jìn)行分組。

默認(rèn)情況下，cut對分組條件的左邊是開著的狀態(tài)，右邊是閉合狀態(tài)。可以用left(right)=False來設(shè)置哪邊是閉合的。

清理數(shù)據(jù)集

主要是指清理重復(fù)值，DataFrame中經(jīng)常會出現(xiàn)重復(fù)行，清理數(shù)據(jù)主要是針對這些重復(fù)行進(jìn)行清理。

利用drop_duplicates方法，可以返回一個移除了重復(fù)行的DataFrame.

默認(rèn)情況下，此方法是對所有的列進(jìn)行重復(fù)項(xiàng)清理操作，也可以用來指定特定的一列或多列進(jìn)行。

默認(rèn)情況下，上述方法保留的是第一個出現(xiàn)的值組合，傳入take_last=true則保留最后一個。