作者：俊欣

來源：關(guān)于數(shù)據(jù)分析與可視化

大家好，又是新的一周，也是2021年的最后一周，今天小編來和大家說一說怎么從DataFrame數(shù)據(jù)集中篩選符合指定條件的數(shù)據(jù)，希望會(huì)對(duì)讀者朋友有所幫助。

導(dǎo)入數(shù)據(jù)集和模塊

我們先導(dǎo)入pandas模塊，并且讀取數(shù)據(jù)，代碼如下

import pandas as pd
df = pd.read_csv("netflix_titles.csv")
df.head()

根據(jù)文本內(nèi)容來篩選

首先我們可以根據(jù)文本內(nèi)容直接來篩選，返回的是True如果文本內(nèi)容是相匹配的，False如果文本內(nèi)容是不匹配的，代碼如下

mask = df['type'].isin(['TV Show'])
mask.head()

output

0 False 1 True 2 True 3 True 4 True Name: type, dtype: bool 

然后我們將這個(gè)mask作用到整個(gè)數(shù)據(jù)集當(dāng)中，返回的則是滿足與True條件的數(shù)據(jù)

df[mask].head()

output

當(dāng)然我們也可以和.loc方法來相結(jié)合，只挑選少數(shù)的幾個(gè)指定的列名，代碼如下

df.loc[mask, ['title','country','duration']].head()

output

title country duration 1 Blood & Water South Africa 2 Seasons 2 Ganglands NaN 1 Season 3 Jailbirds New Orleans NaN 1 Season 4 Kota Factory India 2 Seasons 5 Midnight Mass NaN 1 Season 

當(dāng)然要是我們所要篩選的文本內(nèi)容并不僅僅只有1個(gè)，就可以這么來操作，代碼如下

mask = df['type'].isin(['Movie','TV Show'])

結(jié)果返回的是True，要是文本內(nèi)容全部都匹配，要是出現(xiàn)一個(gè)不匹配的現(xiàn)象則返回的是False

根據(jù)關(guān)鍵字來篩選

我們可以根據(jù)某個(gè)關(guān)鍵字來篩選數(shù)據(jù)，數(shù)據(jù)集當(dāng)中的listed-in包含的是每部電影的種類，當(dāng)然很多電影并不只有一個(gè)種類，而是同時(shí)涉及到很多個(gè)種類，例如某一部電影既有“科幻”元素，也有“愛情”元素同時(shí)還包含了部分“動(dòng)作片”的元素。

我們按照某個(gè)關(guān)鍵字來篩選，例如篩選出包含了“horror”這個(gè)關(guān)鍵字的影片，代碼如下

mask = df['listed_in'].str.contains('horror', case=False, na=False)

其中的case=False表明的是忽略字母的大小寫問題，na=False表明的是對(duì)于缺失值返回的是False，

df[mask].head()

output

而要是文本數(shù)據(jù)當(dāng)中包含了一些特殊符號(hào)，例如+、^以及=等符號(hào)時(shí)，我們可以將regex參數(shù)設(shè)置成False（默認(rèn)的是True），這樣就不會(huì)被當(dāng)做是正則表達(dá)式的符號(hào)，代碼如下

df['a'].str.contains('^', regex=False)
#或者是 df['a'].str.contains('^')

根據(jù)多個(gè)關(guān)鍵字來篩選

當(dāng)關(guān)鍵字不僅僅只有一個(gè)的時(shí)候，就可以這么來操作

pattern = 'horror|stand-up' mask = df['listed_in'].str.contains(pattern, case=False, na=False)
df[mask].sample(5)

output

我們用了|來表示“或”的意思，將電影類別包含“horror”或者是“stand-up”這兩類的電影篩選出來

除此之外，我們還可以這么來做

mask1 = df['listed_in'].str.contains("horror", case=False)
mask2 = df['listed_in'].str.contains("stand-up", case=False)
df[mask1 | mask2].sample(5)

出來的結(jié)果和上述一樣，只不過過程可能稍加繁瑣，除了|表示的是“或”之外，也有表示的是和，也就是&標(biāo)識(shí)符，意味著條件全部都需要滿足即可，例如

mask1 = (df['listed_in'].str.contains('horror', case=False, na=False))
mask2 = (df['type'].isin(['TV Show']))
df[mask1 & mask2].head(3)

output

我們可以添加多個(gè)條件在其中，多個(gè)條件同時(shí)滿足，例如

mask1 = df['rating'].str.contains('tv', case=False, na=False)
mask2 = df['listed_in'].str.contains('tv', case=False, na=False)
mask3 = df['type'].str.contains('tv', case=False, na=False)
df[mask1 & mask2 & mask3].head()

output

正則表達(dá)式在pandas篩選數(shù)據(jù)中的應(yīng)用

我們同時(shí)也可以將正則表達(dá)式應(yīng)用在如下的數(shù)據(jù)篩選當(dāng)中，例如str.contains('str1.*str2')代表的是文本數(shù)據(jù)是否以上面的順序呈現(xiàn)，

pattern = 'states.*mexico' mask = data['country'].str.contains(pattern, case=False, na=False)
data[mask].head()

output

其中.*在正則表達(dá)式當(dāng)中表示匹配除換行符之外的所有字符，我們需要篩選出來包含states以及mexico結(jié)尾的文本數(shù)據(jù)，我們?cè)賮砜聪旅娴睦?

pattern = 'states.*mexico|mexico.*states' mask = data['country'].str.contains(pattern, case=False, na=False)
data[mask].head()

output

我們篩選出來的文本數(shù)據(jù)滿足兩個(gè)條件當(dāng)中的一個(gè)即可

lambda方法來篩選文本數(shù)據(jù)中的應(yīng)用

有一些篩選數(shù)據(jù)的方式可能稍顯復(fù)雜，因此需要lambda方法的介入，例如

cols_to_check = ['rating','listed_in','type']
pattern = 'tv' mask = data[cols_to_check].apply(
        lambda col:col.str.contains(
        pattern, na=False, case=False)).all(axis=1)

我們需要在rating、listed_in以及type這三列當(dāng)中篩選出包含tv的數(shù)據(jù)，我們來看一下結(jié)果如何

df[mask].head()

output

我們?cè)賮砜聪旅娴倪@個(gè)例子，

mask = df.apply(
    lambda x: str(x['director']) in str(x['cast']), 
    axis=1)

上面的例子當(dāng)中是來查看director這一列是否被包含在了cast這一列當(dāng)中，結(jié)果如下

df[mask].head()

output

filter方法

我們還可以通過filter方法來篩選文本的數(shù)據(jù)，例如篩選出列名包含in的數(shù)據(jù)，代碼如下

df.filter(like='in', axis=1).head(5)

output

當(dāng)然我們也可以用.loc方法來實(shí)現(xiàn)，代碼如下

df.loc[:, df.columns.str.contains('in')] 

出來的結(jié)果和上述的一樣

要是我們將axis改成0，就意味著是針對(duì)行方向的，例如篩選出行索引中包含Love的影片，代碼如下

df_1 = df.set_index('title')
df_1.filter(like='Love', axis=0).head(5)

output

當(dāng)然我們也可以通過.loc方法來實(shí)現(xiàn)，代碼如下

df_1.loc[df_1.index.str.contains('Love'), :].head()

篩選文本數(shù)據(jù)的其他方法

我們可以使用query方法，例如我們篩選出國家是韓國的影片

df.query('country == "South Korea"').head(5)

output

例如篩選出影片的添加時(shí)間是11月的，代碼如下

mask = df["date_added"].str.startswith("Nov")
df[mask].head()

output

那既然用到了startswith方法，那么就會(huì)有endswith方法，例如

df['col_name'].str.endswith('2019')

除此之外還有這些方法可以用來篩選文本數(shù)據(jù)

• df['col_name'].str.len()>10
• df['col_name'].str.isnumeric()
• df[col_name].str.isupper()
• df[col_name].str.islower()