作者：Parul Pandey

來源：SQL數(shù)據(jù)庫開發(fā)

一些小的技巧在編程領(lǐng)域可能會(huì)非常有用，在數(shù)據(jù)科學(xué)領(lǐng)域同樣如此。數(shù)據(jù)科學(xué)愛好者 Parul Pandey 在近日發(fā)表了一篇博文，分享了在數(shù)據(jù)科學(xué)中非常實(shí)用的 10 個(gè)小技巧。

有時(shí)候，一點(diǎn)小小的黑客行為可以節(jié)省時(shí)間，挽救生命。一個(gè)小小的快捷方式或附加組件有時(shí)會(huì)被證明是天賜之物，并且可以真正提高生產(chǎn)力。所以，下面是我最喜歡的一些技巧，我以本文的形式一起使用和編譯它們。其中，有些可能是相當(dāng)有名的，有些可能是新的，但我相信下次您從事數(shù)據(jù)分析項(xiàng)目時(shí)，它們會(huì)非常有用。

1.Profiling the pandas dataframe

Profiling 是一個(gè)幫助我們理解數(shù)據(jù)的程序，而 Pandas Profiling 正是實(shí)現(xiàn)這一點(diǎn)的一個(gè) python包。這是對(duì) pandas 數(shù)據(jù)幀進(jìn)行探索性數(shù)據(jù)分析的一種簡單快速的方法。pandas df.describe（）和 df.info（）函數(shù)通常用作 EDA 過程的第一步。但是，它只提供了非常基本的數(shù)據(jù)概述，對(duì)于大型數(shù)據(jù)集沒有太大幫助。另一方面，pandas 分析函數(shù)使用 df.profile_report（）擴(kuò)展 pandas 數(shù)據(jù)幀，以便快速進(jìn)行數(shù)據(jù)分析。它用一行代碼顯示了大量信息，在交互式 HTML 報(bào)告中也顯示了這些信息。

對(duì)于給定的數(shù)據(jù)集，pandas 分析包計(jì)算以下統(tǒng)計(jì)信息：

Pandas Profiling 包計(jì)算統(tǒng)計(jì)信息

安裝

pip install pandas-profiling

--或者

conda install -c anaconda pandas-profiling

使用

讓我們使用古老的 Titanic 數(shù)據(jù)集來演示通用的 Python 分析器的功能。

#importing the necessary packages
import pandas as pd
import pandas_profiling

# Depreciated: pre 2.0.0 version
df = pd.read_csv('titanic/train.csv')
pandas_profiling.ProfileReport(df)

注：在這篇文章發(fā)表一周后，Pandas-Profiling 發(fā)布了一個(gè)升級(jí)版本 2.0.0。其語法發(fā)生了一些變化，事實(shí)上，功能已經(jīng)包含在 pandas 中，報(bào)告也變得更加全面。以下是最新的語法用法：

使用

要在 Jupyter notebook 中顯示報(bào)告，請(qǐng)運(yùn)行：

#Pandas-Profiling 2.0.0
df.profile_report()

這一行代碼就是在 Jupyter notebook 中顯示數(shù)據(jù)分析報(bào)告所需的全部代碼。報(bào)告非常詳細(xì)，必要時(shí)包括圖表。

還可以將報(bào)告導(dǎo)出到具有以下代碼的交互式 HTML 文件中。

profile = df.profile_report(title='Pandas Profiling Report')
profile.to_file(outputfile="Titanic data profiling.html")

2.為 pandas plots 帶來交互性

pandas 有一個(gè)內(nèi)置的.plot（）函數(shù)作為數(shù)據(jù)幀類的一部分。然而，用這個(gè)函數(shù)呈現(xiàn)的可視化并不是交互式的，這使得它不那么吸引人。相反，也不能排除使用 pandas.dataframe.plot（）函數(shù)繪制圖表的易用性。如果我們不需要對(duì)代碼進(jìn)行重大修改，就可以像繪制 pandas plots那樣繪出交互式圖表呢？你可以在 Cufflinks 庫的幫助下做到這一點(diǎn)。

Cufflinks 將 plotly 的力量與 pandas 的靈活性結(jié)合起來，便于繪制。現(xiàn)在讓我們來看看如何安裝這個(gè)庫并讓它在 pandas 中工作。

安裝

pip install plotly # Plotly is a pre-requisite before installing cufflinks
pip install cufflinks

使用

#importing Pandas
import pandas as pd
#importing plotly and cufflinks in offline mode
import cufflinks as cf

import plotly.offline
cf.go_offline()
cf.set_config_file(offline=False, world_readable=True)

是時(shí)候用 Titanic 數(shù)據(jù)集來展示它的魔法了。

df.iplot()

df.iplot() vs df.plot()

右視圖顯示的是靜態(tài)圖表，左圖表是交互式的，更詳細(xì)地說，所有這一切在語法上都沒有重大變化。

3.一點(diǎn)點(diǎn) Magic

Magic 命令是 Jupyter notebook 中的一組方便的函數(shù)，旨在解決標(biāo)準(zhǔn)數(shù)據(jù)分析中的一些常見問題。在%lsmagic 的幫助下，您可以看到所有可用的 magic。

所有可用的 magic 函數(shù)列表

magic 命令有兩種：行 magics（前綴為一個(gè)% 字符并在一行輸入上操作）和單元 magics（用%% 前綴關(guān)聯(lián)并在多行輸入上操作）。如果設(shè)置為 1，則可以調(diào)用 magic 函數(shù)，而無需鍵入初始百分比。

讓我們看看其中一些在常見數(shù)據(jù)分析任務(wù)中可能有用的功能：

% pastebin

%Pastebin 將代碼上載到 Pastebin 并返回 URL。Pastebin 是一種在線內(nèi)容托管服務(wù)，我們可以在其中存儲(chǔ)純文本（如源代碼片段），然后可以與其他人共享 URL。事實(shí)上，Github gist 也類似于 Pastebin，盡管有版本控制。

考慮使用包含以下內(nèi)容的 python script file.py：

#file.py
def foo(x):
    return x

使用 Jupyter notebook 中的%pastebin 生成 pastebin url

%matplotlib notebook

%matplotlib inline 函數(shù)用于呈現(xiàn) Jupyter noteboo 中的靜態(tài) matplotlib 繪圖。嘗試用 notebook 替換內(nèi)嵌部件，以輕松獲得可縮放和可調(diào)整大小的繪圖。確保在導(dǎo)入 Matplotlib 庫之前調(diào)用了函數(shù)。

%matplotlib inline vs %matplotlib notebook

• %run

%run 函數(shù)在 notebook 內(nèi)運(yùn)行 python 腳本。

%run file.py

• %%writefile

%WriteFile 將單元格的內(nèi)容寫入文件。在這里，代碼將被寫入一個(gè)名為 foo 的文件，并保存在當(dāng)前目錄中。

• %%latex

%%latex 函數(shù)將單元格內(nèi)容呈現(xiàn)為 LaTeX。它可用于在單元中編寫數(shù)學(xué)公式和方程。

4.發(fā)現(xiàn)和消除錯(cuò)誤

interactive debugger 也是一個(gè)神奇的函數(shù)，但我已經(jīng)為它提供了自己的一個(gè)類別。如果在運(yùn)行代碼單元時(shí)遇到異常，請(qǐng)?jiān)谛滦兄墟I入%debug 并運(yùn)行它。這將打開一個(gè)交互式調(diào)試環(huán)境，將您帶到發(fā)生異常的位置。您還可以檢查程序中分配的變量值，并在此處執(zhí)行操作。要退出調(diào)試器，請(qǐng)單擊 q。

5.輸出也可以很漂亮

如果您想為數(shù)據(jù)結(jié)構(gòu)生成美觀的表示，pprint 是你想要的模塊，它在打印字典或 JSON 數(shù)據(jù)時(shí)特別有用。讓我們來看一個(gè)使用 print 和 pprint 顯示輸出的示例。

6.突出報(bào)警框

我們可以在您的 Jupyter 筆記本中使用警告/注釋框來突出顯示重要的內(nèi)容或任何需要突出顯示的內(nèi)容。注釋的顏色取決于警報(bào)的類型。只需在需要突出顯示的單元格中添加以下代碼。

藍(lán)色警報(bào)框：信息提示

	Tip: Use blue boxes (alert-info) for tips and notes.
If it’s a note, you don’t have to include the word “Note”.

黃色警報(bào)框：警告

	Example: Yellow Boxes are generally used to include additional examples or mathematical formulas.

綠色警報(bào)框：成功

	Use green box only when necessary like to display links to related content.

紅色警報(bào)框：危險(xiǎn)

	It is good to avoid red boxes but can be used to alert users to not delete some important part of code etc.

7.打印單元格的所有輸出

考慮一個(gè)包含以下代碼行的 Jupyter notebook 單元：

In [1]: 10+5          
         11+6

Out [1]: 17

通常情況下，單元格中只有最后一個(gè)輸出會(huì)被打印出來，對(duì)于其他輸出，我們需要添加 print（）函數(shù)。好吧，其實(shí)我們只需在 notebook 頂部添加以下代碼片段就可以打印所有輸出。

from IPython.core.interactiveshell import InteractiveShell InteractiveShell.ast_node_interactivity = "all"

現(xiàn)在所有的輸出都被一個(gè)接一個(gè)地打印出來

In [1]: 10+5          
         11+6
         12+7

Out [1]: 15
Out [1]: 17
Out [1]: 19

要恢復(fù)到原始設(shè)置：

InteractiveShell.ast_node_interactivity = "last_expr"

8.使用「i」文件運(yùn)行 python 腳本

從命令行運(yùn)行 python 腳本的一種典型方法是：python hello.py。但是，如果您在運(yùn)行同一腳本（如 python）時(shí)添加了一個(gè)額外的-i hello.py，那么它提供了更多的優(yōu)勢。讓我們看看怎么做。

首先，只要程序不結(jié)束，python 就不會(huì)退出解釋器。因此，我們可以檢查變量的值以及程序中定義的函數(shù)的正確性。

其次，我們可以通過以下方式輕松調(diào)用 Python 調(diào)試器，因?yàn)槲覀內(nèi)栽诮忉屍髦校?

import pdb
pdb.pm()

這將使我們進(jìn)入異常發(fā)生的位置，然后我們可以處理代碼。

查看來源可以點(diǎn)擊這里。

9.自動(dòng)注釋代碼

ctrl/cmd+/自動(dòng)將單元格中選定的行注釋掉，再次點(diǎn)擊組合將取消對(duì)同一行代碼的注釋。

10.刪除容易恢復(fù)難

你有沒有不小心刪除了 Jupyter notebook 上的一個(gè)單元的經(jīng)歷？如果有，那么這里有一個(gè)快捷方式可以撤消刪除操作。

如果刪除了單元格的內(nèi)容，則可以通過按 ctrl/cmd+z 輕松恢復(fù)該內(nèi)容。

如果需要恢復(fù)整個(gè)已刪除單元格，請(qǐng)按 Esc+Z 或 EDIT > Undo 撤銷刪除單元格。

結(jié)論

在本文中，我列出了在使用 Python 和 Jupyter notebook時(shí)收集到的主要技巧。我相信它們會(huì)對(duì)你有用，你會(huì)從這篇文章中收回一些東西。好了，開始快樂的編碼之旅吧！