作者：Parul Pandey

來源：SQL數(shù)據(jù)庫開發(fā)

一些小的技巧在編程領(lǐng)域可能會非常有用，在數(shù)據(jù)科學(xué)領(lǐng)域同樣如此。數(shù)據(jù)科學(xué)愛好者 Parul Pandey 在近日發(fā)表了一篇博文，分享了在數(shù)據(jù)科學(xué)中非常實用的 10 個小技巧。

有時候，一點小小的黑客行為可以節(jié)省時間，挽救生命。一個小小的快捷方式或附加組件有時會被證明是天賜之物，并且可以真正提高生產(chǎn)力。所以，下面是我最喜歡的一些技巧，我以本文的形式一起使用和編譯它們。其中，有些可能是相當(dāng)有名的，有些可能是新的，但我相信下次您從事數(shù)據(jù)分析項目時，它們會非常有用。

1.Profiling the pandas dataframe

Profiling 是一個幫助我們理解數(shù)據(jù)的程序，而 Pandas Profiling 正是實現(xiàn)這一點的一個 python包。這是對 pandas 數(shù)據(jù)幀進行探索性數(shù)據(jù)分析的一種簡單快速的方法。pandas df.describe（）和 df.info（）函數(shù)通常用作 EDA 過程的第一步。但是，它只提供了非常基本的數(shù)據(jù)概述，對于大型數(shù)據(jù)集沒有太大幫助。另一方面，pandas 分析函數(shù)使用 df.profile_report（）擴展 pandas 數(shù)據(jù)幀，以便快速進行數(shù)據(jù)分析。它用一行代碼顯示了大量信息，在交互式 HTML 報告中也顯示了這些信息。

對于給定的數(shù)據(jù)集，pandas 分析包計算以下統(tǒng)計信息：

Pandas Profiling 包計算統(tǒng)計信息

安裝

pip install pandas-profiling

--或者

conda install -c anaconda pandas-profiling

使用

讓我們使用古老的 Titanic 數(shù)據(jù)集來演示通用的 Python 分析器的功能。

#importing the necessary packages
import pandas as pd
import pandas_profiling

# Depreciated: pre 2.0.0 version
df = pd.read_csv('titanic/train.csv')
pandas_profiling.ProfileReport(df)

注：在這篇文章發(fā)表一周后，Pandas-Profiling 發(fā)布了一個升級版本 2.0.0。其語法發(fā)生了一些變化，事實上，功能已經(jīng)包含在 pandas 中，報告也變得更加全面。以下是最新的語法用法：

使用

要在 Jupyter notebook 中顯示報告，請運行：

#Pandas-Profiling 2.0.0
df.profile_report()

這一行代碼就是在 Jupyter notebook 中顯示數(shù)據(jù)分析報告所需的全部代碼。報告非常詳細，必要時包括圖表。

還可以將報告導(dǎo)出到具有以下代碼的交互式 HTML 文件中。

profile = df.profile_report(title='Pandas Profiling Report')
profile.to_file(outputfile="Titanic data profiling.html")

2.為 pandas plots 帶來交互性

pandas 有一個內(nèi)置的.plot（）函數(shù)作為數(shù)據(jù)幀類的一部分。然而，用這個函數(shù)呈現(xiàn)的可視化并不是交互式的，這使得它不那么吸引人。相反，也不能排除使用 pandas.dataframe.plot（）函數(shù)繪制圖表的易用性。如果我們不需要對代碼進行重大修改，就可以像繪制 pandas plots那樣繪出交互式圖表呢？你可以在 Cufflinks 庫的幫助下做到這一點。

Cufflinks 將 plotly 的力量與 pandas 的靈活性結(jié)合起來，便于繪制?，F(xiàn)在讓我們來看看如何安裝這個庫并讓它在 pandas 中工作。

安裝

pip install plotly # Plotly is a pre-requisite before installing cufflinks
pip install cufflinks

使用

#importing Pandas
import pandas as pd
#importing plotly and cufflinks in offline mode
import cufflinks as cf

import plotly.offline
cf.go_offline()
cf.set_config_file(offline=False, world_readable=True)

是時候用 Titanic 數(shù)據(jù)集來展示它的魔法了。

df.iplot()

df.iplot() vs df.plot()

右視圖顯示的是靜態(tài)圖表，左圖表是交互式的，更詳細地說，所有這一切在語法上都沒有重大變化。

3.一點點 Magic

Magic 命令是 Jupyter notebook 中的一組方便的函數(shù)，旨在解決標(biāo)準(zhǔn)數(shù)據(jù)分析中的一些常見問題。在%lsmagic 的幫助下，您可以看到所有可用的 magic。

所有可用的 magic 函數(shù)列表

magic 命令有兩種：行 magics（前綴為一個% 字符并在一行輸入上操作）和單元 magics（用%% 前綴關(guān)聯(lián)并在多行輸入上操作）。如果設(shè)置為 1，則可以調(diào)用 magic 函數(shù)，而無需鍵入初始百分比。

讓我們看看其中一些在常見數(shù)據(jù)分析任務(wù)中可能有用的功能：

% pastebin

%Pastebin 將代碼上載到 Pastebin 并返回 URL。Pastebin 是一種在線內(nèi)容托管服務(wù)，我們可以在其中存儲純文本（如源代碼片段），然后可以與其他人共享 URL。事實上，Github gist 也類似于 Pastebin，盡管有版本控制。

考慮使用包含以下內(nèi)容的 python script file.py：

#file.py
def foo(x):
    return x

使用 Jupyter notebook 中的%pastebin 生成 pastebin url

%matplotlib notebook

%matplotlib inline 函數(shù)用于呈現(xiàn) Jupyter noteboo 中的靜態(tài) matplotlib 繪圖。嘗試用 notebook 替換內(nèi)嵌部件，以輕松獲得可縮放和可調(diào)整大小的繪圖。確保在導(dǎo)入 Matplotlib 庫之前調(diào)用了函數(shù)。

%matplotlib inline vs %matplotlib notebook

• %run

%run 函數(shù)在 notebook 內(nèi)運行 python 腳本。

%run file.py

• %%writefile

%WriteFile 將單元格的內(nèi)容寫入文件。在這里，代碼將被寫入一個名為 foo 的文件，并保存在當(dāng)前目錄中。

• %%latex

%%latex 函數(shù)將單元格內(nèi)容呈現(xiàn)為 LaTeX。它可用于在單元中編寫數(shù)學(xué)公式和方程。

4.發(fā)現(xiàn)和消除錯誤

interactive debugger 也是一個神奇的函數(shù)，但我已經(jīng)為它提供了自己的一個類別。如果在運行代碼單元時遇到異常，請在新行中鍵入%debug 并運行它。這將打開一個交互式調(diào)試環(huán)境，將您帶到發(fā)生異常的位置。您還可以檢查程序中分配的變量值，并在此處執(zhí)行操作。要退出調(diào)試器，請單擊 q。

5.輸出也可以很漂亮

如果您想為數(shù)據(jù)結(jié)構(gòu)生成美觀的表示，pprint 是你想要的模塊，它在打印字典或 JSON 數(shù)據(jù)時特別有用。讓我們來看一個使用 print 和 pprint 顯示輸出的示例。

6.突出報警框

我們可以在您的 Jupyter 筆記本中使用警告/注釋框來突出顯示重要的內(nèi)容或任何需要突出顯示的內(nèi)容。注釋的顏色取決于警報的類型。只需在需要突出顯示的單元格中添加以下代碼。

藍色警報框：信息提示

	Tip: Use blue boxes (alert-info) for tips and notes.
If it’s a note, you don’t have to include the word “Note”.

黃色警報框：警告

	Example: Yellow Boxes are generally used to include additional examples or mathematical formulas.

綠色警報框：成功

	Use green box only when necessary like to display links to related content.

紅色警報框：危險

	It is good to avoid red boxes but can be used to alert users to not delete some important part of code etc.

7.打印單元格的所有輸出

考慮一個包含以下代碼行的 Jupyter notebook 單元：

In [1]: 10+5          
         11+6

Out [1]: 17

通常情況下，單元格中只有最后一個輸出會被打印出來，對于其他輸出，我們需要添加 print（）函數(shù)。好吧，其實我們只需在 notebook 頂部添加以下代碼片段就可以打印所有輸出。

from IPython.core.interactiveshell import InteractiveShell InteractiveShell.ast_node_interactivity = "all"

現(xiàn)在所有的輸出都被一個接一個地打印出來

In [1]: 10+5          
         11+6
         12+7

Out [1]: 15
Out [1]: 17
Out [1]: 19

要恢復(fù)到原始設(shè)置：

InteractiveShell.ast_node_interactivity = "last_expr"

8.使用「i」文件運行 python 腳本

從命令行運行 python 腳本的一種典型方法是：python hello.py。但是，如果您在運行同一腳本（如 python）時添加了一個額外的-i hello.py，那么它提供了更多的優(yōu)勢。讓我們看看怎么做。

首先，只要程序不結(jié)束，python 就不會退出解釋器。因此，我們可以檢查變量的值以及程序中定義的函數(shù)的正確性。

其次，我們可以通過以下方式輕松調(diào)用 Python 調(diào)試器，因為我們?nèi)栽诮忉屍髦校?

import pdb
pdb.pm()

這將使我們進入異常發(fā)生的位置，然后我們可以處理代碼。

查看來源可以點擊這里。

9.自動注釋代碼

ctrl/cmd+/自動將單元格中選定的行注釋掉，再次點擊組合將取消對同一行代碼的注釋。

10.刪除容易恢復(fù)難

你有沒有不小心刪除了 Jupyter notebook 上的一個單元的經(jīng)歷？如果有，那么這里有一個快捷方式可以撤消刪除操作。

如果刪除了單元格的內(nèi)容，則可以通過按 ctrl/cmd+z 輕松恢復(fù)該內(nèi)容。

如果需要恢復(fù)整個已刪除單元格，請按 Esc+Z 或 EDIT > Undo 撤銷刪除單元格。

結(jié)論

在本文中，我列出了在使用 Python 和 Jupyter notebook時收集到的主要技巧。我相信它們會對你有用，你會從這篇文章中收回一些東西。好了，開始快樂的編碼之旅吧！