作者 | CDA數(shù)據(jù)分析師

前言

Python是世界上最受歡迎的編程語言之一。 這有很多原因：

• 簡單易學(xué)，語法簡潔，可以快速入門
• 超級通用，無論是在開發(fā)、運維、數(shù)據(jù)科學(xué)、科研等應(yīng)用場景下，都完美可行
• 它具有廣泛的模塊和庫，數(shù)量眾多且更新快速，一個新出現(xiàn)的算法模型，幾個月內(nèi)就會有對應(yīng)的、完善的python包出現(xiàn)

在CDA數(shù)據(jù)科學(xué)研究院，我?guī)缀趺刻於荚谑褂肞ython來實現(xiàn)數(shù)據(jù)科學(xué)相關(guān)工作。 在此過程中，我獲得了一些有用的技巧和提示。在這里，我將以A-Z共26條小技巧來分享了其中的一些內(nèi)容，在拼湊A-Z字母開頭的過程中，就出現(xiàn)了一些可能大家沒接觸過的知識，總有對你有幫助的。

這些“小技巧”大部分是我在日常工作中曾經(jīng)使用或偶然發(fā)現(xiàn)的東西。其中有一些是在Python標準庫.docs中發(fā)現(xiàn)的。還有，分享幾個非常有用的的論壇和網(wǎng)站，首先是awesome-python . com，對，沒錯，創(chuàng)辦者就是那么喜歡python，用awesome-python來命名， 這里有這數(shù)百種有趣的Python工具和模塊的精選列表，都是非常實用的。

all or any

Python之所以成為如此流行的語言，其眾多的原因之一是因為它具有絕佳的可讀性和表現(xiàn)力。

人們經(jīng)常開玩笑說Python是可執(zhí)行的偽代碼。不會用python的人都可以讀出他的意思，但是，當(dāng)您可以編寫這樣的代碼時，您絕對會樂在其中：

x = [True, True, False]
if any(x):     # 如果列表x中任意元素為真
    print("At least one True")
if all(x):     # 如果列表x中所有元素為真
    print("Not one False")
if any(x) and not all(x):      # 列表x中任意元素為真且并非全部元素為真
    print("At least one True and one False")

bashplotlib

看到這個包的名字。可能你能猜到了，您想在控制臺中繪制圖形嗎？

$ pip install bashplotlib

使用bashplotlib包，您可以在控制臺中使用圖形，當(dāng)然，其精美度肯定沒有圖形工具中那么好，但是也是挺好玩的，例如：

$ hist --file data/exp.txt

collections

Python具有一些非常好的默認數(shù)據(jù)類型，但是有時它們無法完全按照所希望的方式來運行。幸運的是，Python標準庫提供了collections模塊。 這個方便的加載項為您提供了更多的數(shù)據(jù)類型。

from collections import OrderedDict, Counter

# 記住按鍵的添加順序！
x = OrderedDict(a=1, b=2, c=3)
x
# 計算每個字符的頻率
y = Counter("Hello World!")
y

結(jié)果演示：

OrderedDict([('a', 1), ('c', 3), ('b', 2)])

Counter({' ': 1,
         '!': 1,
         'H': 1,
         'W': 1,
         'd': 1,
         'e': 1,
         'l': 3,
         'o': 2,
         'r': 1})

dir

有沒有想過如何在Python對象內(nèi)部查找并查看其具有的屬性？ 當(dāng)然有，在命令行中：

dir()
dir("Hello World")
dir(dir)

在交互式運行Python以及動態(tài)瀏覽正在使用的對象和模塊時，對于某些python使用者來說，這應(yīng)該是一個非常有用的功能。

emoji

是的，沒錯，表情包的那個emoji。

$ pip install emoji

不要假裝你不會嘗試，給你的python加多點樂趣把！

from emoji import emojize
print(emojize(":thumbs_up:"))

from future import

Python受歡迎的一個后果是，總是有新版本正在開發(fā)中， 新版本意味著新功能。目前python3.8正式版已發(fā)布，python3.9發(fā)布周期已經(jīng)開始，到2020年，python2將徹底退出市場。

但是不要害怕。 future模塊允許您從將來的Python版本導(dǎo)入功能。 從字面上看，就像時間旅行，魔術(shù)一樣。

from __future__ import print_function
print("Hello World!")

geopy

對于程序員來說，地理環(huán)境可能是一個充滿挑戰(zhàn)的領(lǐng)域。 但是geopy模塊使它變得異常簡單。

$ pip install geopy

它通過一系列不同地理編碼服務(wù)的API來工作。它使您可以獲取地點的完整街道地址，緯度，經(jīng)度甚至海拔高度。還有一個有用的距離包。 可以以您喜歡的度量單位計算兩個位置之間的距離。

1、由名字來查位置和經(jīng)緯度

## 1、由名字來查位置和經(jīng)緯度
from geopy.geocoders import Baidu, Bing, GoogleV3, DataBC, Nominatim
#geolocator = Nominatim(user_agent="specify_your_app_name_here")
geolocator = Baidu('EiQTTRKzlV3dKN1zcZ3c7iVhIl126xvC')
#geolocator = Bing('Ajg52RB8D2BIXygYwUTcJytDGsgqURLj5lfBptOH4jmTGHHFUvt0cMqdhdhdYfr-')
#geolocator = GoogleV3('AIzaSyAVwjaaOBKbssuyQsvyqQAQDwfuzO1PKCA')

location = geolocator.geocode("廣州市CDA數(shù)據(jù)分析師")
print(location.address)
print((location.latitude, location.longitude))

輸出結(jié)果：

城市
(23.135336306695006, 113.27143134445974)

2、用坐標來查地點

## 2、用坐標來查地點
from geopy.geocoders import Nominatim
geolocator = Nominatim(user_agent="specify_your_app_name_here")
location = geolocator.reverse("52.509669, 13.376294")
print(location.address)
print((location.latitude, location.longitude))
print(location.raw)

輸出結(jié)果：

Backwerk, Potsdamer Platz, Tiergarten, Mitte, Berlin, 10785, Deutschland

(52.50958575, 13.3762845319028)

{'display_name': 'Backwerk, Potsdamer Platz, Tiergarten, Mitte, Berlin, 10785, Deutschland', 
 'osm_id': 464904422, 
 'osm_type': 'way',
 'licence': 'Data © OpenStreetMap contributors, ODbL 1.0. https://osm.org/copyright', 
 'lat': '52.50958575',
 'boundingbox': ['52.5095298', '52.5096533', '13.3762456', '13.3763382'], 
 'place_id': 176241040, 
 'address': {'state': 'Berlin', 'postcode': '10785', 'country': 'Deutschland', 'country_code': 'de','bakery': 'Backwerk', 'city_district': 'Mitte', 'footway': 'Potsdamer Platz', 'suburb': 'Tiergarten'}, 'lon': '13.3762845319028'}

3、計算兩坐標距離

## 3、計算距離
>>> from geopy import distance
>>> newport_ri = (41.49008, -71.312796)
>>> cleveland_oh = (41.499498, -81.695391)
>>> print(distance.distance(newport_ri, cleveland_oh).miles)
538.39044536

>>> wellington = (-41.32, 174.81)
>>> salamanca = (40.96, -5.50)
>>> print(distance.distance(wellington, salamanca, ellipsoid='GRS-80').km)
19959.6792674

howdoi

出現(xiàn)了編碼問題，但不記得以前看到的解決方案了； 需要檢查StackOverflow，但又不想離開終端；howdoi模塊應(yīng)該可以幫助到你。

$ pip install howdoi

詢問任何問題，它都會盡力返回答案。

$ howdoi vertical align css
$ howdoi for loop in java
$ howdoi undo commits in git

有一點需要注意的是，它會從StackOverflow的主要答案中抓取代碼。 可能有時候提供的信息并不是最合適的。

$ howdoi exit vim

inspect

Python的inspect模塊非常適合了解函數(shù)的一些基本信息。 您甚至可以自行調(diào)用其方法！

下面的代碼示例使用inspect.getsource( )來打印自己的源代碼。 它還使用inspect.getmodule( )來打印定義它的模塊。最后一行打印出自己的行號。

import inspect

print(inspect.getsource(inspect.getsource))   # 查看非內(nèi)置函數(shù)的函數(shù)定義代碼
print(inspect.getmodule(inspect.getmodule))   # 查看函數(shù)所屬模塊和安裝路徑
print(inspect.currentframe().f_lineno)        # 打印這一行所在的行號，如本段代碼中此函數(shù)在第5行，則返回5

當(dāng)然，除了這些瑣碎的用途外，檢查模塊對于證明您的代碼在做什么很有用。 您也可以使用它來編寫自文檔代碼。

Jedi

Jedi庫是一個自動完成和代碼分析庫。 它使編寫代碼更快，更高效。除非您自己開發(fā)IDE，否則您可能會對使用Jedi作為編輯器插件感興趣。 幸運的是，您可能已經(jīng)在使用Jedi。目前 IPython項目使用Jedi作為其代碼自動完成功能。

kwargs

該方法不是一個函數(shù)或者一個包，而是一種可以使用在函數(shù)上的一種小技巧，如示例中自定義的someFunction函數(shù)中，有兩個參數(shù)，且參數(shù)未在函數(shù)體內(nèi)未被定義上固定的值。除了正常的參數(shù)使用方式，還能使用字典的形式來傳遞函數(shù)的參數(shù)，字典對象前面的雙星號可以使python知道該字典的內(nèi)容作為參數(shù)值傳遞給函數(shù)。

字典的鍵是參數(shù)名稱，值是傳遞給函數(shù)的值。字典的名字不限，不一定要用kwargs，當(dāng)您要編寫可以處理事先未定義的命名參數(shù)的函數(shù)時，此功能很有用。

dictionary = {"a": 1, "b": 2}

def someFunction(a, b):
    print(a + b)
    return

# 下面執(zhí)行的效果是一樣的
someFunction(**dictionary)     # 這兩個星號*是必須加上的，以字典的形式傳遞參數(shù)
someFunction(a=1, b=2)

List comprehensions

List comprehensions（列表解析式），關(guān)于Python編程，我最喜歡的事情之一是它的列表解析式。這些表達式使編寫干凈整潔的代碼變得容易，該代碼的讀取方式非常類似于自然語言。

numbers = [1,2,3,4,5,6,7]
evens = [x for x in numbers if x % 2 is 0]
odds = [y for y in numbers if y not in evens]
print(evens)
print(odds)

Certifies = ['CDA數(shù)據(jù)分析師', 'CFA特許金融分析師', 'CPA注冊會計師']

def research(Certify):
    print("祝賀你通過"+Certify)
for Certify in Certifies:
    research(Certify)

輸出結(jié)果：

[2, 4, 6]
[1, 3, 5, 7]
祝賀你通過CDA數(shù)據(jù)分析師
祝賀你通過CFA特許金融分析師
祝賀你通過CPA注冊會計師

map

Python通過許多內(nèi)置功能支持函數(shù)式編程。 最有用的功能之一是map（）函數(shù)-尤其是與lambda函數(shù)結(jié)合使用。在下面的示例中，map（）將簡單的lambda函數(shù)應(yīng)用于x中的每個元素。 它返回一個映射對象，可以將其轉(zhuǎn)換為一些可迭代的對象，例如列表或元組。

tlist = [1,2,3,4,5]
y = map(lambda x : x ** 2 , tlist)
ylist = list(y)
print(ylist)     # print out：[1, 4, 9, 16, 25]

# map(lambda x : x ** 2 , tlist)   等價于
def Square(x):
    return x**2
result = []
for i in range(len(tlist)):
    result.append(Square(tlist[i]))
# print out：[1, 4, 9, 16, 25]

可以看到，使用了map()函數(shù)+lambda函數(shù)的方式，一行簡潔的代碼就是實現(xiàn)幾行的代碼的功能。

newspaper3k

如果您還沒有看過，請準備讓Python的newspaper模塊震驚。它使您可以從一系列領(lǐng)先的國際出版物中檢索新聞文章和相關(guān)的元數(shù)據(jù)。 您可以檢索圖像，文本和作者名稱。它甚至還具有一些內(nèi)置的NLP功能。

因此，如果您打算為下一個項目使用BeautifulSoup或其他DIY網(wǎng)站抓取庫，不妨試一下更省力的方式，相信我，你會愛上它的

$ pip install news3k

以下以新浪為例，簡單做個例子：

import newspaper
sina_paper = newspaper.build('http://www.sina.com.cn/', language='zh')
print(len(sina_paper.category_urls()))          # 搜索到的網(wǎng)站數(shù)量
for category in sina_paper.category_urls():     # 逐一打印搜索到的網(wǎng)站
    print(category)

out：
153
http://anli.jiaju.sina.com.cn
http://photo.auto.sina.com.cn
http://www.sina.com.cn/
......


article = sina_paper.articles[125]    # 選取其中一篇
article.download()
article.parse()
print(article.title)

out：多項新政聚焦穩(wěn)投資 資金加速涌入基建

print(article.text)
out：
原標題：多項新政聚焦穩(wěn)投資 資金加速涌入基建 來源：經(jīng)濟參考報

專項債、資本金政策雙管齊下 補短板全面提速

時至年底，穩(wěn)投資補短板開始全面提速，尤其是在破解資金來源困局方面，近期多項重磅新政落地：2020年新增專項債額度已提前下達1萬億元，固定資產(chǎn)投資項目資本金管理新規(guī)也已正式下發(fā)。專家分析，專項債疊加項目資本金，雙管齊下助力基礎(chǔ)設(shè)施項目融資，無疑對穩(wěn)投資具有重要的促進作用。受益于專項債和項目資本金等新政策措施的支持，今年年底基建投資有望企穩(wěn)回升。具體而言，有一定經(jīng)營性收入或收費機制的交通、環(huán)保和市政等基礎(chǔ)設(shè)施投資或?qū)⒂瓉磔^快增長。
......

Operator overloading

Python提供了對運算符重載的支持，一個聽起來像專業(yè)的計算機科學(xué)家的術(shù)語。這實際上是一個簡單的概念。 有沒有想過Python為什么讓您使用+運算符來添加數(shù)字并連接字符串？ 這就是操作員超負荷運行的原因。您可以定義使用Python的標準運算符以其特定方式使用的對象。 這樣一來，您就可以在與所使用的對象相關(guān)的上下文中使用它們。

class Thing:
    def __init__(self, value):
        self.__value = value
    def __gt__(self, other):
        return self.__value > other.__value
    def __lt__(self, other):
        return self.__value < other.__value

something = Thing(100)
nothing = Thing(0)

something > nothing     # True

something < nothing     # False

something + nothing     # TypeError: unsupported operand type(s) for +: 'Thing' and 'Thing'

pprint

Python的默認print功能可以完成其規(guī)定的所有打印的工作。 但是，打印出任何較大的多層的嵌套對象，print打印的結(jié)果會直接無格式的直接堆出來，可讀性較差。

而pprint模塊不一樣，它能夠打印出標準格式的結(jié)果，即使打印多層嵌套的復(fù)雜結(jié)構(gòu)時，也會通過縮進打印出來，有很好的可讀性。這是任何使用非數(shù)據(jù)結(jié)構(gòu)的Python使用人員的必備工具。

import requests
import pprint

url = 'https://randomuser.me/api/?results=1'
users = requests.get(url).json()
print(users)             # print正常打印
pprint.pprint(users)     # pprint標準格式打印

print打印結(jié)果的部分內(nèi)容，不太友好，可讀性非常差：

{'results': [{'picture': {'medium': 'https://randomuser.me/api/portraits/med/men/22.jpg', 'large': 'https://randomuser.me/api/portraits/men/22.jpg', 'thumbnail': 'https://randomuser.me/api/portraits/thumb/men/22.jpg'}, 'email': 'andy.frazier@example.com', 'login': {'salt': 'lfIp3jL3', 'sha1': 'a9d428929b17a07ec04110c2383bcfab2d7e37a9', 'username': 'happypanda484', 'sha256': '4f63a0c687b9f6147dd7110838489dfa4cc692927b9952dda5d7c088b70febf9', 'md5': '2b676af5708fbf390cebebba10dfb2ef', 'uuid': '0415c30e-3184-4e29-a96b-68a30b4f4e2f', 'password': 'mike'}......

pprint標準格式打印的部分內(nèi)容，可讀性強：

{'info': {'page': 1,
          'results': 1,
          'seed': '9139afcfa8db8189',
          'version': '1.3'},
 'results': [{'cell': '081-287-4240',
              'dob': {'age': 47, 'date': '1972-11-24T04:22:50.682Z'},
              'email': 'andy.frazier@example.com',
              'gender': 'male',
              'id': {'name': 'PPS', 'value': '7870181T'},
              'location': {'city': 'Cavan',
                           'coordinates': {'latitude': '24.4086',
                                           'longitude': '-41.6859'},
                           'country': 'Ireland',
                           'postcode': 92828,
                           'state': 'Cavan',
                           'street': {'name': 'Station Road', 'number': 3614},
                           'timezone': {'description': 'Hawaii',
                                        'offset': '-10:00'}}
              ......

Queue

Python支持多線程，標準庫的Queue模塊促進了這一點。該模塊使您可以實現(xiàn)隊列數(shù)據(jù)結(jié)構(gòu)。這些數(shù)據(jù)結(jié)構(gòu)使您可以根據(jù)特定規(guī)則添加和檢索條目?！跋冗M先出”（或FIFO）隊列使您可以按添加順序檢索對象?！昂筮M先出”（LIFO）隊列使您可以首先訪問最近添加的對象。最后，優(yōu)先級隊列使您可以根據(jù)對象的排序順序檢索對象。這里是如何使用隊列的示例用于Python中的多線程編程。

__repr__

在Python中定義類或?qū)ο髸r，提供一種很有用的方式可以將該對象表示為字符串。 例如：

>>> file = open('file.txt', 'r')
>>> print(file)

這使調(diào)試代碼容易得多。將其添加到您的類定義中，如下所示：

class someClass:
    def __repr__(self):
        return ""

someInstance = someClass()
print(someInstance)
# prints

sh

Python是一種很棒的腳本語言。有時使用標準os和子流程庫可能會讓人有些頭疼。sh模塊提供了一種簡潔的選擇。它使您可以像調(diào)用普通程序一樣調(diào)用任何程序，這對從Python內(nèi)部進行自動化工作流和任務(wù)很有用。

import sh
sh.pwd()
sh.mkdir('new_folder')
sh.touch('new_file.txt')
sh.whoami()
sh.echo('This is great!')

Type hints

Python是一種動態(tài)類型的語言。 定義變量，函數(shù)，類等時，無需指定數(shù)據(jù)類型。這樣可以加快開發(fā)時間。 但是，簡單的鍵入問題有時導(dǎo)致的運行錯誤。自Python 3.5起，可以選擇在定義函數(shù)時提供類型提示。

def addTwo(x : Int) -> Int:    return x + 2

您還可以定義類型別名：

from typing import List
Vector = List[float]
Matrix = List[Vector]
def addMatrix(a : Matrix, b : Matrix) -> Matrix:
    result = []
    for i,row in enumerate(a):
        result_row =[]
        for j, col in enumerate(row):
            result_row += [a[i][j] + b[i][j]]
        result += [result_row]
    return result

x = [[1.0, 0.0], [0.0, 1.0]]
y = [[2.0, 1.0], [0.0, -2.0]]
z = addMatrix(x, y)

盡管不是強制性的，但類型注釋可以使您的代碼更易于理解。它們還允許您使用類型檢查工具在運行時捕獲那些雜散的TypeError。 如果您正在從事大型，復(fù)雜的項目，則值得擁有！

uuid

通過Python標準庫的uuid模塊，可以快速簡便地生成通用唯一ID（或“ UUID”）。

import uuid

user_id = uuid.uuid4()
print(user_id)

這將會創(chuàng)建一個隨機的128位數(shù)字，幾乎可以肯定是唯一的。實際上，可以生成超過2的122次方的UUID。 超過5*10的42次方。在給定集合中找到重復(fù)項的可能性非常低。即使擁有一萬億個UUID，重復(fù)存在的可能性也遠遠小于十億分之一。

Virtual environments

您有可能同時從事多個Python項目，可能出現(xiàn)有時兩個項目依賴于不同的python版本。您在系統(tǒng)上安裝哪個？幸運的是，Python的對虛擬環(huán)境的支持使您擁有兩全其美的體驗。 在命令行中輸入：

python -m venv my-project
source my-project/bin/activate
pip install all-the-modules

現(xiàn)在，您可以在同一臺計算機上運行Python的獨立版本和安裝！

wikipedia

維基百科具有出色的API，允許用戶以編程方式訪問完全免費的知識和信息。wikipedia模塊使訪問此API變得非常方便。

import wikipedia

result = wikipedia.page('freeCodeCamp')
print(result.summary)

for link in result.links:
    print(link)

與實際站點一樣，該模塊提供了對多種語言、頁面歧義消除、隨機頁面檢索的支持，甚至還具有donate（）方法。

xkcd

xkcd是蘭道爾·門羅(Randall Munroe)的網(wǎng)名，又是他所創(chuàng)作的漫畫的名稱。作者Randall Munroe給作品的定義是一部"關(guān)于浪漫、諷刺、數(shù)學(xué)和語言的網(wǎng)絡(luò)漫畫"，被網(wǎng)友譽為深度宅向網(wǎng)絡(luò)漫畫。

Python語言也是幽默的，Python的許多官方文檔都引用了英國喜劇速寫節(jié)目“Monty Python's Flying Circus”中最著名的草圖。不過，python的幽默感不僅僅限于文檔。你可以試試調(diào)用一下下面這個庫：

import antigravity

YAML

YAML代表 YAML不是標記語言。 它是一種數(shù)據(jù)格式語言，并且是JSON的超集。與JSON不同，它可以存儲更復(fù)雜的對象并引用自己的元素。您還可以編寫注釋，使其特別適合編寫配置文件。PyYAML模塊允許您將YAML與Python結(jié)合使用。 安裝方式：

$ pip install pyyaml

然后導(dǎo)入到您的項目中：

import yaml

PyYAML允許您存儲任何數(shù)據(jù)類型的Python對象以及任何用戶定義類的實例。

zip

最后一招，也是非常有用的。你是否曾經(jīng)需要從兩個列表中組成字典？

keys = ['a', 'b', 'c']
vals = [1, 2, 3]
zipped = dict(zip(keys, vals))
zipped

out：
{'a': 1, 'b': 2, 'c': 3}

內(nèi)置的zip（）函數(shù)接受許多可迭代的對象，并返回一個元組列表。 每個元組通過其位置索引將輸入對象的元素分組。您也可以通過在對象上調(diào)用*zip（）來“解壓縮”對象。

以上的內(nèi)容部分參考Peter Gleeson的分享，非常感謝，以上的A-Z共26個Python小技巧，希望能對您下一個項目有所幫助。