如何用 Python 爬取天氣預(yù)報(bào)

大家好，我是Victor 278，由于本人是做前端的，Python學(xué)來(lái)作知識(shí)擴(kuò)充的，看到非常多的小伙伴高呼著想從0開(kāi)始學(xué)爬蟲(chóng)，這里開(kāi)始寫(xiě)定向爬蟲(chóng)從0開(kāi)始，獻(xiàn)給想學(xué)爬蟲(chóng)的零基礎(chǔ)新人們，歡迎各位大佬們的指點(diǎn)。

本文適用人群
1、零基礎(chǔ)的新人；
2、Python剛剛懂基礎(chǔ)語(yǔ)法的新人；
輸入標(biāo)題學(xué)習(xí)定向爬蟲(chóng)前需要的基礎(chǔ)
1、Python語(yǔ)法基礎(chǔ)；
2、請(qǐng)閱讀或者收藏以下幾個(gè)網(wǎng)站：
1）Requests庫(kù)
http://cn.python-requests.org/zh_CN/latest/
2）BeautifulSoup4庫(kù)
https://www.crummy.com/software/BeautifulSoup/bs4/doc/
沒(méi)有Python基礎(chǔ)的新人，我建議可以學(xué)習(xí)以下資料：
1、官方最新的英文文檔（https://docs.python.org/3/）
2、python 3.60版本中文文檔（http://www.pythondoc.com/pythontutorial3/index.html）
3、廖雪峰Python教程（https://www.liaoxuefeng.com/）
備注：書(shū)籍也有很多選擇，但是其實(shí)入門(mén)教程講來(lái)講去都是那些東西，不做細(xì)究，你隨意挑一本完完整整的學(xué)習(xí)好比你浪費(fèi)時(shí)間選擇教材要強(qiáng)多了。
正文開(kāi)始
我假設(shè)你已經(jīng)符合上述的標(biāo)準(zhǔn)，現(xiàn)在我們就來(lái)開(kāi)始第一個(gè)爬蟲(chóng)的網(wǎng)站，我們首先挑選一個(gè)下手；
附上URL：中國(guó)天氣網(wǎng)（http://www.weather.com.cn/weather1d/101280101.shtml#dingzhi_first）
第一步：
請(qǐng)確保你已經(jīng)安裝了Requests和Beautifulsoup4的庫(kù)，否則你可以打開(kāi)CMD（命令提示符）然后輸入
pip3 install requests
pip3 install Beautifulsoup4
pip3 install lxml
安裝完畢后接著打開(kāi)你的編輯器，這里對(duì)編輯器不做糾結(jié)，用的順手就好。
首先我們做爬蟲(chóng)，拿到手第一個(gè)步驟都是要先獲取到網(wǎng)站的當(dāng)前頁(yè)的所有內(nèi)容，即HTML標(biāo)簽。所以我們先要寫(xiě)一個(gè)獲取到網(wǎng)頁(yè)HTML標(biāo)簽的方法。
整個(gè)爬蟲(chóng)的的代碼搭建我都采用的是將不同的功能做成不同的函數(shù)，在最后需要調(diào)用的時(shí)候進(jìn)行傳參調(diào)用就好了。
那么問(wèn)題來(lái)了，為什么要這么做呢？
寫(xiě)代碼作為萌新要思考幾件事：
1、這個(gè)代碼的復(fù)用性；
2、這個(gè)代碼的語(yǔ)義化以及功能解耦；
3、是否美觀簡(jiǎn)潔，讓別人看你的代碼能很清楚的理解你的邏輯；
代碼展示：
'''
抓取每天的天氣數(shù)據(jù)
python 3.6.2
url:http://www.weather.com.cn/weather1d/101280101.shtml#dingzhi_first
'''
import requests
import bs4

def get_html(url):
    '''
    封裝請(qǐng)求
    '''
    headers = {
        'User-Agent':
        'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36',
        'ContentType':
        'text/html; charset=utf-8',
        'Accept-Encoding':
        'gzip, deflate, sdch',
        'Accept-Language':
        'zh-CN,zh;q=0.8',
        'Connection':
        'keep-alive',
    }
    try:
        htmlcontet = requests.get(url, headers=headers, timeout=30)
        htmlcontet.raise_for_status()
        htmlcontet.encoding = 'utf-8'
        return htmlcontet.text
    except:
        return " 請(qǐng)求失敗 "
上述代碼幾個(gè)地方我特別說(shuō)明一下：
'''
抓取每天的天氣數(shù)據(jù)
python 3.6.2
url:http://www.weather.com.cn/weather1d/101280101.shtml#dingzhi_first
'''
import requests
import bs4
養(yǎng)成好習(xí)慣代碼一開(kāi)始的注釋表明這是一個(gè)什么功能的Python文件，使用的版本是什么，URL地址是什么，幫助你下次打開(kāi)的時(shí)候能快速理解這個(gè)文件的用途。
由于Requests和Beautifulsoup4是第三方的庫(kù)，所以在下面要用import來(lái)進(jìn)行引入
然后是
def get_html(url):
    '''
    封裝請(qǐng)求
    '''
    headers = {
        'User-Agent':
        'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36',
        'ContentType':
        'text/html; charset=utf-8',
        'Accept-Encoding':
        'gzip, deflate, sdch',
        'Accept-Language':
        'zh-CN,zh;q=0.8',
        'Connection':
        'keep-alive',
    }
    try:
        htmlcontet = requests.get(url, headers=headers, timeout=30)
        htmlcontet.raise_for_status()
        htmlcontet.encoding = 'utf-8'
        return htmlcontet.text
    except:
        return " 請(qǐng)求失敗 "
其中
def get_html(url)：
構(gòu)造一個(gè)名為get_html的函數(shù)，并傳入你要請(qǐng)求的URL地址進(jìn)去，會(huì)返回一個(gè)請(qǐng)求后的結(jié)果，
構(gòu)造好后，調(diào)用的時(shí)候直接
url = '包裹你的url'
get_html(url)
然后同樣備注好你的這個(gè)函數(shù)的功能是做什么的，headers里面包裹了一些偽裝成瀏覽器訪問(wèn)的一些頭部文件可以直接你復(fù)制過(guò)去使用。
這里要說(shuō)一下為什么要做基礎(chǔ)的偽裝成瀏覽器，由于有了爬蟲(chóng)，自然就有反爬蟲(chóng)。有些網(wǎng)站為了惡意避免爬蟲(chóng)肆意爬取或者進(jìn)行攻擊等等情況，會(huì)做大量的反爬蟲(chóng)。偽裝瀏覽器訪問(wèn)是反爬蟲(chóng)的一小步。
好了我們繼續(xù)，
htmlcontet = requests.get(url, headers=headers, timeout=30)
htmlcontet.raise_for_status()
htmlcontet.encoding = 'utf-8'
return htmlcontet.text
第一條如果我們看了Requests之后就知道這是一個(gè)解析你傳入的url，并包含了請(qǐng)求頭，響應(yīng)延時(shí)
第二條，如果當(dāng)前頁(yè)面響應(yīng)的情況會(huì)返回一個(gè)json數(shù)據(jù)包，我們通過(guò)這個(gè)語(yǔ)法來(lái)確認(rèn)是否為我們要的成功響應(yīng)的結(jié)果
第三條，解析格式，由于該網(wǎng)站我們可以看到已知字符編碼格式為utf-8所以在這里我就寫(xiě)死了是utf-8
最后都沒(méi)問(wèn)題后，返回一個(gè)頁(yè)面文件出來(lái)
第二步：
拿到一個(gè)頁(yè)面文件后，我們就需要觀察一下該網(wǎng)頁(yè)的HTML結(jié)構(gòu)
這里介紹一下如何觀察一個(gè)網(wǎng)頁(yè)的結(jié)構(gòu)，打開(kāi)F12或者，找個(gè)空白的位置右鍵——>檢查
我們大概會(huì)看到這樣的一個(gè)情況：

沒(méi)錯(cuò)你看到那些<body><div>這些就是HTML語(yǔ)言，我們爬蟲(chóng)就是要從這些標(biāo)記里面抓取出我們所需要的內(nèi)容。
我們現(xiàn)在要抓取這個(gè)1日夜間和2日白天的天氣數(shù)據(jù)出來(lái)：
我們首先先從網(wǎng)頁(yè)結(jié)構(gòu)中找出他們的被包裹的邏輯

很清楚的能看到他們的HTML嵌套的邏輯是這樣的：
<div class="con today clearfix">
|
|_____<div class="left fl">
   |
   |_____<div class="today clearfix" id="today">
      |
      |______<div class="t">
         |
         |_____<ul class="clearfix">
            |
            |_____<li>
            |
            |_____<li>

我們要的內(nèi)容都包裹在li里面，然后這里我們就要用BeautifulSoup里面的find方法來(lái)進(jìn)行提取查詢
我們繼續(xù)構(gòu)建一個(gè)抓取網(wǎng)頁(yè)內(nèi)容的函數(shù)，由于我們最終要的數(shù)據(jù)有兩條，所有我先聲明一個(gè)weather_list的數(shù)組來(lái)等會(huì)保存我要的結(jié)果。
代碼如下：
def get_content(url):
    '''
    抓取頁(yè)面天氣數(shù)據(jù)
    '''
    weather_list = []
    html = get_html(url)
    soup = bs4.BeautifulSoup(html, 'lxml')
    content_ul = soup.find('div', class_='t').find_all('li')
    for content in content_ul:
        try:
            weather = {}
            weather['day'] = content.find('h1').text
            weather['temperature'] = content.find(
                'p', class_='tem').span.text + content.find(
                    'p', class_='tem').em.text
            weather_list.append(weather)
        except:
            print('查詢不到')
    print (weather_list)
同樣的話不說(shuō)第二遍，我們要寫(xiě)好注釋。在聲明完數(shù)組后，我們就可調(diào)用剛才封裝好的請(qǐng)求函數(shù)來(lái)請(qǐng)求我們要的URL并返回一個(gè)頁(yè)面文件，接下來(lái)就是用Beautifulsoup4里面的語(yǔ)法，用lxml來(lái)解析我們的網(wǎng)頁(yè)文件。
你們可以用

soup = bs4.BeautifulSoup(html, 'lxml')
print (soup)
就可以看到整個(gè)HTML結(jié)構(gòu)出現(xiàn)在你眼前，接下來(lái)我就們就根據(jù)上面整理出來(lái)的標(biāo)簽結(jié)構(gòu)來(lái)找到我們要的信息
content_ul = soup.find('div', class_='t').find_all('li')
具體方法，要熟讀文檔，我們找到所有的li后會(huì)返回一個(gè)這樣的結(jié)構(gòu)

這是一個(gè)數(shù)組的格式，然后我們遍歷它，構(gòu)造一個(gè)字典，我們對(duì)于的操作字典建立'day','temperature'鍵值對(duì)

   for content in content_ul:
       try:
            weather = {}
            weather['day'] = content.find('h1').text
            weather['temperature'] = content.find(
                'p', class_='tem').span.text + content.find(
                    'p', class_='tem').em.text
            weather_list.append(weather)
        except:
            print('查詢不到')
    print(weather_list)

最后輸出

附上完整代碼：

'''
抓取每天的天氣數(shù)據(jù)
python 3.6.2
url:http://www.weather.com.cn/weather1d/101190401.shtml
'''
import json
import requests
import bs4

def get_html(url):
    '''
    封裝請(qǐng)求
    '''
    headers = {
        'User-Agent':
        'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36',
        'ContentType':
        'text/html; charset=utf-8',
        'Accept-Encoding':
        'gzip, deflate, sdch',
        'Accept-Language':
        'zh-CN,zh;q=0.8',
        'Connection':
        'keep-alive',
    }
    try:
        htmlcontet = requests.get(url, headers=headers, timeout=30)
        htmlcontet.raise_for_status()
        htmlcontet.encoding = 'utf-8'
        return htmlcontet.text
    except:
        return " 請(qǐng)求失敗 "

def get_content(url):
    '''
    抓取頁(yè)面天氣數(shù)據(jù)
    '''
    weather_list = []
    html = get_html(url)
    soup = bs4.BeautifulSoup(html, 'lxml')
    content_ul = soup.find('div', class_='t').find('ul', class_='clearfix').find_all('li')
    for content in content_ul:
        try:
            weather = {}
            weather['day'] = content.find('h1').text
            weather['temperature'] = content.find(
                'p', class_='tem').span.text + content.find(
                    'p', class_='tem').em.text
            weather_list.append(weather)
        except:
            print('查詢不到')
    print(weather_list)

if __name__ == '__main__':
    url = 'http://www.weather.com.cn/weather1d/101190401.shtml'
    get_content(url)