來源：麥叔編程

作者：麥叔

背景

當我慢慢的開在高速公路上，寬敞的馬路非常的擁擠！這時候我喜歡讓百度導航的小度給我講笑話，但她有點弱，每次只能講一個。

百度號稱要發(fā)力人工智能，成為國內(nèi)人工智能的領軍企業(yè)。但從小度的智商和理解能力上，我對此非常懷疑。

所以我們干脆用Python來開發(fā)一個可以講笑話的機器人，可以自由定制功能，想講幾個笑話就講幾個笑話。

由于案例比較綜合，整個案例會分成2篇或者3篇文章發(fā)出，本文是第一篇，第二篇會隔一天發(fā)出。

可以在公眾號回復：笑話，獲得相關(guān)文章的鏈接。

用到的技術(shù)

本文用到以下技術(shù)：

1. 爬蟲 - 抓取笑話
2. 數(shù)據(jù)庫 - 用sqlite保存笑話
3. 面向?qū)ο?- 封裝joke對象
4. 模塊 - 代碼分模塊放在多個文件中
5. 語音識別 - 識別用戶輸入的語音，把笑話轉(zhuǎn)換成語音
6. GUI - 開發(fā)簡單的用戶界面
7. 打包 - 把程序打包成可執(zhí)行文件

主要流程

代碼模塊

為了代碼結(jié)構(gòu)清晰，方便維護，我們把代碼放到了多個py文件中，每個文件各司其職。

本程序共包括一下幾個代碼模塊：

• joke.py - 笑話對象，被多個模塊共用
• joke_crawler.py - 笑話爬蟲
• joke_db.py - 處理數(shù)據(jù)庫相關(guān)，保存笑話，查詢笑話等
• joke_ui.py - 用戶界面模塊
• joke_audio.py - 處理和語音相關(guān)的任務 和2個非代碼結(jié)構(gòu)：
• joke_audio - 存放語音文件的文件夾
• jokeDB.db - sqlite3數(shù)據(jù)庫文件

現(xiàn)在開始寫代碼，請先創(chuàng)建一個文件夾，建議取名為myjoke。后面所有的代碼都在這個文件夾中。

Joke對象

我們使用面向?qū)ο蟮木幊趟枷?，?chuàng)建一個叫做Joke的類，來表示一個笑話。

用了Joke類，代碼更清晰，數(shù)據(jù)傳輸也更方便。Joke類會被所有其他的模塊用到。

創(chuàng)建一個名為joke.py的文件

代碼如下：

class Joke:     '''
    表示一個笑話。
    其中title是笑話標題，detail是笑話內(nèi)容
    url是笑話的采集網(wǎng)址，通過url判定笑話是否重復，防止保存重復笑話
    id是數(shù)據(jù)庫生成的唯一標識符，剛剛采集下來的笑話是沒有id的，所以id可以為空
    '''     def __init__(self, title, detail, url, id=None):         

self.title = title
        self.detail = detail
        self.url = url
        self.id = id

    def __str__(self):         '''
        有了這個方法，print(joke)會把笑話打印成下面格式的字符串，否則只會打印對象的內(nèi)存地址
        '''         return f'{id}-{title}n{detail}n{url}' 

這個類中只有兩個魔術(shù)方法，一個是構(gòu)造函數(shù)__init__，一個是__str__。

關(guān)于魔術(shù)函數(shù)，可以看這里：

如果沒學過面向?qū)ο螅梢栽邴準骞娞枺?span style="font-weight:700;">免費教程 -> 視頻 小程序中搜“面向?qū)ο蟆?，?jù)說是B占最好的面向?qū)ο蟮慕坛獭?

爬蟲抓取笑話

分析網(wǎng)頁結(jié)構(gòu)

我們要抓取的網(wǎng)址是這個：http://xiaohua.zol.com.cn/detail1/1.html 我們要抓的數(shù)據(jù)點有三個：

在谷歌瀏覽器中，右鍵點擊檢查，就可以在下面看到網(wǎng)頁的代碼結(jié)構(gòu)：

1. 用鼠標點擊1的按鈕
2. 然后把鼠標移到2的地方
3. 就可以看到成功這兩個字在網(wǎng)頁中的結(jié)構(gòu)。

通過分析這個結(jié)構(gòu)，我們可以得出：成功這兩個字是在一個h1結(jié)構(gòu)內(nèi)，這個h1的class是article-title，因為可以使用這個特征提取其中的內(nèi)容（示例代碼）：

title = html.select_one('h1.article-title').getText()

用同樣的方法可以分析出笑話內(nèi)容和下一頁URL的特征。

分析網(wǎng)頁結(jié)構(gòu)需要基本的HTML和CSS的知識，如果完全不懂，可以先直接模仿我的代碼，然后再慢慢理解相關(guān)知識。

代碼實現(xiàn)

現(xiàn)在來看完整的代碼。

新建一個名為joke_crawler.py的文件。

import requests import bs4 import time import random #先注釋掉數(shù)據(jù)庫相關(guān)的代碼，

后面需要反注釋回來 #import joke_db  from joke import Joke #起始URL url = 'http://xiaohua.zol.com.cn/detail1/1.html'   

#網(wǎng)站的域名地址，用來拼接完整地址 host = 'http://xiaohua.zol.com.cn' def craw_joke(url):     '''
    抓取指定的URL，返回一個Joke對象，和下一個要抓取的URL
    如果抓取失敗，返回None, None
    必須設置User-Agent header，否則容易被封
    '''     print(f'正在抓?。?span id="geybsqlxm7mc"    class="hljs-subst">{url}')
    headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, 

like Gecko) Chrome/87.0.4280.88 Safari/537.36'     }
    html = requests.get(url, headers=headers).text
    soup = bs4.BeautifulSoup(html, 'lxml')
    try:
        #分別使用css選擇器提取title, detail和next_url         title = soup.select_one('h1.article-title').getText()
        detail = soup.select_one('div.article-text').getText().strip()
        next_url = soup.select_one('span.next > a')['href']
        return Joke(title, detail, url), next_url
    except Exception as e:
        print('出錯了：', e)
        print(html)
        return None, None  # 抓取笑話，以學習為目的，建議不要抓取太多，本例子只抓取了10個 count = 0 for i in range(0, 10):
    joke, next_url = craw_joke(url)
    if joke:
        #先注釋掉數(shù)據(jù)庫相關(guān)的代碼，后面需要反注釋回來         #joke_db.save(joke)         print(joke)
        url = host + next_url
    print('歇一會兒再抓!')
    time.sleep(random.randint(1, 5))
print('抓完收工！')

代碼中已經(jīng)添加了一些注釋，有基礎的應該可以看懂。如果是零基礎，可以在麥叔公眾號：免費教程 -> 視頻 小程序中搜“面向?qū)ο蟆保瑩?jù)說是B占最好的Python入門教程。

有兩個點要注意：

1. 在craw_joke函數(shù)中，必須添加User-Agent的header，否則會很快被封鎖。
2. 代碼中注釋掉了和數(shù)據(jù)庫相關(guān)的代碼，現(xiàn)在只是把笑話打印出來。寫好了數(shù)據(jù)庫模塊，要把相關(guān)代碼反注釋回來。
3. 抓取的中間有隨機1到5秒的停頓，一個防止被封鎖，二是出于文明禮貌，不要給服務器帶來太大壓力。

保存到sqlite數(shù)據(jù)庫

抓來的笑話可以保存到文件中，但是用文件存儲不方便檢索，也不方便判斷笑話是否重復等。

所以更好的方法是把笑話保存到數(shù)據(jù)庫，這里選擇sqlite做數(shù)據(jù)庫。原因如下：

1. sqlite是文件數(shù)據(jù)庫，不需要安裝額外的數(shù)據(jù)庫服務器
2. python默認支持sqlite數(shù)據(jù)庫，不需要任何額外的安裝和配置

但如果你想把世界上所有的笑話都抓下來，數(shù)據(jù)量很大，那建議使用更正式的數(shù)據(jù)庫，比如MySQL.

新建一個名為joke_db.py的文件

代碼如下：

import sqlite3 from joke import Joke  def setup():     '''
    創(chuàng)建數(shù)據(jù)庫和創(chuàng)建表，如果已經(jīng)存在了不會重復創(chuàng)建
    '''     con = sqlite3.connect('jokeDB.db')
    with con:
        con.execute('''CREATE TABLE IF NOT EXISTS jokes
                    (id INTEGER PRIMARY KEY,
                    title varchar(256) NOT NULL,
                    detail varchar(1024) NOT NULL,
                    url varchar(1024) NOT NULL)''') def save(joke):     '''
    把笑話保存到數(shù)據(jù)庫
    根據(jù)url判斷是否已經(jīng)有這個笑話了，如果有了就不再保存
    '''     con = sqlite3.connect('jokeDB.db')
    with con:
        cur = con.cursor()
        cur.execute(
            'SELECT * FROM jokes WHERE (url = ?)', [(joke.url)])
        has_joke = cur.fetchone()
        if has_joke:
            print('重復了，不再插入')
        else:
            con.execute('INSERT INTO jokes(title, detail, url) VALUES (?,?,?)', 

(joke.title, joke.detail, joke.url))
            print('笑話保存成功') def get_jokes():     '''
    返回所有的笑話列表
    '''     print('loading jokes...')
    con = sqlite3.connect('jokeDB.db')
    jokes = []
    with con:
        for row in con.execute('SELECT * FROM jokes'):
            joke = Joke(row[1], row[2], row[3], row[0])
            jokes.append(joke)
    return jokes # 調(diào)用最上面的代碼 setup() # 測試代碼，本模塊被別的模塊引入的時候，

不會執(zhí)行下面的代碼 if __name__ == '__main__':
    save(Joke('笑話Test', '笑話內(nèi)容test', 'https://www.joke.com/1.html'))
    save(Joke('笑話Test2', '笑話內(nèi)容test', 'https://www.joke.com/2.html'))
    print('========打印一下所有的笑話======')
    for joke in get_jokes():
        print(joke)
        print()

代碼已經(jīng)添加了比較多的注釋，請先看代碼。這里額外的補充：

1. 要使用sqlite，需要引入sqlite3模塊
2. 使用sqlite要先用connect()方法獲得鏈接，然后調(diào)用execute()方法執(zhí)行SQL語句。

運行上面的代碼，就可以發(fā)現(xiàn)文件夾下多了一個名為jokeDB.db的文件，這是程序自動創(chuàng)建的數(shù)據(jù)庫文件，笑話就保存在里面。下面里面只有兩個測試的笑話：

> python joke_db.py
笑話保存成功
笑話保存成功
========打印一下所有的笑話======
loading jokes...
1-笑話Test
笑話內(nèi)容test https://www.joke.com/1.html

2-笑話Test2
笑話內(nèi)容test https://www.joke.com/2.html

這一部分需要一定的數(shù)據(jù)庫知識，不過你也可以比這葫蘆畫瓢，先把功能做出來，再加強相關(guān)知識。

可惜麥叔還沒有數(shù)據(jù)庫相關(guān)的視頻，如果你希望我出相關(guān)視頻，請點贊和轉(zhuǎn)發(fā)本文。

抓取笑話并保存到數(shù)據(jù)庫

現(xiàn)在回到joke_crawler.py中，去掉關(guān)于joke_db的注釋代碼

第1處在文件開頭：

#先注釋掉數(shù)據(jù)庫相關(guān)的代碼，后面需要反注釋回來 #import joke_db  

第2處在文件的最下面：

for i in range(0, 10):
    joke, next_url = craw_joke(url)
    if joke:
        #先注釋掉數(shù)據(jù)庫相關(guān)的代碼，后面需要反注釋回來         #joke_db.save(joke)         print(joke)
        url = host + next_url
    print('歇一會兒再抓!')
    time.sleep(random.randint(1, 5)) print('抓完收工！')

去掉注釋后，再次運行joke_crawler.py，就會把笑話保存在數(shù)據(jù)庫中。

為了驗證是否保存成功了，可以去運行joke_db.py，因為這個文件最后會打印出所有的笑話：

========打印一下所有的笑話======
loading jokes... 1-笑話Test
笑話內(nèi)容test
https://www.joke.com/1.html 2-笑話Test2
笑話內(nèi)容test
https://www.joke.com/2.html 3-成功
她：“因為別人都不同情你，我才做你的妻子。”他：“你總算成功了?，F(xiàn)在每個人都因此同情我?！?
http://xiaohua.zol.com.cn/detail1/1.html 4-結(jié)婚以后
女：“為什么從前你對我百依百順，可結(jié)婚才三天，你就跟我吵了兩天的架？”男：“因為我的忍耐是有限度的?！?
http://xiaohua.zol.com.cn/detail1/2.html 5-我們的
燕爾新婚，新娘對新郎說：“今后咱們不興說‘我的’了，要說‘我們的’?！毙吕扇ハ丛?，良久不出，新娘問：“

你在干什么哪？”“親愛的，我在刮我們的胡子呢。”
http://xiaohua.zol.com.cn/detail1/3.html 6-杞人憂天
妻子患了重病，醫(yī)生宣告回天乏術(shù)。妻子即對丈夫說：“我現(xiàn)在希望你能夠發(fā)誓?！薄鞍l(fā)什么誓?！薄叭绻阍倩?，

不準把我的衣服給你的新妻子穿。”丈夫恍然大悟道：“這個我可以發(fā)誓。說實話，你根本不必操心，

因為我再也不想找像你這樣胖的太太了?！?
http://xiaohua.zol.com.cn/detail1/5.html 7-理由充分
法官：“離婚理由是什么？”新娘：“他打呼嚕?！狈ü伲骸敖Y(jié)婚多長時間了？”新娘：“三天?！狈ü伲?/pre>
“離婚理由充分，結(jié)婚三天還不是打呼嚕的時候。”
http://xiaohua.zol.com.cn/detail1/6.html 8-聰明丈夫
某夫婦當街而過，一只鴿子飛過天空，一泡鴿糞不偏不倚正巧落在太太肩上，太太急了，忙叫丈夫拿紙。丈夫抬頭，
見鴿子不講衛(wèi)生，到處拉屎，卻不知妻子叫他拿紙干嘛，說：“叫我有啥辦法，追上前去給它擦屁股呀！ ”
http://xiaohua.zol.com.cn/detail1/8.html 9-事故與災難
一位夫人問她的丈夫：“親愛的，你能告訴我‘事故’與‘災難’這兩個詞之間有什么區(qū)別嗎？”“這很簡單。
”丈夫認真地回答說，“譬如你失足落水，這就叫‘事故’；如果人家又把你當魚釣上來，這就是‘災難’了?！?
http://xiaohua.zol.com.cn/detail1/13.html 10-吵架的結(jié)果
夫妻吵架了。當丈夫下班回到家里，他發(fā)現(xiàn)妻子不在家。只在桌上留了一個條子，上面寫道：“午飯在《烹調(diào)大全》第215頁；晚飯在317頁?！?
http://xiaohua.zol.com.cn/detail1/14.html 11-保險之險
太太不懂保險的道理，認為繳保險費是浪費，先生連忙解釋說：“保險是為了你和孩子，萬一我死了；你們也有個保障呀！
 ”太太反駁說：“要是你不死呢？”
http://xiaohua.zol.com.cn/detail1/16.html 12-補不足
妻：“我曉得，你與我結(jié)婚，是因為我有錢?！狈颍骸安皇?，是因為我沒有錢?！?
http://xiaohua.zol.com.cn/detail1/17.html
                  

                      


                      

                           CDA數(shù)據(jù)分析師考試相關(guān)入口一覽（建議收藏）：
                      
                      
 
                      

                          
                              ? 想報名CDA認證考試，點擊>>>
                              
                                   
                                  
                                      
                                          
                                              “CDA報名”
                                          
                                      
                                  
                              
                              
                                  
                                      
                                      
                                      
                                      
                                  
                              了解CDA考試詳情；

                            
                      
                      

                          ? 想學習CDA考試教材，點擊>>> “CDA教材” 了解CDA考試詳情；
                      
                      

                          ? 想加入CDA考試題庫，點擊>>> “CDA題庫” 了解CDA考試詳情；
                      

                      

                          ? 想了解CDA考試含金量，點擊>>> “CDA含金量” 了解CDA考試詳情；