
來源:麥?zhǔn)寰幊?
作者:麥?zhǔn)?
當(dāng)我慢慢的開在高速公路上,寬敞的馬路非常的擁擠!這時(shí)候我喜歡讓百度導(dǎo)航的小度給我講笑話,但她有點(diǎn)弱,每次只能講一個(gè)。
百度號(hào)稱要發(fā)力人工智能,成為國內(nèi)人工智能的領(lǐng)軍企業(yè)。但從小度的智商和理解能力上,我對此非常懷疑。
所以我們干脆用Python來開發(fā)一個(gè)可以講笑話的機(jī)器人,可以自由定制功能,想講幾個(gè)笑話就講幾個(gè)笑話。
由于案例比較綜合,整個(gè)案例會(huì)分成2篇或者3篇文章發(fā)出,本文是第一篇,第二篇會(huì)隔一天發(fā)出。
可以在公眾號(hào)回復(fù):笑話,獲得相關(guān)文章的鏈接。
本文用到以下技術(shù):
為了代碼結(jié)構(gòu)清晰,方便維護(hù),我們把代碼放到了多個(gè)py文件中,每個(gè)文件各司其職。
本程序共包括一下幾個(gè)代碼模塊:
現(xiàn)在開始寫代碼,請先創(chuàng)建一個(gè)文件夾,建議取名為myjoke。后面所有的代碼都在這個(gè)文件夾中。
我們使用面向?qū)ο蟮木幊趟枷?,?chuàng)建一個(gè)叫做Joke的類,來表示一個(gè)笑話。
用了Joke類,代碼更清晰,數(shù)據(jù)傳輸也更方便。Joke類會(huì)被所有其他的模塊用到。
創(chuàng)建一個(gè)名為joke.py的文件
代碼如下:
class Joke: '''
表示一個(gè)笑話。
其中title是笑話標(biāo)題,detail是笑話內(nèi)容
url是笑話的采集網(wǎng)址,通過url判定笑話是否重復(fù),防止保存重復(fù)笑話
id是數(shù)據(jù)庫生成的唯一標(biāo)識(shí)符,剛剛采集下來的笑話是沒有id的,所以id可以為空
''' def __init__(self, title, detail, url, id=None):
self.title = title
self.detail = detail
self.url = url
self.id = id
def __str__(self): '''
有了這個(gè)方法,print(joke)會(huì)把笑話打印成下面格式的字符串,否則只會(huì)打印對象的內(nèi)存地址
''' return f'{id}-{title}n{detail}n{url}'
這個(gè)類中只有兩個(gè)魔術(shù)方法,一個(gè)是構(gòu)造函數(shù)__init__,一個(gè)是__str__。
關(guān)于魔術(shù)函數(shù),可以看這里:
如果沒學(xué)過面向?qū)ο?,可以在麥?zhǔn)骞娞?hào):免費(fèi)教程 -> 視頻 小程序中搜“面向?qū)ο蟆?,?jù)說是B占最好的面向?qū)ο蟮慕坛獭?
我們要抓取的網(wǎng)址是這個(gè):http://xiaohua.zol.com.cn/detail1/1.html 我們要抓的數(shù)據(jù)點(diǎn)有三個(gè):
在谷歌瀏覽器中,右鍵點(diǎn)擊檢查,就可以在下面看到網(wǎng)頁的代碼結(jié)構(gòu):
通過分析這個(gè)結(jié)構(gòu),我們可以得出:成功這兩個(gè)字是在一個(gè)h1結(jié)構(gòu)內(nèi),這個(gè)h1的class是article-title,因?yàn)榭梢允褂眠@個(gè)特征提取其中的內(nèi)容(示例代碼):
title = html.select_one('h1.article-title').getText()
用同樣的方法可以分析出笑話內(nèi)容和下一頁URL的特征。
分析網(wǎng)頁結(jié)構(gòu)需要基本的HTML和CSS的知識(shí),如果完全不懂,可以先直接模仿我的代碼,然后再慢慢理解相關(guān)知識(shí)。
現(xiàn)在來看完整的代碼。
新建一個(gè)名為joke_crawler.py的文件。
import requests import bs4 import time import random #先注釋掉數(shù)據(jù)庫相關(guān)的代碼,
后面需要反注釋回來 #import joke_db from joke import Joke #起始URL url = 'http://xiaohua.zol.com.cn/detail1/1.html'
#網(wǎng)站的域名地址,用來拼接完整地址 host = 'http://xiaohua.zol.com.cn' def craw_joke(url): '''
抓取指定的URL,返回一個(gè)Joke對象,和下一個(gè)要抓取的URL
如果抓取失敗,返回None, None
必須設(shè)置User-Agent header,否則容易被封
''' print(f'正在抓?。?span id="geybsqlxm7mc" class="hljs-subst">{url}')
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML,
like Gecko) Chrome/87.0.4280.88 Safari/537.36' }
html = requests.get(url, headers=headers).text
soup = bs4.BeautifulSoup(html, 'lxml')
try:
#分別使用css選擇器提取title, detail和next_url title = soup.select_one('h1.article-title').getText()
detail = soup.select_one('div.article-text').getText().strip()
next_url = soup.select_one('span.next > a')['href']
return Joke(title, detail, url), next_url
except Exception as e:
print('出錯(cuò)了:', e)
print(html)
return None, None # 抓取笑話,以學(xué)習(xí)為目的,建議不要抓取太多,本例子只抓取了10個(gè) count = 0 for i in range(0, 10):
joke, next_url = craw_joke(url)
if joke:
#先注釋掉數(shù)據(jù)庫相關(guān)的代碼,后面需要反注釋回來 #joke_db.save(joke) print(joke)
url = host + next_url
print('歇一會(huì)兒再抓!')
time.sleep(random.randint(1, 5))
print('抓完收工!')
代碼中已經(jīng)添加了一些注釋,有基礎(chǔ)的應(yīng)該可以看懂。如果是零基礎(chǔ),可以在麥?zhǔn)骞娞?hào):免費(fèi)教程 -> 視頻 小程序中搜“面向?qū)ο蟆?,?jù)說是B占最好的Python入門教程。
有兩個(gè)點(diǎn)要注意:
抓來的笑話可以保存到文件中,但是用文件存儲(chǔ)不方便檢索,也不方便判斷笑話是否重復(fù)等。
所以更好的方法是把笑話保存到數(shù)據(jù)庫,這里選擇sqlite做數(shù)據(jù)庫。原因如下:
但如果你想把世界上所有的笑話都抓下來,數(shù)據(jù)量很大,那建議使用更正式的數(shù)據(jù)庫,比如MySQL.
新建一個(gè)名為joke_db.py的文件
代碼如下:
import sqlite3 from joke import Joke def setup(): '''
創(chuàng)建數(shù)據(jù)庫和創(chuàng)建表,如果已經(jīng)存在了不會(huì)重復(fù)創(chuàng)建
''' con = sqlite3.connect('jokeDB.db')
with con:
con.execute('''CREATE TABLE IF NOT EXISTS jokes
(id INTEGER PRIMARY KEY,
title varchar(256) NOT NULL,
detail varchar(1024) NOT NULL,
url varchar(1024) NOT NULL)''') def save(joke): '''
把笑話保存到數(shù)據(jù)庫
根據(jù)url判斷是否已經(jīng)有這個(gè)笑話了,如果有了就不再保存
''' con = sqlite3.connect('jokeDB.db')
with con:
cur = con.cursor()
cur.execute(
'SELECT * FROM jokes WHERE (url = ?)', [(joke.url)])
has_joke = cur.fetchone()
if has_joke:
print('重復(fù)了,不再插入')
else:
con.execute('INSERT INTO jokes(title, detail, url) VALUES (?,?,?)',
(joke.title, joke.detail, joke.url))
print('笑話保存成功') def get_jokes(): '''
返回所有的笑話列表
''' print('loading jokes...')
con = sqlite3.connect('jokeDB.db')
jokes = []
with con:
for row in con.execute('SELECT * FROM jokes'):
joke = Joke(row[1], row[2], row[3], row[0])
jokes.append(joke)
return jokes # 調(diào)用最上面的代碼 setup() # 測試代碼,本模塊被別的模塊引入的時(shí)候,
不會(huì)執(zhí)行下面的代碼 if __name__ == '__main__':
save(Joke('笑話Test', '笑話內(nèi)容test', 'https://www.joke.com/1.html'))
save(Joke('笑話Test2', '笑話內(nèi)容test', 'https://www.joke.com/2.html'))
print('========打印一下所有的笑話======')
for joke in get_jokes():
print(joke)
print()
代碼已經(jīng)添加了比較多的注釋,請先看代碼。這里額外的補(bǔ)充:
運(yùn)行上面的代碼,就可以發(fā)現(xiàn)文件夾下多了一個(gè)名為jokeDB.db的文件,這是程序自動(dòng)創(chuàng)建的數(shù)據(jù)庫文件,笑話就保存在里面。下面里面只有兩個(gè)測試的笑話:
> python joke_db.py
笑話保存成功
笑話保存成功
========打印一下所有的笑話======
loading jokes...
1-笑話Test
笑話內(nèi)容test https://www.joke.com/1.html
2-笑話Test2
笑話內(nèi)容test https://www.joke.com/2.html
這一部分需要一定的數(shù)據(jù)庫知識(shí),不過你也可以比這葫蘆畫瓢,先把功能做出來,再加強(qiáng)相關(guān)知識(shí)。
可惜麥?zhǔn)暹€沒有數(shù)據(jù)庫相關(guān)的視頻,如果你希望我出相關(guān)視頻,請點(diǎn)贊和轉(zhuǎn)發(fā)本文。
現(xiàn)在回到j(luò)oke_crawler.py中,去掉關(guān)于joke_db的注釋代碼
第1處在文件開頭:
#先注釋掉數(shù)據(jù)庫相關(guān)的代碼,后面需要反注釋回來 #import joke_db
第2處在文件的最下面:
for i in range(0, 10):
joke, next_url = craw_joke(url)
if joke:
#先注釋掉數(shù)據(jù)庫相關(guān)的代碼,后面需要反注釋回來 #joke_db.save(joke) print(joke)
url = host + next_url
print('歇一會(huì)兒再抓!')
time.sleep(random.randint(1, 5)) print('抓完收工!')
去掉注釋后,再次運(yùn)行joke_crawler.py,就會(huì)把笑話保存在數(shù)據(jù)庫中。
為了驗(yàn)證是否保存成功了,可以去運(yùn)行joke_db.py,因?yàn)檫@個(gè)文件最后會(huì)打印出所有的笑話:
========打印一下所有的笑話======
loading jokes... 1-笑話Test
笑話內(nèi)容test
https://www.joke.com/1.html 2-笑話Test2
笑話內(nèi)容test
https://www.joke.com/2.html 3-成功
她:“因?yàn)閯e人都不同情你,我才做你的妻子?!彼骸澳憧偹愠晒α恕,F(xiàn)在每個(gè)人都因此同情我?!?
http://xiaohua.zol.com.cn/detail1/1.html 4-結(jié)婚以后
女:“為什么從前你對我百依百順,可結(jié)婚才三天,你就跟我吵了兩天的架?”男:“因?yàn)槲业娜棠褪怯邢薅鹊??!?
http://xiaohua.zol.com.cn/detail1/2.html 5-我們的
燕爾新婚,新娘對新郎說:“今后咱們不興說‘我的’了,要說‘我們的’?!毙吕扇ハ丛?,良久不出,新娘問:“
你在干什么哪?”“親愛的,我在刮我們的胡子呢?!?
http://xiaohua.zol.com.cn/detail1/3.html 6-杞人憂天
妻子患了重病,醫(yī)生宣告回天乏術(shù)。妻子即對丈夫說:“我現(xiàn)在希望你能夠發(fā)誓?!薄鞍l(fā)什么誓?!薄叭绻阍倩椋?/pre>
不準(zhǔn)把我的衣服給你的新妻子穿?!闭煞蚧腥淮笪虻溃骸斑@個(gè)我可以發(fā)誓。說實(shí)話,你根本不必操心,
因?yàn)槲以僖膊幌胝蚁衲氵@樣胖的太太了?!?
http://xiaohua.zol.com.cn/detail1/5.html 7-理由充分
法官:“離婚理由是什么?”新娘:“他打呼嚕?!狈ü伲骸敖Y(jié)婚多長時(shí)間了?”新娘:“三天?!狈ü伲?/pre>
“離婚理由充分,結(jié)婚三天還不是打呼嚕的時(shí)候?!?
http://xiaohua.zol.com.cn/detail1/6.html 8-聰明丈夫
某夫婦當(dāng)街而過,一只鴿子飛過天空,一泡鴿糞不偏不倚正巧落在太太肩上,太太急了,忙叫丈夫拿紙。丈夫抬頭,
見鴿子不講衛(wèi)生,到處拉屎,卻不知妻子叫他拿紙干嘛,說:“叫我有啥辦法,追上前去給它擦屁股呀! ”
http://xiaohua.zol.com.cn/detail1/8.html 9-事故與災(zāi)難
一位夫人問她的丈夫:“親愛的,你能告訴我‘事故’與‘災(zāi)難’這兩個(gè)詞之間有什么區(qū)別嗎?”“這很簡單。
”丈夫認(rèn)真地回答說,“譬如你失足落水,這就叫‘事故’;如果人家又把你當(dāng)魚釣上來,這就是‘災(zāi)難’了?!?
http://xiaohua.zol.com.cn/detail1/13.html 10-吵架的結(jié)果
夫妻吵架了。當(dāng)丈夫下班回到家里,他發(fā)現(xiàn)妻子不在家。只在桌上留了一個(gè)條子,上面寫道:“午飯?jiān)凇杜胝{(diào)大全》第215頁;晚飯?jiān)?span id="geybsqlxm7mc" class="hljs-number" style="color:#A82E2E;">317頁?!?
http://xiaohua.zol.com.cn/detail1/14.html 11-保險(xiǎn)之險(xiǎn)
太太不懂保險(xiǎn)的道理,認(rèn)為繳保險(xiǎn)費(fèi)是浪費(fèi),先生連忙解釋說:“保險(xiǎn)是為了你和孩子,萬一我死了;你們也有個(gè)保障呀!
”太太反駁說:“要是你不死呢?”
http://xiaohua.zol.com.cn/detail1/16.html 12-補(bǔ)不足
妻:“我曉得,你與我結(jié)婚,是因?yàn)槲矣绣X?!狈颍骸安皇?,是因?yàn)槲覜]有錢?!?
http://xiaohua.zol.com.cn/detail1/17.html
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動(dòng)態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價(jià)值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時(shí),“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計(jì)劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計(jì)劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請求開發(fā)時(shí)(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價(jià)值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點(diǎn)數(shù)據(jù)的科學(xué)計(jì)數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點(diǎn)數(shù)據(jù)時(shí)的科學(xué)計(jì)數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價(jià)值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營問題、提升執(zhí)行效率的核心手段,其價(jià)值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計(jì)” 與 “用戶體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動(dòng)下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準(zhǔn)營銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價(jià)值 在數(shù)據(jù)驅(qū)動(dòng)決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類分析:從操作實(shí)踐到業(yè)務(wù)價(jià)值挖掘 在數(shù)據(jù)分析場景中,聚類分析作為 “無監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計(jì)模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價(jià)值導(dǎo)向 統(tǒng)計(jì)模型作為數(shù)據(jù)分析的核心工具,并非簡單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10