99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁精彩閱讀手把手教你使用python抓取并存儲網(wǎng)頁數(shù)據(jù)！
手把手教你使用python抓取并存儲網(wǎng)頁數(shù)據(jù)！
2020-10-13
收藏

作者：劉早起

來源：早起Python

爬蟲是Python的一個重要的應用，使用Python爬蟲我們可以輕松的從互聯(lián)網(wǎng)中抓取我們想要的數(shù)據(jù)，本文將基于爬取B站視頻熱搜榜單數(shù)據(jù)并存儲為例，詳細介紹Python爬蟲的基本流程。如果你還在入門爬蟲階段或者不清楚爬蟲的具體工作流程，那么應該仔細閱讀本文！

第一步：嘗試請求

首先進入b站首頁，點擊排行榜并復制鏈接 

https://www.bilibili.com/ranking?spm_id_from=333.851.b_7072696d61727950616765546162.3

現(xiàn)在啟動Jupyter notebook，并運行以下代碼 

import requests

url = 'https://www.bilibili.com/ranking?spm_id_from=333.851.b_7072696d61727950616765546162.3'
res = requests.get('url')
print(res.status_code)
#200

在上面的代碼中，我們完成了下面三件事

  • 導入requests
  • 使用get方法構(gòu)造請求
  • 使用status_code獲取網(wǎng)頁狀態(tài)碼

可以看到返回值是200，表示服務器正常響應，這意味著我們可以繼續(xù)進行。

第二步：解析頁面

在上一步我們通過requests向網(wǎng)站請求數(shù)據(jù)后，成功得到一個包含服務器資源的Response對象，現(xiàn)在我們可以使用.text來查看其內(nèi)容

可以看到返回一個字符串，里面有我們需要的熱榜視頻數(shù)據(jù)，但是直接從字符串中提取內(nèi)容是比較復雜且低效的，因此我們需要對其進行解析，將字符串轉(zhuǎn)換為網(wǎng)頁結(jié)構(gòu)化數(shù)據(jù)，這樣可以很方便地查找HTML標簽以及其中的屬性和內(nèi)容。

在Python中解析網(wǎng)頁的方法有很多，可以使用正則表達式，也可以使用BeautifulSoup、pyquery或lxml，本文將基于BeautifulSoup進行講解.

Beautiful Soup是一個可以從HTML或XML文件中提取數(shù)據(jù)的第三方庫.安裝也很簡單，使用pip install bs4安裝即可，下面讓我們用一個簡單的例子說明它是怎樣工作的 

from bs4 import BeautifulSoup

page = requests.get(url)
soup = BeautifulSoup(page.content, 'html.parser')
title = soup.title.text 
print(title)
# 熱門視頻排行榜 - 嗶哩嗶哩 (゜-゜)つロ 干杯~-bilibili

在上面的代碼中，我們通過bs4中的BeautifulSoup類將上一步得到的html格式字符串轉(zhuǎn)換為一個BeautifulSoup對象，注意在使用時需要制定一個解析器，這里使用的是html.parser。

接著就可以獲取其中的某個結(jié)構(gòu)化元素及其屬性，比如使用soup.title.text獲取頁面標題，同樣可以使用soup.body、soup.p等獲取任意需要的元素。

第三步：提取內(nèi)容

在上面兩步中，我們分別使用requests向網(wǎng)頁請求數(shù)據(jù)并使用bs4解析頁面，現(xiàn)在來到最關鍵的步驟：如何從解析完的頁面中提取需要的內(nèi)容。

在Beautiful Soup中，我們可以使用find/find_all來定位元素，但我更習慣使用CSS選擇器.select，因為可以像使用CSS選擇元素一樣向下訪問DOM樹。

現(xiàn)在我們用代碼講解如何從解析完的頁面中提取B站熱榜的數(shù)據(jù)，首先我們需要找到存儲數(shù)據(jù)的標簽，在榜單頁面按下F12并按照下圖指示找到

可以看到每一個視頻信息都被包在class="rank-item"的li標簽下，那么代碼就可以這樣寫

數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個參數(shù)驗證碼對象，之后可以使用它調(diào)用相應的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務器是否宕機 new_captcha: data.new_captcha, // 用于宕機時表示是新驗證碼的宕機 product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }