99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁精彩閱讀利用python實(shí)現(xiàn)新浪微博爬蟲_python新浪微博爬蟲
利用python實(shí)現(xiàn)新浪微博爬蟲_python新浪微博爬蟲
2016-12-30
收藏

利用python實(shí)現(xiàn)新浪微博爬蟲_python新浪微博爬蟲

本文后面的解決動(dòng)態(tài)加載的程序依然有效

重新編輯了一次，出了點(diǎn)兒問題

第一個(gè)模塊，模擬登陸sina微博，創(chuàng)建weiboLogin.py文件，輸入以下代碼：

[python]
  1. #! /usr/bin/env python
  2. # -*- coding: utf-8 -*-

  4. import sys
  5. import urllib
  6. import urllib2
  7. import cookielib
  8. import base64
  9. import re
  10. import json
  11. import hashlib

  13. class weiboLogin:
  14.     cj = cookielib.LWPCookieJar()
  15.     cookie_support = urllib2.HTTPCookieProcessor(cj)
  16.     opener = urllib2.build_opener(cookie_support, urllib2.HTTPHandler)
  17.     urllib2.install_opener(opener)
  18.     postdata = {
  19.         ‘entry’: ‘weibo’,
  20.         ‘gateway’: ‘1’,
  21.         ‘from’: ”,
  22.         ‘savestate’: ‘7’,
  23.         ‘userticket’: ‘1’,
  24.         ‘ssosimplelogin’: ‘1’,
  25.         ‘vsnf’: ‘1’,
  26.         ‘vsnval’: ”,
  27.         ‘su’: ”,
  28.         ‘service’: ‘miniblog’,
  29.         ‘servertime’: ”,
  30.         ‘nonce’: ”,
  31.         ‘pwencode’: ‘wsse’,
  32.         ‘sp’: ”,
  33.         ‘encoding’: ‘UTF-8’,
  34.         ‘url’: ‘http://weibo.com/ajaxlogin.php?framelogin=1&callback=parent.sinaSSOController.feedBackUrlCallBack’,
  35.         ‘returntype’: ‘META’
  36.     }

  38.     def get_servertime(self):
  39.         url = ‘http://login.sina.com.cn/sso/prelogin.php?entry=weibo&callback=sinaSSOController.preloginCallBack&su=dW5kZWZpbmVk&client=ssologin.js(v1.3.18)&_=1329806375939’
  40.         data = urllib2.urlopen(url).read()
  41.         p = re.compile(‘(.?)‘)
  42.         try:
  43.             json_data = p.search(data).group(1)
  44.             data = json.loads(json_data)
  45.             servertime = str(data[‘servertime’])
  46.             nonce = data[‘nonce’]
  47.             return servertime, nonce
  48.         except:
  49.             print ‘Get severtime error!’
  50.             return None

  52.     def get_pwd(self, pwd, servertime, nonce):
  53.         pwd1 = hashlib.sha1(pwd).hexdigest()
  54.         pwd2 = hashlib.sha1(pwd1).hexdigest()
  55.         pwd3_ = pwd2 + servertime + nonce
  56.         pwd3 = hashlib.sha1(pwd3_).hexdigest()
  57.         return pwd3

  59.     def get_user(self, username):
  60.         username_ = urllib.quote(username)
  61.         username = base64.encodestring(username_)[:-1]
  62.         return username


  65.     def login(self,username,pwd):
  66.         url = ‘http://login.sina.com.cn/sso/login.php?client=ssologin.js(v1.3.18)’
  67.         try:
  68.             servertime, nonce = self.get_servertime()
  69.         except:
  70.             print ‘get servertime error!’
  71.             return
  72.         weiboLogin.postdata[‘servertime’] = servertime
  73.         weiboLogin.postdata[‘nonce’] = nonce
  74.         weiboLogin.postdata[‘su’] = self.get_user(username)
  75.         weiboLogin.postdata[‘sp’] = self.get_pwd(pwd, servertime, nonce)
  76.         weiboLogin.postdata = urllib.urlencode(weiboLogin.postdata)
  77.         headers = {‘User-Agent’:‘Mozilla/5.0 (X11; Linux i686; rv:8.0) Gecko/20100101 Firefox/8.0 Chrome/20.0.1132.57 Safari/536.11’}
  78.         req  = urllib2.Request(
  79.             url = url,
  80.             data = weiboLogin.postdata,
  81.             headers = headers
  82.         )
  83.         result = urllib2.urlopen(req)
  84.         text = result.read()
  85.         p = re.compile(‘location\.replace\’(.??)\’‘)
  86.         try:
  87.             login_url = p.search(text).group(1)
  88.             urllib2.urlopen(login_url)
  89.             print “Login success!”
  90.         except:
  91.             print ‘Login error!’

然后創(chuàng)建main.py文件，輸入以下代碼：

[python]
  1. #!/usr/bin/env python
  2. # -*- coding: utf-8 -*-

  4. import weiboLogin
  5. import urllib
  6. import urllib2

  8. username = ‘你的微博用戶名’
  9. pwd = ‘你的微博密碼’

  11. WBLogin = weiboLogin.weiboLogin()
  12. WBLogin.login(username, pwd)

注意：若登陸失敗，可能是你的賬號在登陸的時(shí)候需要輸入驗(yàn)證碼！你在網(wǎng)頁上登陸你的賬號試試看，在賬號設(shè)置里面可以設(shè)置某些地區(qū)不輸入驗(yàn)證碼。


接下來，考慮實(shí)現(xiàn)抓取微博的內(nèi)容。

此時(shí)遇到一個(gè)困難，當(dāng)抓取指定URL的微博時(shí)，初始顯示只有15條。后面的是延遲顯示的（ajax里面叫l(wèi)azy load?）。也就是說，當(dāng)滾動(dòng)條第一次拖到最下面的時(shí)候，會(huì)顯示第二部分，再拖到最下面，會(huì)顯示第三部分。此時(shí)一個(gè)頁面的微博才是完整的。所以，要獲取一個(gè)微博頁面的全部微博，需要訪問這個(gè)頁面三次。創(chuàng)建getWeiboPage.py文件，相應(yīng)代碼如下：

[python] view plain copy
  1. #!/usr/bin/env python
  2. # -*- coding: utf-8 -*-

  4. import urllib
  5. import urllib2
  6. import sys
  7. import time

  9. reload(sys)
  10. sys.setdefaultencoding(‘utf-8’)

  12. class getWeiboPage:
  13.     body = {
  14.         ‘__rnd’:”,
  15.         ‘_k’:”,
  16.         ‘_t’:‘0’,
  17.         ‘count’:’50’,
  18.         ‘end_id’:”,
  19.         ‘max_id’:”,
  20.         ‘page’:1,
  21.         ‘pagebar’:”,
  22.         ‘pre_page’:‘0’,
  23.         ‘uid’:”
  24.     }
  25.     uid_list = []
  26.     charset = ‘utf8’

  28.     def get_msg(self,uid):
  29.         getWeiboPage.body[‘uid’] = uid
  30.         url = self.get_url(uid)
  31.         self.get_firstpage(url)
  32.         self.get_secondpage(url)
  33.         self.get_thirdpage(url)
  34.     def get_firstpage(self,url):
  35.         getWeiboPage.body[‘pre_page’] = getWeiboPage.body[‘page’]-1
  36.         url = url +urllib.urlencode(getWeiboPage.body)
  37.         req = urllib2.Request(url)
  38.         result = urllib2.urlopen(req)
  39.         text = result.read()
  40.         self.writefile(‘./output/text1’,text)
  41.         self.writefile(‘./output/result1’,eval(“u”'”+text+“”'”))

  43.     def get_secondpage(self,url):
  44.         getWeiboPage.body[‘count’] = ’15’
  45.     #   getWeiboPage.body[‘end_id’] = ‘3490160379905732’
  46.     #   getWeiboPage.body[‘max_id’] = ‘3487344294660278’
  47.         getWeiboPage.body[‘pagebar’] = ‘0’
  48.         getWeiboPage.body[‘pre_page’] = getWeiboPage.body[‘page’]

  50.         url = url +urllib.urlencode(getWeiboPage.body)
  51.         req = urllib2.Request(url)
  52.         result = urllib2.urlopen(req)
  53.         text = result.read()
  54.         self.writefile(‘./output/text2’,text)
  55.         self.writefile(‘./output/result2’,eval(“u”'”+text+“”'”))
  56.     def get_thirdpage(self,url):
  57.         getWeiboPage.body[‘count’] = ’15’
  58.         getWeiboPage.body[‘pagebar’] = ‘1’
  59.         getWeiboPage.body[‘pre_page’] = getWeiboPage.body[‘page’]

  61.         url = url +urllib.urlencode(getWeiboPage.body)
  62.         req = urllib2.Request(url)
  63.         result = urllib2.urlopen(req)
  64.         text = result.read()
  65.         self.writefile(‘./output/text3’,text)
  66.         self.writefile(‘./output/result3’,eval(“u”'”+text+“”'”))
  67.     def get_url(self,uid):
  68.         url = ‘http://weibo.com/’ + uid + ‘?from=otherprofile&wvr=3.6&loc=tagweibo’
  69.         return url
  70.     def get_uid(self,filename):
  71.         fread = file(filename)
  72.         for line in fread:
  73.             getWeiboPage.uid_list.append(line)
  74.             print line
  75.             time.sleep(1)
  76.     def writefile(self,filename,content):
  77.         fw = file(filename,‘w’)
  78.         fw.write(content)
  79.         fw.close()

在剛剛的main.py中加入相應(yīng)內(nèi)容，完整內(nèi)容為：

  1. #!/usr/bin/env python
  2. # -*- coding: utf-8 -*-

  4. import weiboLogin
  5. import getWeiboMsg
  6. import urllib
  7. import urllib2

  9. username = ‘你的微博用戶名’
  10. pwd = ‘你的微博密碼’

  12. WBLogin = weiboLogin.weiboLogin()
  13. WBLogin.login(username, pwd)

  15. WBmsg = getWeiboMsg.getWeiboMsg()
  16. url = ‘http://weibo.com/1624087025?from=otherprofile&wvr=3.6&loc=tagweibo’

  18. WBmsg.get_firstpage(url)
  19. WBmsg.get_secondpage(url)
  20. WBmsg.get_thirdpage(url)

數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺(tái)檢測極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }