來源：Python爬蟲與數(shù)據(jù)挖掘

作者： Python進階者

大家好，我是Python進階者。

前言

我們在進行Python編程的時候，時常要將一些數(shù)據(jù)保存起來，其中最方便的莫過于保存在文本文件了。但是如果保存的文件太大，用文本文件就不太現(xiàn)實了，畢竟打開都是個問題，這個時候我們需要用到數(shù)據(jù)庫。提到數(shù)據(jù)庫，相信大部分人都不會陌生，今天我們要學(xué)的就是數(shù)據(jù)庫中小編自認為最棒的Mysql數(shù)據(jù)庫了。

一、下載導(dǎo)入模塊

為了讓Python與Mysql 交互，這里我們需要用到Pymsql模塊才行。

下載模塊：

pip install pymysql

導(dǎo)入模塊:

import pymysql

二、創(chuàng)建數(shù)據(jù)庫

打開數(shù)據(jù)庫連接軟件 SqlYong，如圖：

輸入命令：

CREATE DATABASE IF NOT EXISTS people;

這樣就創(chuàng)建了一個people 數(shù)據(jù)庫。

三、創(chuàng)建數(shù)據(jù)表，并寫入數(shù)據(jù)

USE people; CREATE TABLE IF NOT EXISTS student(id INT PRIMARY KEY AUTO_INCREMENT,NAME CHAR(10) UNIQUE,score INT NOT NULL,tim DATETIME)ENGINE=INNOBASE CHARSET utf8; INSERT INTO student(NAME,score,tim)VALUES('fasd',60,'2020-06-01') SELECT * FROM student;

通過上述操作便創(chuàng)建了一個數(shù)據(jù)表Student并向其中寫入了數(shù)據(jù)，結(jié)果如下：

我們可以一行代碼刪除這個插入的 數(shù)據(jù)：

TRUNCATE student;

四、Mysql與Python建立連接

將下圖中的參數(shù)依次填入初始化參數(shù)中，

db=pymysql.connect(host='localhost',user='root',password='123456',port=3306,db='people')

這樣就連接到了people數(shù)據(jù)庫，可以看下連接成功的打印信息：

可以看到我們打印了Mysql的版本和Host信息。

五、創(chuàng)建游標執(zhí)行操作

1.創(chuàng)建游標

cur=db.cursor

2.編寫插入數(shù)據(jù)表達式

sql="INSERT INTO student(NAME,score,tim)VALUES('任性的90后boy',100,now())"

3.開啟游標事件

cur.begin()

4.執(zhí)行數(shù)據(jù)庫語句，異常判斷

try:
    cur.execute(sql) 執(zhí)行數(shù)據(jù)庫語句
except Exception as e: print(e)
    db.rollback()   發(fā)生異常進行游標回滾操作 else:
    db.commit()   提交數(shù)據(jù)庫操作 finally:
    cur.close()  關(guān)閉游標
    db.close()  關(guān)閉數(shù)據(jù)庫

5，執(zhí)行插入操作

數(shù)據(jù)庫建立好后，我們可以對它們進行插入數(shù)據(jù)的操作。

import time
db=pymysql.connect(host='localhost',user='root',password='123456',port=3306,db='people')
cur=db.cursor()
db.begin()
sql="INSERT INTO student(NAME,score,tim) VALUES ('%s',%d,'%s')" data=('HW',90,tt) try:
  cur.execute(sql%data)
except Exception as e:
  print(e)
  db.rollback() else:
  db.commit() finally:
  cur.close()
  db.close()

這樣就可以將數(shù)據(jù)插入進去了。我們還可以自定義插入：

import pymysql
import time tt=time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time()))
db=pymysql.connect(host='localhost',user='root',password='123456',port=3306,db='people')
cur=db.cursor()
db.begin()
s=input('string:')
d=input('number:')
sql="INSERT INTO student(NAME,score,tim)VALUES('%s','%s','%s')" try:
  data=(s,d,tt)
  cur.execute(sql%data)
except Exception as e: print(e)
  db.rollback() else:
  db.commit()
finally:
  cur.close()
  db.close()

另外，我們也可以同時插入多條數(shù)據(jù)，只需先定義好所有的數(shù)據(jù)，然后在調(diào)用即可，這里需要用到插入多條數(shù)據(jù)的函數(shù)Executemany，在這里我插入十萬條數(shù)據(jù)，并測試插入時間，步驟如下：

import pymysql
import time start=time.time()
tt=time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time()))
db=pymysql.connect(host='localhost',user='root',password='123456',port=3306,db='people')
cur=db.cursor()
db.begin() sql="insert into student(NAME,score,tim)values(%s,%s,%s)" def get():
  ab=[] for y in range(1,100000): if y>=100: data=('user-'+str(y),str(str(float('%.f'%(y%100)))),tt) else: data=('user-'+str(y),str(y),tt)
    ab.append(data) return ab


try: data=get()
  cur.executemany(sql,data) except Exception as e:
  print(e)
  db.rollback() else:
  db.commit()
finally:
  print('插入數(shù)據(jù)完畢')
  cur.close()
  db.close() end=time.time()
  print('用時：',str(end-start))

6.執(zhí)行更新操作

有些數(shù)據(jù)我們覺得它過時了，想更改，就要更新它的數(shù)據(jù)。

import time
db=pymysql.connect(host='localhost',user='root',password='123456',port=3306,db='people')
cur=db.cursor()
db.begin()
sql="update student set name='zjj' where score=100 " 當分數(shù)是100分的時候?qū)⒚指臑閦jj try:
  cur.execute(sql%data) except Exception as e:
  print(e)
  db.rollback() else:
  db.commit() finally:
  cur.close()
  db.close()

7.執(zhí)行刪除操作

有時候一些數(shù)據(jù)如果對于我們來說沒有任何作用了的話了，我們就可以將它刪除了，不過這里是刪除數(shù)據(jù)表中的一條記錄。

import pymysql
db=pymysql.connect(host='localhost',user='root',password='123456',port=3306,db='people')
cur=db.cursor()
db.begin()
sql="delete from student where name='fasd';" 當名字等于‘fasd’的時候刪除這個記錄 try:
  cur.execute(sql) except Exception as e:
  print(e)
  db.rollback() else:
  db.commit() finally:
  cur.close()
  db.close()

你也可以刪除表中所有的數(shù)據(jù)，只需將Sql語句改為:

sql='TRUNCATE student;'

當然你也可以刪除表，但是一般不建議這樣做，以免誤刪：

DROP TABLE IF EXISTS student;

8.執(zhí)行查詢操作

有時候我們需要對數(shù)據(jù)庫中的數(shù)據(jù)進行查詢，Python也能輕松幫我們搞定。

import pymysql
import time tt=time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time()))
db=pymysql.connect(host='localhost',user='root',password='123456',port=3306,db='people')
cur=db.cursor()
db.begin()
sql="select * from student;" try:
  cur.execute(sql)
  res=cur.fetchall() 查詢數(shù)據(jù)庫中的數(shù)據(jù) for y in res: print(y) 打印數(shù)據(jù)庫中標的所有數(shù)據(jù)，以元祖的形式
except Exception as e: print(e)
  db.rollback() else:
  db.commit()
finally:
  cur.close()
  db.close()

六、總結(jié)

在我們進行網(wǎng)絡(luò)爬蟲的時候，需要保存大量數(shù)據(jù)，這個時候數(shù)據(jù)庫就派上用場了，可以更方便而且更快捷保存數(shù)據(jù)。