python將csv（中文）導入mysql數(shù)據(jù)庫的簡單代碼

使用PHP寫的，源碼我就不貼上來了，寫的比較簡單，先是讀取了csv的第一行，根據(jù)這個創(chuàng)建了表格，然后再利用sql自帶的語句 “l(fā)oad data infile....”將剩下的數(shù)據(jù)讀入到這個表格中。但是剛好服務器的后臺command line 執(zhí)行的php沒有安裝好，放在browser上的話處理數(shù)據(jù)又不太適合，于是我就自己寫了一個簡單的Python的腳本。

首先csv讀入MySQL 可以使用sql語句直接讀入 代碼如下：

[sql] view plain copy
    LOAD DATA INFILE 'csv_file'  
    IGNORE INTO TABLE table_name  
    CHARACTER SET UTF8  
    FIELDS TERMINATED BY ';'  
    OPTIONALLY ENCLOSED BY '"'  
    LINES TERMINATED BY '\n'  

但是這樣讀入的前提是必須創(chuàng)建一個table之后才能導入到指定的table，下面就是用python先提取了首行（前提是首行就是table的fields），然后再利用上面的sql語句把剩下的導入：
[python] view plain copy

    #coding=utf-8  
    import csv  
    import sys  
    import codecs  
    import MySQLdb  
    reload(sys)  
    sys.setdefaultencoding('utf-8')  
      
    csv_filename=sys.argv[1]  
    database=sys.argv[2]  
    table_name=sys.argv[3]  
      
    file=codecs.open(csv_filename,'r','utf-8')  
    reader=file.readline()  
    b=reader.split(',')  
    colum=''  
    for a in b:  
        colum=colum+a+' varchar(255),'  
    colum=colum[:-1]  
    create='create table if not exists '+table_name+' '+'('+colum+')'+' DEFAULT CHARSET=utf8'  
    data='LOAD DATA LOCAL INFILE \''+csv_filename+'\' INTO TABLE '+table_name +' character set utf8 FIELDS TERMINATED BY \',\' ENCLOSED BY \'\"\' LINES TERMINATED BY \''+r'\r\n'+'\' IGNORE 1 LINES;'  
    e=unicode(data,'utf8')  
      
  
    conn=MySQLdb.connect(  
        host='localhost',  
        port=3306,  
        user='root',  
        passwd='',  
        db=database)  
    conn.set_character_set('utf8')  
    cursor=conn.cursor()  
    cursor.execute('SET NAMES utf8;')  
    cursor.execute('SET character_set_connection=utf8;')  
    cursor.execute(create)  
    cursor.execute(e)  
    cursor.rowcount  
      
    conn.commit()  
    cursor.close()  
    print('OK') 

用法在命令行中： python csv_to_sql.py  csv_file  database_name table_name
第一個參數(shù)csv文件（可以不和python腳本放在一個位置，路徑寫對就可以，不過放在一起更方便）
第二個參數(shù)選擇存放的數(shù)據(jù)庫名
第三個需要存入的表格名字。（不需要再去單獨建立表格）
直接在命令行運行，沒有報error錯誤就可以（會報warnning沒關系）

這里有一點要注意的是，從代碼就可以看出，創(chuàng)建的table的字段都是定義好的了，都是varchar（255），如果需要修改的話，可以到數(shù)據(jù)庫根據(jù)自己的需要修改相應的field的屬性。

另外一點就是csv中文的問題了，我要導入就是至少幾十M的中文數(shù)據(jù)，所以一開始也遇到了點麻煩（不過Python對中文的支持也不是很好）。這里要先明白一個問題就是csv的文件是什么編碼的，我的 csv是utf8編碼的，如果不是utf8最好先轉成utf8的編碼格式。上面的代碼是在Linux服務器下測試成功的，如果是windows的話，有問題也因該是編碼的問題。

還有就是創(chuàng)建數(shù)據(jù)庫的時候也一定要記得統(tǒng)一用utf8的格式

1、建立數(shù)據(jù)庫連接后   

2、建立數(shù)據(jù)庫游標后：

SET NAMES 'utf8';  
它相當于下面的三句指令： 
SET character_set_client = utf8; 
SET character_set_results = utf8; 
SET character_set_connection = utf8; 
3、創(chuàng)建表格的時候在表格后面加上：

這樣就沒有問題，其實就是要保證在整個數(shù)據(jù)流動過程中的編碼要一致就可以了

ps：python有 CSV模塊可以而支持讀寫csv文件，不過由于我只是提取一行建立表格所以就這里就沒有用，不過我也嘗試了一下，csv模塊，如果要讀取csv內容的話可以用這個模塊，但是這個模塊只支持utf8格式的，其它的格式的需要轉碼一下，這個看官方文檔就可以了。