作者：Python進(jìn)階者

來(lái)源：Python爬蟲與數(shù)據(jù)挖掘

前言

大家好，我是吳老板。今天給大家分享一個(gè)可將Mongodb數(shù)據(jù)庫(kù)里邊的文件轉(zhuǎn)換為表格文件的庫(kù)，這個(gè)庫(kù)是我自己開發(fā)的，有問(wèn)題可以隨時(shí)咨詢我。

Mongo2file庫(kù)是一個(gè) Mongodb 數(shù)據(jù)庫(kù)轉(zhuǎn)換為表格文件的庫(kù)。

在我的日常工作中經(jīng)常和 mongodb 打交道，而從 mongodb 數(shù)據(jù)庫(kù)中批量導(dǎo)出數(shù)據(jù)為其他格式則成為了剛需。

如果您跟我一樣每次導(dǎo)出數(shù)據(jù)時(shí)都需要重新編寫或到處尋找 腳本代碼 的話，這個(gè)庫(kù)可能會(huì)對(duì)您產(chǎn)生幫助。

依賴于快速 PyArrow

mongo2file 依賴于 PyArrow 庫(kù)。它是 C++ Arrow 的 Python 版本實(shí)現(xiàn)。

PyArrow 目前與 Python 3.7、3.8、3.9 和 3.10 兼容。

倉(cāng)庫(kù)地址: https://github.com/apache/arrow

如果您在 Windows 上遇到任何的導(dǎo)入問(wèn)題或錯(cuò)誤，您可能需要安裝 Visual Studio 2015。

警告: PyArrow 目前只支持到 win64 位 ( Python 64bit ) 操作系統(tǒng)。

其次，除了常見的 csv、excel、以及 json 文件格式之外, mongo2file 還支持導(dǎo)出 pickle、feather、parquet 的二進(jìn)制壓縮文件。

pickle、feather、parquet 是 Python 序列化數(shù)據(jù)的一種文件格式, 它把數(shù)據(jù)轉(zhuǎn)成二進(jìn)制進(jìn)行存儲(chǔ)。從而大大減少讀取的時(shí)間。

安裝

pip install mongo2file

基本用法

快速開始

import os from mongo2file import MongoEngine

M = MongoEngine(
    host=os.getenv('MONGO_HOST', '127.0.0.1'),
    port=int(os.getenv('MONGO_PORT', 27017)),
    username=os.getenv('MONGO_USERNAME', None),
    password=os.getenv('MONGO_PASSWORD', None),
    database=os.getenv('MONGO_DATABASE', 'test_'),
    collection=os.getenv('MONGO_COLLECTION', 'test_')
) def to_csv(): result_ = M.to_csv() assert "successfully" in result_ def to_excel(): result_ = M.to_excel() assert "successfully" in result_ def to_json(): result_ = M.to_excel() assert "successfully" in result_ def to_pickle(): result_ = M.to_pickle() assert "successfully" in result_ def to_feather(): result_ = M.to_feather() assert "successfully" in result_ def to_parquet(): result_ = M.to_parquet() assert "successfully" in result_
    
to_csv()

當(dāng) MongoEngine 控制類指定了 mongodb 表名稱時(shí)、將對(duì)數(shù)據(jù)表 (mongodb集合) 進(jìn)行導(dǎo)出操作。

其類方法參數(shù)包括:

• query: 指定對(duì)數(shù)據(jù)表的查詢參數(shù)、只對(duì)指定表名時(shí)有效
• folder_path: 指定導(dǎo)出目錄路徑
• filename: 指定導(dǎo)出文件名、默認(rèn)為 表名稱 + 當(dāng)前時(shí)間
• _id: 指定是否導(dǎo)出 _id、布爾型、默認(rèn)為 False
• limit: 指定導(dǎo)出表的限制數(shù)據(jù)、int類型、默認(rèn)為 -1、即不限制。

import os from mongo2file import MongoEngine """
作用于 MongoEngine 類未指定表名稱時(shí)
""" M = MongoEngine(
    host=os.getenv('MONGO_HOST', '127.0.0.1'),
    port=int(os.getenv('MONGO_PORT', 27017)),
    username=os.getenv('MONGO_USERNAME', None),
    password=os.getenv('MONGO_PASSWORD', None),
    database=os.getenv('MONGO_DATABASE', 'test_')
) def to_csv(): result_ = M.to_csv() assert "successfully" in result_ def to_excel(): result_ = M.to_excel() assert "successfully" in result_ def to_json(): result_ = M.to_json() assert "successfully" in result_
    
to_csv()

當(dāng) MongoEngine 控制類只指定了 mongodb 庫(kù)名稱時(shí)、將對(duì)數(shù)據(jù)庫(kù)下所有集合進(jìn)行導(dǎo)出操作。

面對(duì) mongo2file的瓶頸和改進(jìn)

對(duì)于 mongodb 的全表查詢、條件查詢、聚合操作、以及索引操作(當(dāng)數(shù)據(jù)達(dá)到一定量級(jí)時(shí)建議) 并不是直接影響 數(shù)據(jù)導(dǎo)出的最大因素。

因?yàn)?nbsp;mongodb 的查詢一般而言都非?？焖伲饕钠款i在于讀取 數(shù)據(jù)庫(kù) 之后將數(shù)據(jù)轉(zhuǎn)換為大列表存入 表格文件時(shí)所耗費(fèi)的時(shí)間。

_這是一件非?？膳碌氖虑開。

當(dāng)沒有多線程(當(dāng)然這里的多線程并不是對(duì)同一文件進(jìn)行并行操作，文件寫入往往是線程不安全的)、 數(shù)據(jù)表查詢語(yǔ)句無(wú)優(yōu)化時(shí)，并且當(dāng)數(shù)據(jù)達(dá)到一定量級(jí)時(shí)(比如 100w 行)，單表單線程表現(xiàn)出來(lái)的效果真是讓人窒息。

在 mongo2file 在進(jìn)行大數(shù)據(jù)量導(dǎo)出時(shí)表現(xiàn)的并沒有多么優(yōu)秀。導(dǎo)致的主要原因可能是:

• 采用的 xlsxwriter 庫(kù)寫入 excel 時(shí)是積極加載(非惰性)的，數(shù)據(jù)全部加載至內(nèi)存后插入表格。
• 大數(shù)據(jù)量插入表格時(shí)、跟宿主機(jī)器的性能有關(guān)。

mongo2file 表現(xiàn)的不如人意時(shí)，我做出了一下改進(jìn):

• 當(dāng)數(shù)據(jù)量過(guò)大時(shí)，數(shù)據(jù)表分塊讀取，導(dǎo)出多表格。
• 增加線程池的最大并發(fā)數(shù)、當(dāng)選取的 block_size 值合適時(shí)，將發(fā)揮最大性能。

對(duì)于數(shù)據(jù)轉(zhuǎn)換一些建議

• 對(duì)于 xlsxwriter、openpyxl、xlwings 以及 pandas 引用的任何引擎進(jìn)行寫入操作時(shí)、都會(huì)對(duì)寫入數(shù)據(jù)進(jìn)行非法字符的過(guò)濾。這一點(diǎn)從部分源碼中可以看得出來(lái)。
• 由于行數(shù)據(jù)表中可能存在 excel 無(wú)法識(shí)別的非法字符 (比如空列表 []) , 當(dāng)寫至此行時(shí)將拋出 非法類型 的錯(cuò)誤。
• 而比較恰當(dāng)合理的做法就是在存儲(chǔ) mongodb 文檔時(shí)不要存入類似于 []、{} 的這種對(duì)原始數(shù)據(jù)無(wú)意義的空對(duì)象。

Reference API

MongoEngine

MongoEngine( host='localhost', port=27017, username=None, password=None, database='測(cè)試庫(kù)', collection='測(cè)試表_200000' ) 

to_csv(query, folder_path, filename, ...)

:param query: 數(shù)據(jù)庫(kù)查詢條件、字典類型、只作用于單表導(dǎo)出 :param folder_path: 指定導(dǎo)出的目錄 :param filename: 指定導(dǎo)出的文件名 :param _id: 是否導(dǎo)出 _id 默認(rèn)否 :param limit: 限制數(shù)據(jù)表查詢的條數(shù) :param is_block: 是否分塊導(dǎo)出 :param block_size: 塊大小、is_block 為 True 時(shí)生效 

to_excel(query, folder_path, filename, ...)

:param query: 數(shù)據(jù)庫(kù)查詢條件、字典類型、只作用于單表導(dǎo)出 :param folder_path: 指定導(dǎo)出的目錄 :param filename: 指定導(dǎo)出的文件名 :param _id: 是否導(dǎo)出 _id 默認(rèn)否 :param limit: 限制數(shù)據(jù)表查詢的條數(shù) :param is_block: 是否分塊導(dǎo)出 :param block_size: 塊大小、is_block 為 True 時(shí)生效 :param mode: 導(dǎo)出模式, 枚舉類型、sheet 或 xlsx, 當(dāng) is_block 為 True 時(shí)生效 :param ignore_error: 是否忽略錯(cuò)誤、數(shù)據(jù)表中存在非序列化類型時(shí)使用、這將一定程度上影響程序的性能 

to_json(query, folder_path, filename, ...)

:param query: 數(shù)據(jù)庫(kù)查詢條件、字典類型、只作用于單表導(dǎo)出 :param folder_path: 指定導(dǎo)出的目錄 :param filename: 指定導(dǎo)出的文件名 :param _id: 是否導(dǎo)出 _id 默認(rèn)否 :param limit: 限制數(shù)據(jù)表查詢的條數(shù) :param is_block: 是否分塊導(dǎo)出 :param block_size: 塊大小、is_block 為 True 時(shí)生效 

to_pickle(query, folder_path, filename, ...)

:param query: 數(shù)據(jù)庫(kù)查詢條件、字典類型、只作用于單表導(dǎo)出 :param folder_path: 指定導(dǎo)出的目錄 :param filename: 指定導(dǎo)出的文件名 :param _id: 是否導(dǎo)出 _id 默認(rèn)否 :param limit: 限制數(shù)據(jù)表查詢的條數(shù)

to_feather(query, folder_path, filename, ...)

:param query: 數(shù)據(jù)庫(kù)查詢條件、字典類型、只作用于單表導(dǎo)出 :param folder_path: 指定導(dǎo)出的目錄 :param filename: 指定導(dǎo)出的文件名 :param _id: 是否導(dǎo)出 _id 默認(rèn)否 :param limit: 限制數(shù)據(jù)表查詢的條數(shù)

to_parquet(query, folder_path, filename, ...)

:param query: 數(shù)據(jù)庫(kù)查詢條件、字典類型、只作用于單表導(dǎo)出 :param folder_path: 指定導(dǎo)出的目錄 :param filename: 指定導(dǎo)出的文件名 :param _id: 是否導(dǎo)出 _id 默認(rèn)否 :param limit: 限制數(shù)據(jù)表查詢的條數(shù)

總結(jié)

大家好，我是吳老板。以上就是今天要分享的全部?jī)?nèi)容了，總的來(lái)說(shuō)，Mongo2file庫(kù)是一個(gè)可以將 Mongodb 數(shù)據(jù)庫(kù)轉(zhuǎn)換為表格文件的庫(kù)，不僅支持導(dǎo)出csv、excel、以及 json 文件格式, 還支持導(dǎo)出 pickle、feather、parquet 的二進(jìn)制壓縮文件。歡迎大家積極嘗試，在使用過(guò)程中有遇到任何問(wèn)題，歡迎隨時(shí)聯(lián)系我。