
醫(yī)療大數(shù)據(jù)分析管理系統(tǒng)的設(shè)計(jì)與科研應(yīng)用
1 背景
我院半結(jié)構(gòu)化電子病歷起用于2005年,至今已積累電子病歷近50萬(wàn)份。由于病歷完成者主要是進(jìn)修醫(yī)和學(xué)生,數(shù)據(jù)質(zhì)量無(wú)法滿(mǎn)足科研需求,我們又開(kāi)發(fā)了科研電子病歷系統(tǒng),供科研人員在其中補(bǔ)充錄入普通電子病歷沒(méi)有的數(shù)據(jù)。兩個(gè)系統(tǒng)共為科研數(shù)據(jù)中心的數(shù)據(jù)來(lái)源??蒲袛?shù)據(jù)中心的應(yīng)用大大提高了科研工作效率及準(zhǔn)確性。但隨著數(shù)據(jù)量和查詢(xún)維度的增加,數(shù)據(jù)查詢(xún)和數(shù)據(jù)挖掘的速度越來(lái)越慢。為此,我們決定引入分布式存儲(chǔ)及分布式計(jì)算技術(shù),建立醫(yī)療大數(shù)據(jù)分析管理系統(tǒng),來(lái)提高數(shù)據(jù)處理效率。
2 硬件系統(tǒng)架構(gòu)
我們采用MongoDB作為存儲(chǔ)工具。首先,因?yàn)槠胀?a href='/map/guanxixingshujuku/' style='color:#000;font-size:inherit;'>關(guān)系型數(shù)據(jù)庫(kù)的每次操作都會(huì)有一致性檢查,而MongoDB的設(shè)計(jì)沒(méi)有這個(gè)步驟,所以MongoDB的存儲(chǔ)效率比普通關(guān)系型數(shù)據(jù)庫(kù)更高。其次,醫(yī)院總數(shù)據(jù)量低于5T,綜合考慮數(shù)據(jù)量級(jí)及管理成本,沒(méi)有選擇hadoop。而且,MongoDB也考慮了設(shè)備故障出現(xiàn)的場(chǎng)景,在設(shè)計(jì)時(shí)就做了容災(zāi)和故障轉(zhuǎn)移的方案。
圖1 硬件系統(tǒng)架構(gòu)
如圖1所示,客戶(hù)端連接3臺(tái)應(yīng)用服務(wù)器,應(yīng)用服務(wù)器主要負(fù)責(zé)隨訪、數(shù)據(jù)采集清洗和科研項(xiàng)目管理等業(yè)務(wù)。因?yàn)樽?a href='/map/dashujufenxi/' style='color:#000;font-size:inherit;'>大數(shù)據(jù)分析,盡管本項(xiàng)目對(duì)存儲(chǔ)量要求不高,但對(duì)I/O及CPU運(yùn)算速度卻要求很高,故設(shè)計(jì)9臺(tái)PC服務(wù)器用來(lái)進(jìn)行分布式存儲(chǔ)及計(jì)算,這9臺(tái)PC服務(wù)器由三套副本集組成,以提高存儲(chǔ)及計(jì)算效率。每個(gè)副本集又由三個(gè)存儲(chǔ)節(jié)點(diǎn)組成,每個(gè)存儲(chǔ)節(jié)點(diǎn)各有分工,但數(shù)據(jù)相互備份,以保證數(shù)據(jù)安全。
MongoDB的集群部署方案中有三類(lèi)角色:實(shí)際數(shù)據(jù)存儲(chǔ)結(jié)點(diǎn)(shard)、配置文件存儲(chǔ)結(jié)點(diǎn)(config server)和路由接入結(jié)點(diǎn)(mongos)。連接的客戶(hù)端直接與路由結(jié)點(diǎn)相連,從配置結(jié)點(diǎn)上查詢(xún)數(shù)據(jù),根據(jù)查詢(xún)結(jié)果到實(shí)際的存儲(chǔ)結(jié)點(diǎn)上查詢(xún)和存儲(chǔ)數(shù)據(jù)。
mongos,數(shù)據(jù)庫(kù)集群請(qǐng)求的入口,所有的請(qǐng)求都通過(guò)mongos進(jìn)行協(xié)調(diào),不需要在應(yīng)用程序添加一個(gè)路由選擇器,mongos自己就是一個(gè)請(qǐng)求分發(fā)中心,它負(fù)責(zé)把對(duì)應(yīng)的數(shù)據(jù)請(qǐng)求請(qǐng)求轉(zhuǎn)發(fā)到對(duì)應(yīng)的shard服務(wù)器上。在此我們考慮部署3臺(tái)mongos作為請(qǐng)求的入口,防止其中一臺(tái)宕機(jī)后所有的mongodb請(qǐng)求都無(wú)法操作。
config server,顧名思義為配置服務(wù)器,存儲(chǔ)所有數(shù)據(jù)庫(kù)元信息(路由、分片)的配置。mongos本身沒(méi)有物理存儲(chǔ)分片服務(wù)器和數(shù)據(jù)路由信息,只是緩存在內(nèi)存里,配置服務(wù)器則實(shí)際存儲(chǔ)這些數(shù)據(jù)。mongos第一次啟動(dòng)或者關(guān)掉重啟就會(huì)從 config server 加載配置信息,以后如果配置服務(wù)器信息變化會(huì)通知到所有的 mongos 更新自己的狀態(tài),這樣 mongos 就能繼續(xù)準(zhǔn)確路由。在此我們考慮部署3臺(tái)config server 配置服務(wù)器,就算其中一臺(tái)宕機(jī), mongodb集群仍然可用。
shard,實(shí)際的數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn),把既往一臺(tái)服務(wù)器存儲(chǔ)的數(shù)據(jù)分散到3臺(tái)存儲(chǔ),不僅存儲(chǔ)空間大大的擴(kuò)展,同時(shí)硬盤(pán)的讀寫(xiě),網(wǎng)絡(luò)的IO、CPU和內(nèi)存都得到很大的擴(kuò)展。在Mongodb集群中只要設(shè)置好了分片規(guī)則,通過(guò)mongos操作數(shù)據(jù)庫(kù)就能自動(dòng)把對(duì)應(yīng)的數(shù)據(jù)操作請(qǐng)求轉(zhuǎn)發(fā)到對(duì)應(yīng)的分片機(jī)器上。同時(shí)每個(gè)分片有3臺(tái)服務(wù)器組成副本集(Replica Set) ,保證同一份數(shù)據(jù)存儲(chǔ)三份。
3 軟件系統(tǒng)架構(gòu)
院內(nèi)醫(yī)療數(shù)據(jù)大量分散存儲(chǔ)在HIS、LIS、EPR、PACS等子系統(tǒng)中,院外數(shù)據(jù)主要存儲(chǔ)在隨訪系統(tǒng)中。這些數(shù)據(jù)具有多源相關(guān)性、異構(gòu)性、海量高速性的特點(diǎn),有效的數(shù)據(jù)整合是大數(shù)據(jù)分析的前提。首先,所有子系統(tǒng)數(shù)據(jù)通過(guò)醫(yī)院系統(tǒng)集成平臺(tái)進(jìn)行采集,然后通過(guò)解析、映射、標(biāo)準(zhǔn)化等手段進(jìn)行加工處理,最后存儲(chǔ)于數(shù)據(jù)倉(cāng)庫(kù)中。數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)通過(guò)聚合統(tǒng)計(jì)、結(jié)構(gòu)化、歸一等技術(shù)手段,為大數(shù)據(jù)查詢(xún)、挖掘、隨訪、科研項(xiàng)目管理等應(yīng)用系統(tǒng)提供數(shù)據(jù)支撐,具體如圖2所示。
圖2 軟件系統(tǒng)架構(gòu)
4 應(yīng)用效果分析
我院科研大數(shù)據(jù)分析管理系統(tǒng)啟用后效果明顯,到目前為止已建立20個(gè)專(zhuān)業(yè)科研數(shù)據(jù)庫(kù),支持了15個(gè)科研項(xiàng)目。完成各類(lèi)科研查詢(xún)200余項(xiàng)次,發(fā)表論文上百篇,其中SCI文章數(shù)十篇。科研工作績(jī)效長(zhǎng)期在北京市醫(yī)管局系統(tǒng)名列前茅??蒲腥藛T普遍反映工作效率有很大改善。
5 目前存在的不足
5.1數(shù)據(jù)分析與建模中存在的問(wèn)題 首先,醫(yī)療信息系統(tǒng)通常不是為了科研和數(shù)據(jù)分析設(shè)計(jì)的。從數(shù)據(jù)分析的角度看,醫(yī)療數(shù)據(jù)通常比較復(fù)雜,醫(yī)療數(shù)據(jù)建模與醫(yī)療業(yè)務(wù)流程關(guān)系密切,需要不同領(lǐng)域的知識(shí),包括醫(yī)學(xué)、生物統(tǒng)計(jì)學(xué)、流行病學(xué)和信息學(xué)等。在某些涉及基因療法的醫(yī)學(xué)數(shù)據(jù)中,還需要有基因?qū)W領(lǐng)域的專(zhuān)家。僅憑HIS廠商是無(wú)法實(shí)現(xiàn)的。因此如何協(xié)調(diào)好各領(lǐng)域?qū)<遥⑿兄行У臄?shù)據(jù)模型是項(xiàng)目成敗的關(guān)鍵。
5.2 醫(yī)學(xué)自然語(yǔ)言處理難度大,影響數(shù)據(jù)質(zhì)量 由于大量詳細(xì)的病人信息以文本形式存儲(chǔ),而文本描述的信息通常存在歧義和很多非標(biāo)準(zhǔn)化描述,如何把這些非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化為統(tǒng)一的結(jié)構(gòu)化數(shù)據(jù)是醫(yī)學(xué)信息處理的重要步驟。自然語(yǔ)言處理是解決方案之一。將非結(jié)構(gòu)化醫(yī)療數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)需要一系列醫(yī)學(xué)自然語(yǔ)言處理技術(shù),包括:醫(yī)學(xué)名實(shí)體識(shí)別,名實(shí)體自動(dòng)編碼,名實(shí)體修飾詞識(shí)別,時(shí)間信息抽取等。作為信息抽取的關(guān)鍵技術(shù),醫(yī)學(xué)信息抽取一直是醫(yī)學(xué)自然語(yǔ)言處理的研究熱點(diǎn)。
5.3 病案質(zhì)量欠佳 科研數(shù)據(jù)中心的數(shù)據(jù)是需要經(jīng)過(guò)結(jié)構(gòu)化、標(biāo)準(zhǔn)化處理后才能存儲(chǔ)的。這些數(shù)據(jù)要求以病例個(gè)體為單位,以時(shí)間為線索,按照開(kāi)放的標(biāo)準(zhǔn)架構(gòu)進(jìn)行組織存儲(chǔ),如HL7、CDA,保證病例數(shù)據(jù)的可用性和可擴(kuò)展性。提供靈活的數(shù)據(jù)檢索能力,方便查找符合條件的病例,并通過(guò)數(shù)據(jù)輸出接口將數(shù)據(jù)導(dǎo)出成為標(biāo)準(zhǔn)的,可供第三方平臺(tái)處理的數(shù)據(jù)格式。
臨床科研對(duì)病案質(zhì)量要求更高,低質(zhì)量的病案會(huì)直接導(dǎo)致臨床科研結(jié)果的偏差。因此,嚴(yán)謹(jǐn)?shù)牟v書(shū)寫(xiě)規(guī)范及數(shù)據(jù)校驗(yàn),對(duì)每一個(gè)數(shù)據(jù)元素進(jìn)行標(biāo)準(zhǔn)化定義,是必不可少的步驟。
5.4 患者提供隨訪數(shù)據(jù)的依從性有待提高 隨訪數(shù)據(jù)對(duì)于醫(yī)學(xué)科研的意義不言而喻。在實(shí)踐過(guò)程中,我們發(fā)現(xiàn)心腦血管疾病人群大多為老年人,而老年人對(duì)于電子設(shè)備操作不熟練,影響了數(shù)據(jù)采集的及時(shí)性和準(zhǔn)確性。未來(lái)應(yīng)通過(guò)可穿戴設(shè)備、遠(yuǎn)程會(huì)診、異地醫(yī)療機(jī)構(gòu)信息系統(tǒng)互聯(lián)互通等方式提高患者,特別是外地患者隨訪的依從性。
6 結(jié)論與展望
醫(yī)療衛(wèi)生行業(yè)的數(shù)據(jù)資源為大數(shù)據(jù)技術(shù)應(yīng)用提供了條件。目前醫(yī)療大數(shù)據(jù)的相關(guān)標(biāo)準(zhǔn)與軟件應(yīng)用等研究仍處在起步階段,開(kāi)拓空間大,提供機(jī)會(huì)多,但也面臨諸多現(xiàn)實(shí)問(wèn)題。
數(shù)據(jù)分析咨詢(xún)請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無(wú)論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢(xún)效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫(kù)管理中,“大表” 始終是性能優(yōu)化繞不開(kāi)的話題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫(kù)表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動(dòng)態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開(kāi)始提取前,需先判斷 TIF 文件的類(lèi)型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價(jià)值的專(zhuān)業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫(kù)表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫(kù))處理 Excel 數(shù)據(jù)時(shí),“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場(chǎng)景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專(zhuān)業(yè)操盤(pán)手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計(jì)劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計(jì)劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對(duì)象的 text 與 content:區(qū)別、場(chǎng)景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請(qǐng)求開(kāi)發(fā)時(shí)(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價(jià)值的核心操盤(pán)手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫(kù)表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請(qǐng)求工具對(duì)比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請(qǐng)求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)的科學(xué)計(jì)數(shù)法問(wèn)題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)時(shí)的科學(xué)計(jì)數(shù)法問(wèn)題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價(jià)值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營(yíng)問(wèn)題、提升執(zhí)行效率的核心手段,其價(jià)值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過(guò)程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計(jì)” 與 “用戶(hù)體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營(yíng)銷(xiāo)案例:數(shù)據(jù)驅(qū)動(dòng)下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見(jiàn)頂” 的當(dāng)下,精準(zhǔn)營(yíng)銷(xiāo)成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價(jià)值 在數(shù)據(jù)驅(qū)動(dòng)決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類(lèi)分析:從操作實(shí)踐到業(yè)務(wù)價(jià)值挖掘 在數(shù)據(jù)分析場(chǎng)景中,聚類(lèi)分析作為 “無(wú)監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計(jì)模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價(jià)值導(dǎo)向 統(tǒng)計(jì)模型作為數(shù)據(jù)分析的核心工具,并非簡(jiǎn)單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10