我們在從事數(shù)據(jù)相關(guān)的項目過程中，數(shù)據(jù)梳理、數(shù)據(jù)整合和數(shù)據(jù)補全等工作需要占用大量的時間與精力，而進展到數(shù)據(jù)分析、數(shù)據(jù)挖掘階段也對數(shù)據(jù)的完整性有著苛刻的要求。對于一個統(tǒng)計算法的驗證與研究，也同樣面臨著根據(jù)自身業(yè)務情景特點，配置數(shù)據(jù)屬性的需求。

今天，我們就簡單介紹幾種基礎(chǔ)數(shù)據(jù)生產(chǎn)方法，以簡化我們的ETL流程，方便大家根據(jù)業(yè)務定義去生產(chǎn)數(shù)據(jù)。

本文以面向?qū)ο蟮腏AVA語義進行示例。小伙伴們可以按照自己熟悉的各種語言來實現(xiàn)，筆者秉承著邏輯方法高于開發(fā)語言選擇的思想去發(fā)現(xiàn)問題、解決問題。

業(yè)務場景：

在醫(yī)院就診過程中，系統(tǒng)需要記錄我們的基本信息，比如：病案號、姓名、性別、發(fā)病時間、體重等。這些數(shù)據(jù)必須符合客觀規(guī)律，并且結(jié)構(gòu)化。我們接下來就逐一介紹每種屬性的數(shù)據(jù)生產(chǎn)方法。

1、根據(jù)面向?qū)ο笤瓌t建立一個父類

首先我們建立一個抽象類AttributeValueGenerator，在這個類中聲明一個實體entity，并建立get、set方法，此后的每種方法都繼承這個父類。

2、定義病案號

病案號是一組規(guī)則的、自定義的遞增數(shù)列，我們可以采用遞增的方式產(chǎn)生。定義兩個參數(shù)：病案號的起始數(shù)字、增長規(guī)模。

函數(shù)如下：

輸入?yún)?shù)：

10001為病案號的起始數(shù)字、每次增加1。

結(jié)果展示：

3、區(qū)分性別

我們用一組枚舉型的數(shù)列填充性別屬性。男性、女性的就診比例根據(jù)業(yè)務需求自定義，采用按百分比產(chǎn)生隨機數(shù)的方式實現(xiàn)。

函數(shù)如下：

輸入?yún)?shù)：

第一個參數(shù)為性別、第二參數(shù)為出現(xiàn)的概率。

結(jié)果展示：

4、發(fā)病日期歸并

發(fā)病日期分布在不同的年份月份日期，需要規(guī)劃起始日期、截止日期、期間概率，隨機生成范圍內(nèi)日期并轉(zhuǎn)換為int型輸出。

函數(shù)如下：

參數(shù)輸入：

發(fā)病時間在2005年的占27%、在2006年的占73%

結(jié)果展示：

5、體重正態(tài)分布

一組成年人的體重數(shù)據(jù)應該根據(jù)男女區(qū)別對待，并符合正態(tài)分布的規(guī)律。正態(tài)分布數(shù)據(jù)生成，可以控制期望、方差、起始、截止。

函數(shù)如下：

參數(shù)輸入：

如果是男性，平均值為67公斤、方差為10、40-150公斤之間浮動。

如果是女性，平均值為57公斤、方差為10、40-150公斤之間浮動。

結(jié)果如下：

匯總結(jié)果展現(xiàn)：

總結(jié)

我們可以不停地思考，隨時隨地的根據(jù)項目需要結(jié)合數(shù)據(jù)特點來開發(fā)一些屬性的生成函數(shù)。不要小看這些細節(jié)，一旦你需要的時候就可以快速生產(chǎn)了。

所謂：積土成山，風雨興焉；積水成淵，蛟龍生焉；積善成德，而神明自得，圣心備焉。故不積跬步，無以至千里；不積小流，無以成江海。你說是不是這個道理呢？