小白學(xué)數(shù)據(jù)分析--Clementine的源節(jié)點(diǎn)學(xué)習(xí)

Clementine是一個(gè)很有用的工具，在網(wǎng)游日常數(shù)據(jù)的處理中，其應(yīng)用程度不低于Excel和SPSS，盡管Clementine是一個(gè)數(shù)據(jù)挖掘工具，但是在數(shù)據(jù)處理等方面的功能很強(qiáng)大，在幾十萬到幾百萬甚至幾千萬數(shù)據(jù)處理上，都能夠應(yīng)付，而Excel僅僅處理在一百萬左右的數(shù)據(jù)。使用Clementine有一段時(shí)間了，就從基本的開始說起吧，先說說源節(jié)點(diǎn)是什么？
　　每一個(gè)數(shù)據(jù)處理工具，都需要支持很多種數(shù)據(jù)格式，由于我們數(shù)據(jù)存儲形式，或者存儲軟件的因素造成了我們有時(shí)候數(shù)據(jù)的格式會有很多種，為此作為一個(gè)好的數(shù)據(jù)分析軟件，首要的就是要支持很多的數(shù)據(jù)格式，這樣避免的大數(shù)據(jù)轉(zhuǎn)換格式耗費(fèi)的時(shí)間和成本。
　　在Clementine中就有源節(jié)點(diǎn)來完成這個(gè)工作，源節(jié)點(diǎn)顧名思義，就是數(shù)據(jù)來源的節(jié)點(diǎn)。對應(yīng)在Clementine中有一個(gè)源選項(xiàng)版來完成這個(gè)工作，如下所示：

企業(yè)視圖有關(guān)信息這里不解釋，目前暫無應(yīng)用。
數(shù)據(jù)庫源節(jié)點(diǎn)
Cle中使用ODBC將數(shù)據(jù)導(dǎo)入，支持Oracle、SQLServer、DB2、MySQL等。但是這種方式導(dǎo)入數(shù)據(jù)，就必須首先配置ODBC數(shù)據(jù)源，有關(guān)如何配置該數(shù)據(jù)源，這里不再累述?？梢宰孕袇⒖季W(wǎng)上的很多教程。Cle對于數(shù)據(jù)庫的支持有三層：
1）  所有可能的 SQL 回送都可用，并具有數(shù)據(jù)庫特定的 SQL 優(yōu)化
2）  多數(shù) SQL 回送可用，具有非數(shù)據(jù)庫特定的 SQL 優(yōu)化
3）  沒有 SQL 回送或優(yōu)化，只能向數(shù)據(jù)庫讀取和寫入數(shù)據(jù)
使用下列一般步驟訪問數(shù)據(jù)庫中的數(shù)據(jù)：
為要使用的數(shù)據(jù)庫安裝 ODBC 驅(qū)動程序并配置數(shù)據(jù)源；
在數(shù)據(jù)庫節(jié)點(diǎn)對話框中，使用表模式或 SQL 查詢模式連接到數(shù)據(jù)庫；
從數(shù)據(jù)庫中選擇表；
使用數(shù)據(jù)庫節(jié)點(diǎn)對話框中的選項(xiàng)卡，可以更改使用類型和過濾數(shù)據(jù)字段；
現(xiàn)在我們已經(jīng)完成了ODBC安裝和配置數(shù)據(jù)源的工作。下面我們要在Cle中連接數(shù)據(jù)庫，進(jìn)行查詢訪問，雙擊數(shù)據(jù)庫圖標(biāo)，進(jìn)入數(shù)據(jù)流工作區(qū)域，右鍵單擊編輯，彈出如下的對話框：

上圖為數(shù)據(jù)選項(xiàng)卡的選項(xiàng)，用于獲取數(shù)據(jù)庫訪問和選定我們要進(jìn)行操作的表。
模式
可以通過對話框連接到指定的表上，也可以通過SQL查詢查詢使用的數(shù)據(jù)庫。
數(shù)據(jù)源
此處指定我們需要的數(shù)據(jù)源，可以手動填寫，也可以通過下拉菜單進(jìn)行添加，此處我們銅鼓下拉菜單添加，如下圖：

在彈出的對話框中，我們選擇test數(shù)據(jù)源。

數(shù)據(jù)源
列出目前我們可用的數(shù)據(jù)源，如果是剛剛添加的，單擊刷新，選擇數(shù)據(jù)源，輸入用戶名和密碼就OK了。
表名
通過選擇按鈕選擇我們進(jìn)行操作的表，如下圖所示：

給表名和列名加上引號
在數(shù)據(jù)庫中進(jìn)行查詢時(shí)，指定是否要將表名和列名括入引號內(nèi)（例如，這些名稱是否可包含空格或標(biāo)點(diǎn)）
去除開頭和結(jié)尾的空格
選中選項(xiàng)以丟棄字符串中開頭和結(jié)尾的空格。
可變文件節(jié)點(diǎn)
相當(dāng)于Excel分列操作使用分隔符的模式
可以使用可變文件節(jié)點(diǎn)從自由字段文本文件（其記錄包含的字段數(shù)不變，但包含的字符數(shù)可改變）中讀取數(shù)據(jù)，該文件又稱為分隔文本文件。此類型的節(jié)點(diǎn)也可用于具有固定長度的頁眉文本和特定類型的注解的文件。每次讀取一條記錄，并將這些記錄傳遞到流中，直到讀完整個(gè)文件。
讀取定界文本數(shù)據(jù)時(shí)的注意事項(xiàng)
必須在每行末尾處用換行符分隔記錄；
必須使用逗號或其他字符（最好是僅用作分隔符，即該字符不能出現(xiàn)在字段名稱或字段值中）分隔字段；
每一行（包括標(biāo)題行）都應(yīng)包含相同的字段數(shù)；
第一行應(yīng)包含字段名稱；
第二行必須包含數(shù)據(jù)的第一條記錄；
數(shù)字值不能包括千位分隔符或分組符號，—例如，3,000.00 中不能使用逗號；
日期值和時(shí)間值應(yīng)該采用“流選項(xiàng)”對話框中可識別的的格式之一，例如DD/MM/YYYY 或HH:MM:SS。
我們導(dǎo)入一個(gè)文件，單擊可變文件，右鍵編輯，彈出如下的對話框：

讀取文件中的字段名
默認(rèn)是選中的，此時(shí)把文件的第一行看作是列表前，即變量名。每個(gè)字段也能被分配一個(gè)名字，當(dāng)然了，如果我們第一行沒有列標(biāo)簽時(shí)，就可以取消選中。
指定字段數(shù)
指定每個(gè)記錄中的字段數(shù)。只要記錄以新行結(jié)束，就可以自動檢測字段數(shù)。也可以手動設(shè)置字段數(shù)。
跳過標(biāo)題字符
指定要忽略第一個(gè)記錄的開頭處的多少個(gè)字符。
EOL 注解字符
指定字符（例如 # 或 !）以表示數(shù)據(jù)中的注解。無論這些字符之一出現(xiàn)在數(shù)據(jù)文件的何處，從該字符起直到下一個(gè)新行字符（不包括）之前的所有字符都將被忽略。
去除開頭和結(jié)尾
丟棄導(dǎo)入字符串中開頭和結(jié)尾的空格。
無效字符
空字符或者指定編碼中不存在的的字符，通過丟棄進(jìn)而刪除了，或者替換成其他字符。
小數(shù)符號
選擇在數(shù)據(jù)源中使用的小數(shù)分隔符類型。
定界符
選擇將將數(shù)據(jù)進(jìn)行分列的符號，也可以自己指定符號，此處是復(fù)選，也就是說可以使一個(gè)以上的分列手段，這點(diǎn)和Excel的分列大同小異。
類型的掃描行數(shù)
對于指定的數(shù)據(jù)類型要掃描的行數(shù)
引號
如何處理導(dǎo)入數(shù)據(jù)的單引號和雙引號問題
在此對話框中操作任何時(shí)刻，都可單擊刷新以從數(shù)據(jù)源重新載入字段。在更改到源節(jié)點(diǎn)的數(shù)據(jù)連接時(shí)，或在對話框的選項(xiàng)卡之間進(jìn)行操作時(shí)，此操作都非常有用。
固定文件
相當(dāng)于Excel分列操作的固定長度模式
所謂固定文件是相對可變文件而言，使用固定文件節(jié)點(diǎn)從固定字段文本文件（其字段沒有被分隔，但開始位置相同且長度固定）中導(dǎo)入數(shù)據(jù)。機(jī)器生成的數(shù)據(jù)或遺存數(shù)據(jù)通常以固定字段格式存儲。使用固定文件節(jié)點(diǎn)的“文件”選項(xiàng)卡，可以輕松地指定數(shù)據(jù)中列的位置和長度。
選擇固定文件，右鍵單擊編輯，選擇一個(gè)文件，如下所示：

數(shù)據(jù)預(yù)覽窗格可用來指定列的位置和長度。預(yù)覽窗口頂部的標(biāo)尺有助于測量變量的長度并指定變量間的斷點(diǎn)。通過單擊字段上方的標(biāo)尺區(qū)域可以指定斷點(diǎn)線。通過拖動可移動斷點(diǎn)，而將其拖動到數(shù)據(jù)預(yù)覽區(qū)域之外則可丟棄斷點(diǎn)。
面向行
如果要跳過每個(gè)記錄末尾的新行字符，可選中此選項(xiàng)。
跳過標(biāo)題行
指定要忽略第一個(gè)記錄的開頭處的行數(shù)。這對忽略列標(biāo)題非常有用。
記錄長度
指定每個(gè)記錄中的字符數(shù)。
字段
已為此數(shù)據(jù)文件定義的所有字段都在此處列出。有以下兩種定義字段的方式：
? 移動標(biāo)尺，進(jìn)行控制指定字段；
? 通過向下面的表添加空字段行手動指定字段。單擊字段窗格右側(cè)的按鈕添加新字段。然后在空字段中輸入字段名、開始位置和長度。這些選項(xiàng)會自動在數(shù)據(jù)預(yù)覽窗格中添加箭頭，并且可以輕松地調(diào)整這些箭頭。
SAS源節(jié)點(diǎn)&SPSS源節(jié)點(diǎn)
SPSS文件導(dǎo)入對話框

SAS文件導(dǎo)入對話框

SAS導(dǎo)入支持四種文件格式，如上圖所示。導(dǎo)入數(shù)據(jù)時(shí)，所有變量都將保留且不更改任何變量類型。
SPSS和SAS中需要說明的內(nèi)容：
讀取名稱和標(biāo)簽
選中此選項(xiàng)將變量名稱和標(biāo)簽同時(shí)讀入。默認(rèn)情況下將選中此選項(xiàng)，并且變量名稱將顯示在類型節(jié)點(diǎn)中。根據(jù)流屬性對話框中指定的選項(xiàng)，標(biāo)簽將顯示在表達(dá)式構(gòu)建器、圖表、模型瀏覽器和其他類型的輸出中。
讀取用作名稱的標(biāo)簽
選擇從文件中讀取說明性的變量標(biāo)簽而不是短字段名，并將這些標(biāo)簽作為變量名稱在 Cle中使用。
Excel源節(jié)點(diǎn)
Excel的數(shù)據(jù)導(dǎo)入相對來說不是很麻煩，作為我們經(jīng)常使用的工具，有必要介紹一下，下圖為導(dǎo)入數(shù)據(jù)的對話框：

工作表
索引或者名稱指定要導(dǎo)入的工作表。
索引
指定要導(dǎo)入的工作表的索引值，開頭的 0 表示第一個(gè)工作表，1 表示第二個(gè)工作表，依此類推。
名稱
指定要導(dǎo)入的工作表的名稱。單擊省略按鈕 (... ) 從可用工作表列表中進(jìn)行選擇。
工作表上的范圍
可以第一個(gè)非空行作為開始導(dǎo)入數(shù)據(jù)，也可通過指定單元格的顯式范圍導(dǎo)入數(shù)據(jù)。
總結(jié)
以上為Cle數(shù)據(jù)導(dǎo)入的大部分內(nèi)容，作為數(shù)據(jù)處理的關(guān)鍵一步和第一步，意義還是很大的，也是作為數(shù)據(jù)處理的最基本知識。