小白學數據分析之Clementine的源節(jié)點學習
Clementine是一個很有用的工具，在網游日常數據的處理中，其應用程度不低于Excel和SPSS，盡管Clementine是一個數據挖掘工具，但是在數據處理等方面的功能很強大，在幾十萬到幾百萬甚至幾千萬數據處理上，都能夠應付，而Excel僅僅處理在一百萬左右的數據。使用Clementine有一段時間了，就從基本的開始說起吧，先說說源節(jié)點是什么？
每一個數據處理工具，都需要支持很多種數據格式，由于我們數據存儲形式，或者存儲軟件的因素造成了我們有時候數據的格式會有很多種，為此作為一個好的數據分析軟件，首要的就是要支持很多的數據格式，這樣避免的大數據轉換格式耗費的時間和成本。
在Clementine中就有源節(jié)點來完成這個工作，源節(jié)點顧名思義，就是數據來源的節(jié)點。對應在Clementine中有一個源選項版來完成這個工作，如下所示：
企業(yè)視圖有關信息這里不解釋，目前暫無應用。
數據庫源節(jié)點
Cle中使用ODBC將數據導入，支持Oracle、SQLServer、DB2、MySQL等。但是這種方式導入數據，就必須首先配置ODBC數據源，有關如何配置該數據源，這里不再累述?？梢宰孕袇⒖季W上的很多教程。Cle對于數據庫的支持有三層：
1） 所有可能的 SQL 回送都可用，并具有數據庫特定的 SQL 優(yōu)化
2） 多數 SQL 回送可用，具有非數據庫特定的 SQL 優(yōu)化
3） 沒有 SQL 回送或優(yōu)化，只能向數據庫讀取和寫入數據
使用下列一般步驟訪問數據庫中的數據：
為要使用的數據庫安裝 ODBC 驅動程序并配置數據源；
在數據庫節(jié)點對話框中，使用表模式或 SQL 查詢模式連接到數據庫；
從數據庫中選擇表；
使用數據庫節(jié)點對話框中的選項卡，可以更改使用類型和過濾數據字段；
現在我們已經完成了ODBC安裝和配置數據源的工作。下面我們要在Cle中連接數據庫，進行查詢訪問，雙擊數據庫圖標，進入數據流工作區(qū)域，右鍵單擊編輯，彈出如下的對話框：
上圖為數據選項卡的選項，用于獲取數據庫訪問和選定我們要進行操作的表。
模式
可以通過對話框連接到指定的表上，也可以通過SQL查詢查詢使用的數據庫。
數據源
此處指定我們需要的數據源，可以手動填寫，也可以通過下拉菜單進行添加，此處我們銅鼓下拉菜單添加，如下圖：
在彈出的對話框中，我們選擇test數據源。
數據源
列出目前我們可用的數據源，如果是剛剛添加的，單擊刷新，選擇數據源，輸入用戶名和密碼就OK了。
表名
通過選擇按鈕選擇我們進行操作的表，如下圖所示：
給表名和列名加上引號
在數據庫中進行查詢時，指定是否要將表名和列名括入引號內（例如，這些名稱是否可包含空格或標點）
去除開頭和結尾的空格
選中選項以丟棄字符串中開頭和結尾的空格。
可變文件節(jié)點
相當于Excel分列操作使用分隔符的模式
可以使用可變文件節(jié)點從自由字段文本文件（其記錄包含的字段數不變，但包含的字符數可改變）中讀取數據，該文件又稱為分隔文本文件。此類型的節(jié)點也可用于具有固定長度的頁眉文本和特定類型的注解的文件。每次讀取一條記錄，并將這些記錄傳遞到流中，直到讀完整個文件。
讀取定界文本數據時的注意事項
必須在每行末尾處用換行符分隔記錄；
必須使用逗號或其他字符（最好是僅用作分隔符，即該字符不能出現在字段名稱或字段值中）分隔字段；
每一行（包括標題行）都應包含相同的字段數；
第一行應包含字段名稱；
第二行必須包含數據的第一條記錄；
數字值不能包括千位分隔符或分組符號，—例如，3,000.00 中不能使用逗號；
日期值和時間值應該采用“流選項”對話框中可識別的的格式之一，例如DD/MM/YYYY 或HH:MM:SS。
我們導入一個文件，單擊可變文件，右鍵編輯，彈出如下的對話框：
讀取文件中的字段名
默認是選中的，此時把文件的第一行看作是列表前，即變量名。每個字段也能被分配一個名字，當然了，如果我們第一行沒有列標簽時，就可以取消選中。
指定字段數
指定每個記錄中的字段數。只要記錄以新行結束，就可以自動檢測字段數。也可以手動設置字段數。
跳過標題字符
指定要忽略第一個記錄的開頭處的多少個字符。
EOL 注解字符
指定字符（例如 # 或 !）以表示數據中的注解。無論這些字符之一出現在數據文件的何處，從該字符起直到下一個新行字符（不包括）之前的所有字符都將被忽略。
去除開頭和結尾
丟棄導入字符串中開頭和結尾的空格。
無效字符
空字符或者指定編碼中不存在的的字符，通過丟棄進而刪除了，或者替換成其他字符。
小數符號
選擇在數據源中使用的小數分隔符類型。
定界符
選擇將將數據進行分列的符號，也可以自己指定符號，此處是復選，也就是說可以使一個以上的分列手段，這點和Excel的分列大同小異。
類型的掃描行數
對于指定的數據類型要掃描的行數
引號
如何處理導入數據的單引號和雙引號問題
在此對話框中操作任何時刻，都可單擊刷新以從數據源重新載入字段。在更改到源節(jié)點的數據連接時，或在對話框的選項卡之間進行操作時，此操作都非常有用。
固定文件
相當于Excel分列操作的固定長度模式
所謂固定文件是相對可變文件而言，使用固定文件節(jié)點從固定字段文本文件（其字段沒有被分隔，但開始位置相同且長度固定）中導入數據。機器生成的數據或遺存數據通常以固定字段格式存儲。使用固定文件節(jié)點的“文件”選項卡，可以輕松地指定數據中列的位置和長度。
選擇固定文件，右鍵單擊編輯，選擇一個文件，如下所示：
數據預覽窗格可用來指定列的位置和長度。預覽窗口頂部的標尺有助于測量變量的長度并指定變量間的斷點。通過單擊字段上方的標尺區(qū)域可以指定斷點線。通過拖動可移動斷點，而將其拖動到數據預覽區(qū)域之外則可丟棄斷點。
面向行
如果要跳過每個記錄末尾的新行字符，可選中此選項。
跳過標題行
指定要忽略第一個記錄的開頭處的行數。這對忽略列標題非常有用。
記錄長度
指定每個記錄中的字符數。
字段
已為此數據文件定義的所有字段都在此處列出。有以下兩種定義字段的方式：
移動標尺，進行控制指定字段；
通過向下面的表添加空字段行手動指定字段。單擊字段窗格右側的按鈕添加新字段。然后在空字段中輸入字段名、開始位置和長度。這些選項會自動在數據預覽窗格中添加箭頭，并且可以輕松地調整這些箭頭。
SAS源節(jié)點&SPSS源節(jié)點
SPSS文件導入對話框
SAS文件導入對話框
SAS導入支持四種文件格式，如上圖所示。導入數據時，所有變量都將保留且不更改任何變量類型。
SPSS和SAS中需要說明的內容：
讀取名稱和標簽
選中此選項將變量名稱和標簽同時讀入。默認情況下將選中此選項，并且變量名稱將顯示在類型節(jié)點中。根據流屬性對話框中指定的選項，標簽將顯示在表達式構建器、圖表、模型瀏覽器和其他類型的輸出中。
讀取用作名稱的標簽
選擇從文件中讀取說明性的變量標簽而不是短字段名，并將這些標簽作為變量名稱在 Cle中使用。
Excel源節(jié)點
Excel的數據導入相對來說不是很麻煩，作為我們經常使用的工具，有必要介紹一下，下圖為導入數據的對話框：
工作表
索引或者名稱指定要導入的工作表。
索引
指定要導入的工作表的索引值，開頭的 0 表示第一個工作表，1 表示第二個工作表，依此類推。
名稱
指定要導入的工作表的名稱。單擊省略按鈕 (... ) 從可用工作表列表中進行選擇。
工作表上的范圍
可以第一個非空行作為開始導入數據，也可通過指定單元格的顯式范圍導入數據。
總結
以上為Cle數據導入的大部分內容，作為數據處理的關鍵一步和第一步，意義還是很大的，也是作為數據處理的最基本知識。以上的內容參考SPSS Modeler 14.2幫助手冊。
原文鏈接：http://www.cnblogs.com/yuyang-DataAnalysis/archive/2012/06/26/2564021.html
【編輯推薦】
