ELT平臺(tái)操作手冊(cè)-KETTLE

1、文檔密級(jí)：秘密智能數(shù)據(jù)比對(duì)系統(tǒng)智能數(shù)據(jù)比對(duì)系統(tǒng) ELTELT 平臺(tái)操作手冊(cè)平臺(tái)操作手冊(cè)【用戶手冊(cè)】廣州市靈訊通信科技有限公司廣州市靈訊通信科技有限公司2011-01-72011-01-7文檔密級(jí)：秘密 目錄第第 1 1 章章 系統(tǒng)介紹系統(tǒng)介紹.21.1 系統(tǒng)簡介.2第第 2 2 章章 系統(tǒng)管理系統(tǒng)管理.22.1 基本概念.22.2 主界面介紹.22.3 基本功能.2第第 3 3 章章 轉(zhuǎn)換步驟轉(zhuǎn)換步驟.23.1 文本文件輸入.23.2 表輸入.23.3 EXCEL 輸入.23.4 CSV 文件輸入.23.5 文本文件輸出.23.6 表輸出.23.7 EXCEL 輸出.23.8 插入/更新.23

2、.9 更新.23.10 刪除.23.11 調(diào)用 DB 存儲(chǔ)過程.23.12 SWITCH分支.23.13 修改 JAVA SCRIPT的值 .23.14 值映射.23.15 列轉(zhuǎn)行.23.16 去除重復(fù)記錄.23.17 去除重復(fù)記錄（哈希集合）.23.18 增加常量.23.19 增加序列.23.20 字段選擇.23.21 字符串裁剪.23.22 封鎖步驟.23.23 執(zhí)行 SQL 腳本.23.24 執(zhí)行 SQL 腳本行.23.25 拆分字段.23.26 排序記錄.23.27 數(shù)據(jù)庫查詢.23.28 數(shù)據(jù)庫連接.23.29 替換字符串.23.30 空操作.23.31 行扁平化.23.32 行標(biāo)準(zhǔn)

3、化.23.33 計(jì)算器.23.34 過濾記錄.23.35 追加流.23.36 從結(jié)果中獲取文件.23.37 把文件設(shè)置到結(jié)果中.23.38 獲取變量.23.39 獲取系統(tǒng)信息.23.40 設(shè)置變量.2第第 4 4 章章 作業(yè)步驟作業(yè)步驟.2文檔密級(jí)：秘密 4.1 START（開始）.24.2 DUMMY.24.3 轉(zhuǎn)換.24.4 采集作業(yè).24.5 SHELL.24.6 SQL.24.7 發(fā)郵件.24.8 收郵件.24.9 消息對(duì)話框.24.10 FTP.24.11 HTTP.24.12 SSH2 上傳.24.13 SSH2 獲取.24.14 ZIP 文件.24.15 上傳文件到 FTP.24

4、.16 從 FTP 下載文件.24.17 使用加密的 FTP 上傳.24.18 寫到文件.24.19 創(chuàng)建一個(gè)文件夾.24.20 創(chuàng)建文件.24.21 刪除 FTP 文件.24.22 刪除多個(gè)文件.24.23 刪除文件.24.24 刪除文件夾.24.25 在結(jié)果中刪除文件名.24.26 復(fù)制或移動(dòng)結(jié)果文件.24.27 復(fù)制文件.24.28 安全的 FTP.24.29 文件比較.24.30 比較文件夾.24.31 添加文件名到結(jié)果.24.32 移動(dòng)文件.24.33 等待文件.24.34 解壓ZIP文件.24.35 列在表中存在.24.36 判斷文件夾是否為空.24.37 判斷文件是否存在.24.

5、38 判斷文件的指標(biāo).24.39 判斷是否有文件被鎖定.24.40 判斷表中的行數(shù).24.41 文件存在.24.42 檢查 WEBSERVICE的可用性.24.43 檢查數(shù)據(jù)庫連接.24.44 檢查表存在.24.45 等待.24.46 簡單評(píng)估.2秘密4第第 1 1 章章 系統(tǒng)介紹系統(tǒng)介紹1.1 系統(tǒng)簡介ETL 平臺(tái)用于數(shù)據(jù)的抽取、轉(zhuǎn)換、加載，為數(shù)據(jù)比對(duì)提供數(shù)據(jù)的采集、轉(zhuǎn)換、導(dǎo)入、導(dǎo)出等功能。第第 2 2 章章 系統(tǒng)管理系統(tǒng)管理2.1 基本概念1、數(shù)據(jù)庫連接：用戶自定義的，在轉(zhuǎn)換或作業(yè)中使用的數(shù)據(jù)庫連接。2、轉(zhuǎn)換：數(shù)據(jù)抽取、轉(zhuǎn)換、加載流程的封裝。3、作業(yè)：將多個(gè)轉(zhuǎn)換或一些任務(wù)封裝，用于 ETL

6、 任務(wù)的執(zhí)行。4、知識(shí)庫：固定存儲(chǔ)已建立好的連接、轉(zhuǎn)換或作業(yè)的位置。5、數(shù)據(jù)流：分輸入流和輸出流，輸入流是離開一個(gè)步驟時(shí)的行的堆棧，輸出流是進(jìn)入一個(gè)步驟時(shí)的行的堆棧。6、節(jié)點(diǎn)連接：連接兩個(gè)步驟的連線。2.2 主界面介紹【功能描述】1、瀏覽和管理知識(shí)庫。2、增加數(shù)據(jù)庫連接。3、增加轉(zhuǎn)換或作業(yè)。4、導(dǎo)入、導(dǎo)出 XML 文件?！静僮鞑襟E或操作內(nèi)容】功能功能 1 1：瀏覽和管理知識(shí)庫：瀏覽和管理知識(shí)庫秘密51、用戶進(jìn)入 ETL 平臺(tái)，點(diǎn)擊知識(shí)庫頁簽，可瀏覽知識(shí)庫，如下圖所示：2、雙擊其中一個(gè)數(shù)據(jù)庫連接、采集作業(yè)或轉(zhuǎn)換，可打開相應(yīng)的頁面，進(jìn)行查看、運(yùn)行、修改和刪除。功能功能 2 2：增加數(shù)據(jù)庫連接：增加

7、數(shù)據(jù)庫連接 單擊圖標(biāo)，選擇新建數(shù)據(jù)庫連接選項(xiàng)，打開如下圖所示窗口：秘密6連接類型：選擇數(shù)據(jù)庫類型。訪問方法：推薦使用 JDBC。連接名稱：用戶自定義。服務(wù)器主機(jī)：填寫數(shù)據(jù)庫服務(wù)器 IP 地址。數(shù)據(jù)庫名稱：填寫數(shù)據(jù)庫名稱。數(shù)據(jù)庫表空間：填寫數(shù)據(jù)庫的用戶數(shù)據(jù)表空間名稱。索引表空間：填寫數(shù)據(jù)庫的索引表空間名稱。秘密7端口號(hào)：填寫數(shù)據(jù)庫使用的端口號(hào)。用戶名和密碼：登陸數(shù)據(jù)庫的用戶名和密碼。功能功能 3 3：增加轉(zhuǎn)換或作業(yè)：增加轉(zhuǎn)換或作業(yè)單擊圖標(biāo)，選擇新建轉(zhuǎn)換或新建轉(zhuǎn)換選項(xiàng)。功能功能 4 4：導(dǎo)入、導(dǎo)出：導(dǎo)入、導(dǎo)出 XMLXML 文件文件單擊圖標(biāo)，可將建立好的轉(zhuǎn)換或作業(yè)導(dǎo)出為 XML 文件，存儲(chǔ)在本地，

8、也可從本地 XML 文件導(dǎo)入到知識(shí)庫。2.3 基本功能【功能描述】1、轉(zhuǎn)換管理。2、作業(yè)管理。3、節(jié)點(diǎn)連接類型?！静僮鞑襟E或操作內(nèi)容】功能功能 1 1：轉(zhuǎn)換管理：轉(zhuǎn)換管理1、新建或打開一個(gè)轉(zhuǎn)換，可看到轉(zhuǎn)換設(shè)計(jì)頁面，如下圖：秘密8 2、單擊主對(duì)象樹，可將菜單中的轉(zhuǎn)換步驟拖到轉(zhuǎn)換設(shè)計(jì)頁面中。 3、單擊可運(yùn)行轉(zhuǎn)換。 4、右鍵單擊空白區(qū)域，可設(shè)置轉(zhuǎn)換的屬性。功能功能 2 2：作業(yè)管理：作業(yè)管理秘密91、新建或打開一個(gè)作業(yè)，可看到作業(yè)設(shè)計(jì)頁面，如下圖： 2、單擊主對(duì)象樹，可將菜單中的作業(yè)步驟拖到作業(yè)設(shè)計(jì)頁面中。 3、單擊可運(yùn)行作業(yè)。4、右鍵單擊空白區(qū)域，可設(shè)置作業(yè)的屬性。功能功能 3 3：節(jié)點(diǎn)連接類型：

9、節(jié)點(diǎn)連接類型秘密101、 在一個(gè)節(jié)點(diǎn)處按住 SHIFT 拖動(dòng)鼠標(biāo)到另一節(jié)點(diǎn)可建立節(jié)點(diǎn)連接。2、 改變開始復(fù)制的數(shù)量有時(shí)候多次運(yùn)行相同的步驟是非常有用的。例如，執(zhí)行一個(gè)數(shù)據(jù)庫查詢?nèi)位蛘呷我陨?，這是因?yàn)閿?shù)據(jù)庫連接通常有一個(gè)反應(yīng)時(shí)間，改變步驟運(yùn)行的次數(shù)，可以有效的減少反應(yīng)時(shí)間，提高效率。要運(yùn)行一個(gè)步驟的多個(gè)副本，你只要在圖形界面的步驟上點(diǎn)擊鼠標(biāo)右鍵，選擇“改變開始復(fù)制的數(shù)量”3、 分發(fā)或復(fù)制 分發(fā)表示所有的行被平均分發(fā)到各個(gè)目標(biāo)步驟，復(fù)制表示所有行被復(fù)制到全部目標(biāo)步驟。4、 串行或并行僅用在作業(yè)中，默認(rèn)串行，右鍵單擊作業(yè)步驟，選擇并行，可并行運(yùn)行一個(gè)作業(yè)中的各個(gè)分步驟。5、 有連接條件和無條件連

10、接秘密11僅用在作業(yè)中，用于控制連接生效的條件，可設(shè)置上一步驟運(yùn)行成功則運(yùn)行下一步驟，或上一步驟運(yùn)行失敗則運(yùn)行下一步驟，或無論成功或失敗都運(yùn)行下一步驟，即無條件連接。如下圖：帶平行線表示是并行連接；綠色表示該連接生效（灰色表示失效） ；勾號(hào)表示結(jié)果為真運(yùn)行下一步驟，圓圈表示結(jié)果為假運(yùn)行下一步驟，鎖標(biāo)志表示無條件連接。 第第 3 3 章章 轉(zhuǎn)換步驟轉(zhuǎn)換步驟 3.1 文本文件輸入【功能描述】可通過此步驟讀取大量不同的文本文件，可指定讀取的文件列表，或者秘密12用正則表達(dá)式表示的目錄列表?！静僮鞑襟E或操作內(nèi)容】功能功能 1 1：文件名稱指定：文件名稱指定1、指定文件名后，并按“增加”按鈕，你可以添加

11、一個(gè)文件到“選擇文件”中，如下所示：2、你也可以用指定正則表達(dá)式通配符的形式來搜索文件。正則表達(dá)式比簡單的用“?”和“*” 通配符更有效。文件名正則選擇的文件/dirA/.*userdata.*/.txt所有在/dirA/目錄下的并且文件名包含userdata、以txt為后綴的文件。/dirB/AAA.*所有在/dirB/目錄下的并且文件名以AAA 開頭的文件。/dirC/A-Z0-9.*所有在/dirC/目錄下的并且文件名以字母開頭、緊接著一個(gè)數(shù)字的文件。功能功能 2 2：內(nèi)容指定：內(nèi)容指定1、內(nèi)容標(biāo)簽允許你指定正在讀取的文本文件的格式：秘密132、下面是標(biāo)簽的選項(xiàng)列表：選項(xiàng)描述文件類型可以

12、是CSV 或者Fixed length(固定長度)。分隔符在文本的單行中，一個(gè)或多個(gè)字符將被用來分隔字段，比較有代表性的是;或者一個(gè)tab 制表符。封閉字符一些字段能夠被一對(duì)允許分隔的字符來封閉。封閉字符串是可選的。秘密14逃逸字符如果你的數(shù)據(jù)中有逃逸字符，就指定逃逸字符（或者逃逸字符串）。如果作為逃逸字符，文本Not the nineoclock news.(作為封閉字符)，將被解析成Notthe nine oclock news.頭部/頭部行數(shù)量如果你的文本文件有頭部行就使用這個(gè)。你可以指定頭部行出現(xiàn)的次數(shù)。尾部/尾部行數(shù)量如果你的文本文件有尾部行就使用這個(gè)。你可以指定尾部行出現(xiàn)的次數(shù)。包

13、裝行/包裝行數(shù)量利用這個(gè)來處理被某些頁限制包裝的數(shù)據(jù)行。注：頭部和尾部從來不考慮被包裝。分頁布局/每頁行數(shù)/文檔頭部行在行打印機(jī)上打印的時(shí)候，你可以用這個(gè)選項(xiàng)作為最終的手段。用頭部行的數(shù)量來跳過介紹性的文本，用每頁的行數(shù)來定位數(shù)據(jù)行。壓縮如果你的文件是ZIP 文件或者GZIP 歸檔文件，就啟用這個(gè)。注：此刻歸檔文件中僅僅第一個(gè)文件被讀取。沒有空行不往下一步發(fā)送空行。輸出包含文件名如果你想文件名作為輸出的一部分，可以啟用這個(gè)。文件名字段名稱包含文件名的字段名稱。輸出行數(shù)如果你想行數(shù)作為輸出的一部分，可以啟用這個(gè)。行數(shù)字段名稱包含行數(shù)的字段名稱。根據(jù)文件獲取行數(shù)允許每個(gè)文件重置的行數(shù)。格式可以是D

14、OS、UNIX 或者混合模式。UNIX 行終止可以是秘密15回車，DOS 中可以是回車或者換行。如果你選擇混合模式，將不會(huì)驗(yàn)證。編碼方式指定文本文件編碼方式。如果不設(shè)置就使用系統(tǒng)默認(rèn)的編碼方式。如果想用Unicode，可以指定UTF-8 或者UTF-16。第一次使用的時(shí)候，Spoon 將搜索系統(tǒng)，尋找可用的編碼。記錄數(shù)量限制設(shè)置讀取記錄的行數(shù)。0 代表讀取所有的。解析日期時(shí)是否嚴(yán)格要求如果你想嚴(yán)格的解析數(shù)據(jù)字段，可以禁用這個(gè)選項(xiàng)。如果啟用的時(shí)候，Jan 32nd 將變成Feb 1st。本地日期格式在本地日期常常被解析為“February wnd,2006”的形式，在用法語本地化的系統(tǒng)中日期將不

15、會(huì)被解析，因?yàn)樵诜ㄕZ本地化中February 不能理解。功能功能 3 3：錯(cuò)誤處理：錯(cuò)誤處理1、當(dāng)錯(cuò)誤發(fā)生的時(shí)候，錯(cuò)誤處理標(biāo)簽允許你指定這個(gè)步驟將重新做些什么。秘密162、下面是標(biāo)簽的選項(xiàng)列表選項(xiàng)描述忽略錯(cuò)誤如果在解析的時(shí)候忽略錯(cuò)誤，就指定這個(gè)選項(xiàng)。跳過錯(cuò)誤行使用這個(gè)選項(xiàng)來跳過那些出現(xiàn)錯(cuò)誤的行。你可以生成另外的文件來包含發(fā)生錯(cuò)誤的行號(hào)。如果不跳過錯(cuò)誤行，解析錯(cuò)誤字段將是空的。錯(cuò)誤計(jì)數(shù)字段在輸出流行中增加一個(gè)字段，這個(gè)字段將包含錯(cuò)誤發(fā)生的行數(shù)。錯(cuò)誤字段字段名在輸出流行中增加一個(gè)字段，這個(gè)字段將包含錯(cuò)誤發(fā)生的字段名稱。錯(cuò)誤文本字段名在輸出流行中增加一個(gè)字段，這個(gè)字段將包含解析錯(cuò)誤發(fā)生字段的描述。警

16、告文件目錄當(dāng)警告發(fā)生的時(shí)候，它們將被放進(jìn)這個(gè)目錄。文件名將是/文件名.。錯(cuò)誤文件目錄當(dāng)錯(cuò)誤發(fā)生的時(shí)候，它們將被放進(jìn)這個(gè)目錄。文件名將是/文件名.。失敗行數(shù)文件目錄當(dāng)解析行的時(shí)候發(fā)生錯(cuò)誤，行號(hào)將被放到這個(gè)目錄。文件名將是/文件名.。功能功能 4 4：過濾：過濾1、在“過濾”標(biāo)簽中，你可以指定文本文件中要過濾的行。2、下面是標(biāo)簽的選項(xiàng)列表。選項(xiàng)描述過濾字符搜索字符串。過濾位置在行中過濾字符串必須存在的位置。0 是起始位置，如果你指定一個(gè)小于0 的值，過濾器將搜索整個(gè)字符。停止在過濾器如果你想在文本文件遇到過濾字符的時(shí)候，停止處理，就指定Y。功能功能 5 5：字段：字段秘密181、設(shè)定要導(dǎo)入的字段。

17、2、選項(xiàng)。選項(xiàng)描述。名稱設(shè)置要在輸出流中顯示的字段名稱。類型字段類型（String、Date、Number 等） 。長度對(duì)于Number：有效數(shù)的數(shù)量。對(duì)于String：字符的長度。對(duì)于Date：打印輸出字符的長度（例如4 代表返回年份） 。精度對(duì)于Number：浮點(diǎn)數(shù)的數(shù)量。對(duì)于String,Date,Boolean：未使用。貨幣類型用來解釋如$10,000.00 的數(shù)字。小數(shù)小數(shù)點(diǎn)可以是”.”(10;000.00)或者”,”(5.000,00)。分組分組可以是”.”(10;000.00)或者”,”(5.000,00)。如果為空空值如何處理。默認(rèn)字段為空的時(shí)候的默認(rèn)值。秘密19去空字符串處理

18、之前先去空。重復(fù)Y/N:如果在當(dāng)前行中對(duì)應(yīng)的值為空，則重復(fù)最后一次不為空的值。3.2 表輸入【功能描述】這一步常常用來利用連接和 SQL，從數(shù)據(jù)庫中讀取信息。自動(dòng)生成基本的 SQL 語句。【操作步驟或操作內(nèi)容】功能功能 1 1：指定選項(xiàng)：指定選項(xiàng)選項(xiàng)描述步驟名稱步驟的名稱，在單一的步驟中，名稱必需唯一。連接讀取數(shù)據(jù)的數(shù)據(jù)庫連接。SQLSQL 語句用來從數(shù)據(jù)庫連接中讀取數(shù)據(jù)。從步驟插入數(shù)據(jù)指定我們期待讀取數(shù)據(jù)的步驟名稱。這些信息能被插入到SQL 語句。限制設(shè)置從數(shù)據(jù)庫中讀取的行數(shù)。0 所有行。示例：指定如下 SQL 語句：注：日期可以從“獲取系統(tǒng)信息”步驟類型中獲取。秘密203.3 EXCEL

19、輸入【功能描述】這個(gè)步驟從 EXCEL 文件輸入數(shù)據(jù)。【操作步驟或操作內(nèi)容】功能功能 1 1：指定文件名：指定文件名 參考 3.1 文本文件輸入功能功能 2 2：指定內(nèi)容：指定內(nèi)容選項(xiàng)描述頭部檢查是否工作表指定了一個(gè)頭部行。非空記錄檢查是否不需要空行輸出。停在空記錄當(dāng)步驟在讀取工作表遇到一個(gè)空行的時(shí)候停止讀取。限制限制輸出的行數(shù)，0 代表輸出所有行。功能功能 3 3：字段和錯(cuò)誤處理：字段和錯(cuò)誤處理 參考 3.1 文本文件輸入3.4 CSV 文件輸入【功能描述】這個(gè)步驟從 CSV 文件輸入數(shù)據(jù)?！静僮鞑襟E或操作內(nèi)容】秘密21功能功能 1 1：指定選項(xiàng)：指定選項(xiàng)選項(xiàng)描述文件名CSV文件名。分割符文

20、件中使用的分割符。#附件只將符號(hào)內(nèi)的字符串輸入。NIO的緩沖區(qū)大小定義緩沖區(qū)大小。延遲轉(zhuǎn)換是否延遲轉(zhuǎn)換。標(biāo)題行存在是否去掉標(biāo)題行。添加文件名到結(jié)果是否在結(jié)果中輸出文件名。行號(hào)字段行號(hào)字段命名。并行運(yùn)行指定并行屬性。文件編碼選擇字符集編碼。秘密223.5 文本文件輸出【功能描述】這個(gè)步驟將數(shù)據(jù)流輸出到文本文件。【操作步驟或操作內(nèi)容】功能功能 1 1：指定文件：指定文件選項(xiàng)描述文件名稱輸出文件名。以命令行方式運(yùn)行根據(jù)指定，把結(jié)果輸出到命令行或者腳本。擴(kuò)展名在文件名的最后添加一個(gè)點(diǎn)和擴(kuò)展名（.txt） 。文件名里包含步驟數(shù)如果你在多個(gè)拷貝中運(yùn)行步驟，拷貝的數(shù)量將包含到文件名中（在擴(kuò)展名之前）。文件名

21、包含分區(qū)文件名中包含數(shù)據(jù)分區(qū)數(shù)量。文件名包含日期文件名中包含系統(tǒng)日期（_20041231）。文件名包含時(shí)間文件名中包含系統(tǒng)時(shí)間（_235959）。特殊日期格式指定特殊日期格式。功能功能 2 2：指定內(nèi)容：指定內(nèi)容選項(xiàng)選項(xiàng)描述描述追加是否在指定的文件最后追加行。分隔符指定在文本中分隔字段的字符，例如;或者制表符。封閉符封閉字段的一對(duì)字符。可選。頭部如果你想有一個(gè)頭部行，使這個(gè)選項(xiàng)可用（文件第一行）。秘密23尾部如果你想有一個(gè)尾部行，使這個(gè)選項(xiàng)可用（文件最后一行）。格式DOS 或者UNIX。UNIX 文件行分隔符是換行符。DOS 文件可以是換行符或者回車符。編碼指定文件使用的編碼。如果空白就使用系

22、統(tǒng)缺省的編碼。壓縮指定壓縮的類型（zip 或者gzip） 。長度固定在字段最后添加空格或者刪除字符，直到長度達(dá)到指定?？焖贁?shù)據(jù)導(dǎo)出當(dāng)處理大量數(shù)據(jù)到一個(gè)文本文件時(shí)，提高性能。（不包含任何格式化信息）。分拆每一行如果N 比0 大，用N 行拆分文本文件，分割成多個(gè)部分。增加文件結(jié)束行指定輸出文本的結(jié)束行。功能功能 3 3：指定字段：指定字段 參考 3.1 文本文件輸入3.6 表輸出【功能描述】這個(gè)步驟將數(shù)據(jù)導(dǎo)入數(shù)據(jù)庫表。【操作步驟或操作內(nèi)容】功能功能 1 1：指定選項(xiàng)：指定選項(xiàng)秘密24選項(xiàng)描述連接用來寫數(shù)據(jù)的數(shù)據(jù)庫連接。目標(biāo)模式數(shù)據(jù)庫的模式名。目標(biāo)表要寫數(shù)據(jù)的表名。提交記錄數(shù)量在數(shù)據(jù)表中用事務(wù)插入行

23、。如果N 比0 大，每N 行提交一次連接。否則，不使用事務(wù)，速度會(huì)慢一些。裁剪表在第一行數(shù)據(jù)插入之前裁剪表。忽略插入錯(cuò)誤使Kettle 忽略比喻違反主鍵約束之類的插入錯(cuò)誤，最多20 個(gè)警告將被日志記錄。在批量插入的時(shí)候這個(gè)功能不可用。使用批量插入如果你想批量插入的話，就使用這個(gè)選項(xiàng)。這個(gè)選項(xiàng)的速度最快，默認(rèn)被選上。秘密25表分區(qū)數(shù)據(jù)使用這個(gè)選項(xiàng)可以在多個(gè)表之間拆分?jǐn)?shù)據(jù)。表名定義在一個(gè)字段使用這些選項(xiàng)可以拆分?jǐn)?shù)據(jù)到一個(gè)或者多個(gè)表里，目標(biāo)表名可以用你指定的字段來定義。例如如果你想存儲(chǔ)顧客性別數(shù)據(jù)，這些數(shù)據(jù)可能會(huì)存儲(chǔ)到表M和表F里面（female 女性和male 男性表）。這個(gè)選項(xiàng)可以阻止這些字段插

24、入到對(duì)應(yīng)的表里。返回一個(gè)自動(dòng)產(chǎn)生的關(guān)鍵字往表中插入行時(shí)，是否產(chǎn)生一個(gè)關(guān)鍵字。自動(dòng)產(chǎn)生關(guān)鍵字的字段名稱指定包含關(guān)鍵字的輸出字段的字段名稱。指定數(shù)據(jù)庫字段只導(dǎo)入指定的字段，多余的字段忽略。功能功能 2 2：字段值與數(shù)據(jù)流對(duì)應(yīng)：字段值與數(shù)據(jù)流對(duì)應(yīng)3.7 EXCEL 輸出【功能描述】這個(gè)步驟將數(shù)據(jù)寫入 EXCEL 表?！静僮鞑襟E或操作內(nèi)容】功能功能 1 1：指定文件：指定文件秘密26選項(xiàng)描述文件名和擴(kuò)展名用于指定輸出文件。不要在啟動(dòng)時(shí)創(chuàng)建文件只寫入已存在文件。文件名里包含步驟數(shù)允許文件并行創(chuàng)建，并在文件名里包含步驟數(shù)。文件名里包含日期在文件名里包含日期。文件名里包含時(shí)間在文件名里包含時(shí)間。指定日期時(shí)間

25、格式指定日期時(shí)間格式。添加文件名到結(jié)果中輸出字段中包含文件名字段。功能功能 2 2：指定內(nèi)容：指定內(nèi)容秘密27選項(xiàng)描述追加追加記錄。頭檢查表單是否有頭部。腳檢查表單是否有尾部。編碼指定EXCEL表單使用的編碼。分割所有行分割數(shù)據(jù)到幾個(gè)輸出文件中。使用模板輸出的EXCEL 數(shù)據(jù)是否使用模板。EXCEL模板格式化EXCEL 輸出的模板的名稱。追加EXCEL模板是否將EXCEL 輸出添加到指定的EXCEL 模板中。秘密28功能功能 3 3：指定字段：指定字段指定你想輸出到 EXCEL 文件中的字段3.8 插入/更新【功能描述】這個(gè)步驟利用查詢關(guān)鍵字在表中搜索行。如果行沒有找到，就插入行。如果能被找到

26、，并且要被更新的字段沒有任何改變，就什么也不做。如果有不同，行就會(huì)被更新。 ?！静僮鞑襟E或操作內(nèi)容】功能功能 1 1：指定選項(xiàng)：指定選項(xiàng)秘密29選項(xiàng)描述連接用來寫數(shù)據(jù)的數(shù)據(jù)庫連接。目標(biāo)模式數(shù)據(jù)庫的模式名。目標(biāo)表要寫數(shù)據(jù)的表名。提交記錄數(shù)量提交之前要改變（插入/更新）的行數(shù)。不執(zhí)行任何更新如果被選擇，數(shù)據(jù)庫的值永遠(yuǎn)不會(huì)被更新。僅僅可以插秘密30入。用來查詢的關(guān)鍵字可以指定字段值或者比較符?？梢杂靡韵卤容^符：=，,LIKE,BETWEEN,IS NULL,IS NOT NULL。更新字段指定你想要插入/更新的字段。3.9 更新【功能描述】這個(gè)步驟查找當(dāng)前數(shù)據(jù)庫符合要求的記錄，并更新指定字段?！静僮?/p>

27、步驟或操作內(nèi)容】功能功能 1 1：指定選項(xiàng)：指定選項(xiàng)秘密31選項(xiàng)描述連接用來寫數(shù)據(jù)的數(shù)據(jù)庫連接。目標(biāo)模式數(shù)據(jù)庫的模式名。目標(biāo)表要寫數(shù)據(jù)的表名。提交記錄數(shù)量提交之前要改變的行數(shù)。跳過掃描不執(zhí)行查詢。忽略查詢失敗如果被選擇，則查詢失敗時(shí)不執(zhí)行任何操作。用來查詢值的關(guān)鍵字可以指定字段值或者比較符?？梢杂靡韵卤容^符：=，,LIKE,BETWEEN,IS NULL,IS NOT NULL。秘密32更新字段指定你想要更新的字段。3.10 刪除【功能描述】這個(gè)步驟查找當(dāng)前數(shù)據(jù)庫符合要求的記錄，并刪除?！静僮鞑襟E或操作內(nèi)容】功能功能 1 1：指定選項(xiàng)：指定選項(xiàng)選項(xiàng)描述連接用來寫數(shù)據(jù)的數(shù)據(jù)庫連接。目標(biāo)模式數(shù)據(jù)庫

28、的模式名。目標(biāo)表要寫數(shù)據(jù)的表名。提交記錄數(shù)量提交之前要改變的行數(shù)。查詢值所需的關(guān)鍵字可以指定字段值或者比較符?？梢杂靡韵卤容^符：=，秘密33,LIKE,BETWEEN,IS NULL,IS NOT NULL。3.11 調(diào)用 DB 存儲(chǔ)過程【功能描述】這個(gè)步驟允許你運(yùn)行一個(gè)數(shù)據(jù)庫存儲(chǔ)過程，獲取返回結(jié)果?！静僮鞑襟E或操作內(nèi)容】功能功能 1 1：指定選項(xiàng)：指定選項(xiàng)選項(xiàng)選項(xiàng)描述描述連接存儲(chǔ)過程所有的數(shù)據(jù)庫的連接名稱。存儲(chǔ)過程名稱調(diào)用的存儲(chǔ)過程或者函數(shù)名稱。自動(dòng)提交在運(yùn)行存儲(chǔ)過程的時(shí)候自動(dòng)提交。秘密34返回值名稱調(diào)用存儲(chǔ)過程或者函數(shù)返回結(jié)果的名稱。返回值類型調(diào)用存儲(chǔ)過程或者函數(shù)返回結(jié)果的類型。參數(shù)存儲(chǔ)過

29、程或者函數(shù)需要的參數(shù)列表。3.12 Switch 分支【功能描述】這個(gè)步驟允許你將數(shù)據(jù)流按條件分流，輸送到不同的下一個(gè)步驟?！静僮鞑襟E或操作內(nèi)容】功能功能 1 1：指定選項(xiàng)：指定選項(xiàng)選項(xiàng)描述秘密35字段名稱轉(zhuǎn)換待判斷分流條件的字段名。使用字符串包含開啟模糊匹配。類型選擇數(shù)據(jù)類型。格式表達(dá)式指定數(shù)據(jù)的格式（數(shù)字格式或日期格式）。小數(shù)點(diǎn)符號(hào)指定小數(shù)點(diǎn)符號(hào)。分組符號(hào)指定分組符號(hào)。值指定不同的值，以及相應(yīng)的目標(biāo)步驟。3.13 修改 Java Script 的值【功能描述】這個(gè)步驟允許你用 JavaScript 語言做復(fù)雜的運(yùn)算?！静僮鞑襟E或操作內(nèi)容】功能功能 1 1：指定選項(xiàng)：指定選項(xiàng)秘密36 Jav

30、a 腳本功能針對(duì)可用的腳本、函數(shù)、輸入字段和輸出字段，提供一個(gè)樹菜單瀏覽。 腳本這個(gè)區(qū)域?yàn)槟闾峁┠_本的編輯。你可以插入函數(shù)、常量、輸入字段等等。 字段字段表包含了腳本變量的列表，其中包括元數(shù)據(jù)。 獲取變量獲取腳本中的變量列表。 測(cè)試腳本測(cè)試腳本的語法。3.14 值映射【功能描述】這個(gè)步驟簡單的映射字符串，從一個(gè)值映射到另一個(gè)值。例如：如果你想替換 Language codes，你可以：使用的字段名：LanuguageCode目標(biāo)字段名：LanguageDesc秘密37源值/目標(biāo)值：EN/English,FR/French,NL/Dutch,ES/Spanish,DE/German,?！静僮鞑襟E

31、或操作內(nèi)容】功能功能 1 1：指定選項(xiàng)：指定選項(xiàng)選項(xiàng)描述使用的字段名待進(jìn)行值映射轉(zhuǎn)換的字段名。源值轉(zhuǎn)換前的值。目標(biāo)值轉(zhuǎn)換后的值。秘密383.15 列轉(zhuǎn)行【功能描述】這個(gè)步驟允許你將按列存儲(chǔ)的數(shù)據(jù)轉(zhuǎn)換為按行存儲(chǔ)?！静僮鞑襟E或操作內(nèi)容】功能功能 1 1：指定選項(xiàng)：指定選項(xiàng)選項(xiàng)描述分隔字段需要列轉(zhuǎn)行的字段名。分隔符字段中的分隔符。新字段名轉(zhuǎn)換后的字段名。3.16 去除重復(fù)記錄【功能描述】這個(gè)步驟允許你去除關(guān)鍵字重復(fù)的記錄。秘密39【操作步驟或操作內(nèi)容】功能功能 1 1：指定選項(xiàng)：指定選項(xiàng)選項(xiàng)描述拒絕重復(fù)行增加重復(fù)行數(shù)到輸出。錯(cuò)誤描述包含重復(fù)行號(hào)的字段的名稱。用來比較的字段指定重復(fù)值字段。3.17 去

32、除重復(fù)記錄（哈希集合）【功能描述】參考 3.16 去除重復(fù)記錄。3.18 增加常量【功能描述】秘密40這個(gè)步驟很簡單，主要是添加常量到流中。它的使用也很容易：用字符串形式指定名稱，類型和值。利用選擇的數(shù)據(jù)類型指定轉(zhuǎn)換格式?！静僮鞑襟E或操作內(nèi)容】功能功能 1 1：指定選項(xiàng)：指定選項(xiàng)選項(xiàng)描述名稱增加的字段名稱。類型字段類型。格式字段格式（數(shù)據(jù)格式、日期格式）。長度、精度增加的字段的長度和精度。3.19 增加序列【功能描述】秘密41這個(gè)步驟在流中增加一個(gè)序列。一個(gè)序列是在某個(gè)起始值和增量的基礎(chǔ)上，經(jīng)常改變的整數(shù)值。你可以使用數(shù)據(jù)庫的序列，也可以使用ETL 工具決定的序列。備注：ETL 序列在同一個(gè)轉(zhuǎn)

33、換中是唯一使用的。每一次轉(zhuǎn)換運(yùn)行的時(shí)候，序列的值又會(huì)重新循環(huán)一次（從開始值開始） ?！静僮鞑襟E或操作內(nèi)容】功能功能 1 1：指定選項(xiàng)：指定選項(xiàng)選項(xiàng)描述值的名稱新序列值的名稱，將被添加到流中。使用數(shù)據(jù)庫獲取序列如果想使用數(shù)據(jù)庫的序列，使用些選項(xiàng)。使用計(jì)數(shù)器來計(jì)算序列如果想使用ETL工具生成的序列，使用此選項(xiàng)。秘密42計(jì)數(shù)器名稱（可選）如果一個(gè)轉(zhuǎn)換中多個(gè)步驟生成同樣的值名稱，這個(gè)選項(xiàng)允許你指定計(jì)數(shù)器的名稱，避免按照先后順序通過多個(gè)步驟。3.20 字段選擇【功能描述】這個(gè)步驟常常用來：選擇字段、重命名字段、指定字段的長度或者精度。下面是三個(gè)不同標(biāo)簽的功能： 1、選擇和修改：指定需要流到輸出流中的字段

34、的精確順序和名稱。2、刪除：指定必須從輸出流中刪除的字段。3、元數(shù)據(jù)：修改元數(shù)據(jù)字段的名稱、類型、長度和精度?！静僮鞑襟E或操作內(nèi)容】功能功能 1 1：指定選項(xiàng)：指定選項(xiàng)秘密43選項(xiàng)描述字段名稱選擇或者修改的字段名稱。改名如果不想改名，就使用空白。長度輸入數(shù)字指定長度（-1：代表沒有長度指定）。精度輸入數(shù)字指定精度（-1：代表沒有精度指定）。3.21 字符串裁剪【功能描述】這個(gè)步驟允許你將數(shù)據(jù)流中的字符串進(jìn)行裁剪，生成新的字符串?！静僮鞑襟E或操作內(nèi)容】秘密44功能功能 1 1：指定選項(xiàng)：指定選項(xiàng)選項(xiàng)描述在流中輸入流中的原字段名。輸出流裁剪后的輸出字段名。開始開始裁剪位置（若從第一個(gè)字符開始，填0

35、）。結(jié)束結(jié)束裁剪位置（第一個(gè)字符為1，依次類推）。3.22 封鎖步驟【功能描述】這是一個(gè)非常簡單的步驟。它凍結(jié)所有的輸出，直到從上一步驟來的最后一行數(shù)據(jù)到達(dá),最后一行數(shù)據(jù)將發(fā)送到下一步。你可以使用這個(gè)步驟觸發(fā)常用插件、存儲(chǔ)過程和 Java Script 等等。【操作步驟或操作內(nèi)容】功能功能 1 1：指定選項(xiàng)：指定選項(xiàng)秘密45選項(xiàng)描述通過所有行勾選這個(gè)選項(xiàng)將使所有行都通過，不勾選則只通過最后一行。3.23 執(zhí)行 SQL 腳本【功能描述】在這個(gè)步驟中你可以執(zhí)行 SQL 腳本，或者在轉(zhuǎn)換初始化的時(shí)候執(zhí)行，或者在步驟的每一個(gè)輸入行執(zhí)行?？梢栽?SQL 腳本中使用參數(shù)?！静僮鞑襟E或操作內(nèi)容】功能功能 1

36、 1：指定選項(xiàng)：指定選項(xiàng)秘密46選項(xiàng)描述數(shù)據(jù)庫連接指定一個(gè)數(shù)據(jù)庫連接。SQL腳本輸入SQL腳本，腳本中的？將被參數(shù)替代。執(zhí)行每一行接收來自前一步驟的每一行，都執(zhí)行一遍SQL腳本。作為單個(gè)語句執(zhí)行將整個(gè)SQL腳本作為單個(gè)語句執(zhí)行。變量替換替換腳本中的變量。參數(shù)指定來自前一步驟的參數(shù)字段。包含插入狀態(tài)的字段在輸出流中包含插入狀態(tài)的統(tǒng)計(jì)。包含更新狀態(tài)的字段在輸出流中包含更新狀態(tài)的統(tǒng)計(jì)。包含刪除狀態(tài)的字段在輸出流中包含刪除狀態(tài)的統(tǒng)計(jì)。包含讀狀態(tài)的字段在輸出流中包含查詢狀態(tài)的統(tǒng)計(jì)。秘密473.24 執(zhí)行 SQL 腳本行【功能描述】這個(gè)步驟允許你運(yùn)行一個(gè)數(shù)據(jù)庫存儲(chǔ)過程，獲取返回結(jié)果?！静僮鞑襟E或操作內(nèi)容】

37、功能功能 1 1：指定選項(xiàng)：指定選項(xiàng)選項(xiàng)描述數(shù)據(jù)庫連接指定一個(gè)數(shù)據(jù)庫連接。提交一次提交的行數(shù)。SQL字段名SQL語句包含的字段名。字段以包含插入的統(tǒng)計(jì)在輸出流中包含插入狀態(tài)的統(tǒng)計(jì)。字段以包含更新的統(tǒng)計(jì)在輸出流中包含更新狀態(tài)的統(tǒng)計(jì)。字段以包含刪除的統(tǒng)計(jì)在輸出流中包含刪除狀態(tài)的統(tǒng)計(jì)。秘密48字段以包含查詢的統(tǒng)計(jì)在輸出流中包含查詢狀態(tài)的統(tǒng)計(jì)。3.25 拆分字段【功能描述】這個(gè)步驟允許你根據(jù)分隔符來拆分字段?！静僮鞑襟E或操作內(nèi)容】功能功能 1 1：指定選項(xiàng)：指定選項(xiàng)秘密49選項(xiàng)描述需要拆分的字段想要拆分的字段的名稱。分隔符決定字段結(jié)束的分隔符。字段拆分形成的字段列表。例如：SALES_VALUES 字

38、段包含：“500,300,200,100”，使用以下的設(shè)置可以將字段拆分成4 個(gè)字段：分隔符：，字段：SALE1, SALE2, SALE3, SALE4Id:移除ID：no,no,no,no類型：Number, Number, Number, Number格式：#.#,#,#,#.#,#.#分組：十進(jìn)制：貨幣：長度：3，3，3，3精度：0，0，0，03.26 排序記錄【功能描述】這個(gè)步驟利用你指定的字段排序行，無論他們是按照升序還是降序。備注：當(dāng)行數(shù)超過 5000 行的時(shí)候，將使用臨時(shí)文件來排序行。秘密50【操作步驟或操作內(nèi)容】功能功能 1 1：指定選項(xiàng)：指定選項(xiàng)選項(xiàng)描述排序目錄臨時(shí)文件存儲(chǔ)

39、的目錄。如果缺省則為標(biāo)準(zhǔn)的系統(tǒng)臨時(shí)文件夾。排序緩存大小存儲(chǔ)在內(nèi)存中的行越多，排序的速度就越快。臨時(shí)文件前綴選擇一個(gè)好記的前綴，以便在臨時(shí)目錄中容易尋找。壓縮臨時(shí)文件當(dāng)需要完成排序的時(shí)候，這個(gè)選項(xiàng)將壓縮臨時(shí)文件。未使用的內(nèi)存限值限定內(nèi)存使用限度。僅僅傳遞非重復(fù)記錄去除重復(fù)記錄。字段指定排序字段，升序或降序等。秘密513.27 數(shù)據(jù)庫查詢【功能描述】這個(gè)步驟允許你運(yùn)行一個(gè)數(shù)據(jù)庫存儲(chǔ)過程，獲取返回結(jié)果?！静僮鞑襟E或操作內(nèi)容】功能功能 1 1：指定選項(xiàng)：指定選項(xiàng)秘密52選項(xiàng)描述數(shù)據(jù)庫連接指定待查詢的數(shù)據(jù)庫連接。查找模式指定數(shù)據(jù)庫模式，一般為數(shù)據(jù)庫用戶名。查詢的表指定待查詢的表名。使用緩存指定是否使用數(shù)

40、據(jù)庫緩存查詢結(jié)果。查詢所需關(guān)鍵字指定查詢條件。查詢表返回的值指定返回結(jié)果。排序指定排序方式。3.28 數(shù)據(jù)庫連接【功能描述】這個(gè)步驟允許你使用先前步驟的數(shù)據(jù)，運(yùn)行一個(gè)數(shù)據(jù)庫查詢。能夠指定查詢參數(shù)： 1、在 SQL 查詢中使用“？” 2、在 SQL 查詢中使用數(shù)據(jù)網(wǎng)格中的字段例如：【操作步驟或操作內(nèi)容】秘密53功能功能 1 1：指定選項(xiàng)：指定選項(xiàng)選項(xiàng)描述數(shù)據(jù)庫連接使用的數(shù)據(jù)庫連接。SQL查詢腳本，用？號(hào)代表參數(shù)。返回的行數(shù)0 代表所有行，其它數(shù)字限制行的輸出。外連接如果選中了這個(gè)，總是會(huì)返回一個(gè)結(jié)果，就算查詢腳本沒有結(jié)果。替換變量替換查詢中的變量。參數(shù)查詢中使用的參數(shù)。秘密543.29 替換字符

41、串【功能描述】這個(gè)步驟允許你使用指定的字符串替換輸入流中的指定字符串，并生成新的輸出字段?！静僮鞑襟E或操作內(nèi)容】功能功能 1 1：指定選項(xiàng)：指定選項(xiàng)選項(xiàng)描述輸入輸入流字段名，待替換的字段。輸出輸出流字段名，替換后的字段。使用正則表達(dá)式替換的正則表達(dá)式。搜索搜索待替換的字符串。替換替換為何值。全字是否全字替換。區(qū)分大小寫是否區(qū)分大小寫。秘密553.30 空操作【功能描述】這個(gè)操作什么都不做。它的主要作用是，在你想測(cè)試什么的時(shí)候，充當(dāng)一個(gè)占位符。例如有一個(gè)轉(zhuǎn)換，你至少需要兩個(gè)彼此連接的步驟，再集中輸入到一個(gè)步驟，你可以將它連接到一個(gè)空操作步驟。例如以下的示例：3.31 行扁平化【功能描述】這個(gè)步驟

42、將數(shù)據(jù)流中的一個(gè)字段拆分為多個(gè)字段，從而將多行合并為一行?！静僮鞑襟E或操作內(nèi)容】功能功能 1 1：指定選項(xiàng)：指定選項(xiàng)秘密56指定需要拆分的字段，以及拆分后的目標(biāo)字段。示例：Field1Field2Field3FlattenABCOneABCTwo可以扁平化為：Field1Field2Field3Target1Target2ABCOneTwo3.32 行標(biāo)準(zhǔn)化【功能描述】這個(gè)步驟轉(zhuǎn)動(dòng)表，標(biāo)準(zhǔn)化數(shù)據(jù)。秘密57例如以下的銷售數(shù)據(jù)：MonthProductAProduct2003/01105172003/0212719你想把它轉(zhuǎn)換成以下數(shù)據(jù)：MonthProductSales2003/01A10200

43、3/01B52003/01C17【操作步驟或操作內(nèi)容】功能功能 1 1：指定選項(xiàng)：指定選項(xiàng)秘密58選項(xiàng)選項(xiàng)描述描述字段類型字段類型的名稱。（例如在示例中的Product）字段字段名稱：標(biāo)準(zhǔn)化的字段名稱（例如示例中的Product A，Product C 等）。類型：用字符串分類字段（例如示例中的A，B，C）。新字段：你可以指定一個(gè)或者多個(gè)新值將要轉(zhuǎn)入的字段（例如示例中的sales）。備注：可以一次轉(zhuǎn)換多個(gè)字段。3.33 計(jì)算器【功能描述】這個(gè)步驟提供一個(gè)功能列表，可以在字段值上運(yùn)行。計(jì)算器的一個(gè)重要優(yōu)勢(shì)是，它有著幾倍于常用的 JavaScript 腳本的速度?！静僮鞑襟E或操作內(nèi)容】功能功能 1

44、 1：指定選項(xiàng)：指定選項(xiàng)秘密59選項(xiàng)描述新字段計(jì)算后的字段名。計(jì)算選擇計(jì)算公式。字段ABC用于計(jì)算的字段。值類型計(jì)算后的數(shù)據(jù)類型（int、string等）。長度、精度等計(jì)算后的字段長度、精度等屬性。3.34 過濾記錄【功能描述】這個(gè)步驟允許你根據(jù)條件和比較符來過濾記錄。一旦這個(gè)步驟連接到先前的步驟中，你可以簡單的單擊“” ，“=”和“”區(qū)域來構(gòu)建條件。 ?！静僮鞑襟E或操作內(nèi)容】功能功能 1 1：指定選項(xiàng)：指定選項(xiàng)秘密60選項(xiàng)描述發(fā)送“true”數(shù)據(jù)給步驟指定條件返回true 的數(shù)據(jù)將發(fā)送到此步驟。發(fā)送“false”數(shù)據(jù)給步驟指定條件返回false 的數(shù)據(jù)將發(fā)送到此步驟。條件指定過濾條件。3.3

45、5 追加流【功能描述】這個(gè)步驟將一個(gè)步驟中的數(shù)據(jù)流追加到另一個(gè)步驟?！静僮鞑襟E或操作內(nèi)容】功能功能 1 1：指定選項(xiàng)：指定選項(xiàng)秘密61選項(xiàng)描述上一步名待追加的數(shù)據(jù)流。末節(jié)點(diǎn)連線追加到的數(shù)據(jù)流。3.36 從結(jié)果中獲取文件【功能描述】每次在轉(zhuǎn)換、任務(wù)、文件細(xì)節(jié)、任務(wù)條目、步驟等處理、使用或者創(chuàng)建一個(gè)文件時(shí)，文件被捕獲并且附加到結(jié)果中。你可以使用這個(gè)步驟訪問那些信息。下面是輸出的字段：字段名類型示例TypeStringNormal,Log,Error,Error-line filenameStringSomefile.txtPathStringC:FooBarsomefile.txtParentor

46、iginStringProcess files transformationOriginStringText File InputCommentStringRead by text file inputtimestampDate2006-06023 12:34:56秘密62【操作步驟或操作內(nèi)容】功能功能 1 1：指定選項(xiàng)：指定選項(xiàng)3.37 把文件設(shè)置到結(jié)果中【功能描述】在某種情況下，我們可以操縱輸出結(jié)果中的文件列表。例如 mail 任務(wù)條目可以使用文件列表來關(guān)聯(lián)郵件，可能你不需要發(fā)送所有的文件，你可以在此步驟中指定你想要發(fā)送的郵件?！静僮鞑襟E或操作內(nèi)容】功能功能 1 1：指定選項(xiàng)：指定選項(xiàng)秘密

47、633.38 獲取變量【功能描述】這個(gè)步驟允許你獲取一個(gè)變量，它可以返回行或者附加值到輸入行。備注：你需要指定完整的變量格式$variable或者%variable%。【操作步驟或操作內(nèi)容】功能功能 1 1：指定選項(xiàng)：指定選項(xiàng)例如將 ddate 變量的值獲取到 datatime 字段：名稱為 datatime 變量為%ddate%秘密643.39 獲取系統(tǒng)信息【功能描述】這個(gè)步驟從當(dāng)前服務(wù)器環(huán)境中獲取信息，例如獲取服務(wù)器時(shí)間、IP地址、主機(jī)名等，將信息輸送到下一步驟。【操作步驟或操作內(nèi)容】功能功能 1 1：指定選項(xiàng)：指定選項(xiàng)選項(xiàng)描述步驟名稱步驟的名稱，在單個(gè)轉(zhuǎn)換中必須唯一。字段輸出的字段。示例

48、：秘密653.40 設(shè)置變量【功能描述】可以設(shè)置環(huán)境變量?！静僮鞑襟E或操作內(nèi)容】功能功能 1 1：指定選項(xiàng)：指定選項(xiàng)選項(xiàng)描述字段名稱獲取前一步驟數(shù)據(jù)流的值。變量名字定義的變量名。第第 4 4 章章 作業(yè)步驟作業(yè)步驟 4.1 Start（開始）【功能描述】秘密66Start 是任務(wù)執(zhí)行的入口，首先必須是任務(wù)可以執(zhí)行。只有無條件的任務(wù)條目可以從 Start 入口連接。【操作步驟或操作內(nèi)容】功能功能 1 1：調(diào)度方式設(shè)置：調(diào)度方式設(shè)置1、指定一個(gè)作業(yè)的調(diào)度時(shí)間頻率、調(diào)度方式等屬性，如下所示：選項(xiàng)描述重復(fù)是否重復(fù)執(zhí)行作業(yè)。類型如選擇不需要定時(shí)，則為手工調(diào)度；如選擇其它，則為自動(dòng)調(diào)度。時(shí)間間隔可設(shè)置日調(diào)

49、度、周調(diào)度、月調(diào)度、固定時(shí)間間隔調(diào)度的時(shí)間安排。4.2 DUMMY【功能描述】在一個(gè)任務(wù)中使用 Dummy 條目將什么也不做。這可以使一個(gè)任務(wù)更清晰的展示，或者在執(zhí)行循環(huán)中使用。秘密674.3 轉(zhuǎn)換【功能描述】用于執(zhí)行一個(gè)先前定義的轉(zhuǎn)換?！静僮鞑襟E或操作內(nèi)容】功能功能 1 1：指定選項(xiàng)：指定選項(xiàng)選項(xiàng)描述轉(zhuǎn)換名稱需要運(yùn)行的轉(zhuǎn)換的名稱。轉(zhuǎn)換文件名如果你不是使用資源庫工作，就指定轉(zhuǎn)換運(yùn)行的XML 文件名。日志文件檢查是否為轉(zhuǎn)換指定一個(gè)單獨(dú)的日志文件。日志文件名日志文件的目錄和名稱。日志文件擴(kuò)展名文件名擴(kuò)展（例如：log 或者txt） 。文件名包含日期文件名中添加系統(tǒng)日期。秘密68文件名包含時(shí)間文件名

50、中添加系統(tǒng)時(shí)間。日志級(jí)別日志級(jí)別。復(fù)制以前的結(jié)果到參數(shù)上一次的轉(zhuǎn)換結(jié)果復(fù)制到參數(shù)中。參數(shù)指定轉(zhuǎn)換的參數(shù)。執(zhí)行每一個(gè)輸入行支持循環(huán)，允許轉(zhuǎn)換在每一個(gè)輸入行上執(zhí)行一次。在執(zhí)行前清除結(jié)果行列表在轉(zhuǎn)換運(yùn)行之前，檢查確保列表或結(jié)果行已經(jīng)被清除。在執(zhí)行前清除結(jié)果文件列表在轉(zhuǎn)換運(yùn)行之前，檢查確保列表或結(jié)果文件已經(jīng)被清除。4.4 采集作業(yè)【功能描述】用于執(zhí)行一個(gè)先前定義的作業(yè)?！静僮鞑襟E或操作內(nèi)容】功能功能 1 1：指定選項(xiàng)：指定選項(xiàng)選項(xiàng)描述任務(wù)名稱需要運(yùn)行的任務(wù)的名稱。秘密69知識(shí)庫指定知識(shí)庫目錄。日志文件檢查是否為任務(wù)指定一個(gè)單獨(dú)的日志文件。日志文件名日志文件的目錄和名稱。日志文件擴(kuò)展名文件名擴(kuò)展（例如：

51、log 或者txt） 。文件名包含日期文件名中添加系統(tǒng)日期。文件名包含時(shí)間文件名中添加系統(tǒng)時(shí)間。日志級(jí)別日志級(jí)別。復(fù)制以前的結(jié)果到參數(shù)上一次的作業(yè)結(jié)果復(fù)制到參數(shù)中。參數(shù)指定作業(yè)的參數(shù)。執(zhí)行每一個(gè)輸入行支持循環(huán)，允許作業(yè)在每一個(gè)輸入行上執(zhí)行一次。在執(zhí)行前清除結(jié)果行列表在作業(yè)運(yùn)行之前，檢查確保列表或結(jié)果行已經(jīng)被清除。在執(zhí)行前清除結(jié)果文件列表在作業(yè)運(yùn)行之前，檢查確保列表或結(jié)果文件已經(jīng)被清除。4.5 Shell【功能描述】你可以使用 Shell 任務(wù)條目在任務(wù)運(yùn)行的主機(jī)上執(zhí)行一段 Shell 腳本。備注：Shell 腳本能在控制臺(tái)窗口輸出文本，輸出將轉(zhuǎn)換到Kettle 日志系統(tǒng)，這不會(huì)影響 Shell

52、 腳本的運(yùn)行?！静僮鞑襟E或操作內(nèi)容】功能功能 1 1：指定選項(xiàng)：指定選項(xiàng)秘密70選項(xiàng)描述腳本文件名要運(yùn)行的Shell 腳本文件名。日志文件檢查是否為Shell 腳本指定一個(gè)單獨(dú)的日志文件。日志文件名稱日志文件的目錄和名稱。日志文件擴(kuò)展名文件名擴(kuò)展（例如：log 或者txt） 。日志文件中包含日期文件名中添加系統(tǒng)日期。日志文件中包含時(shí)間文件名中添加系統(tǒng)時(shí)間。日志級(jí)別日志級(jí)別。將上一結(jié)果作為參數(shù)上一次的轉(zhuǎn)換結(jié)果復(fù)制到Shell 腳本參數(shù)中。秘密71參數(shù)指定Shell 腳本的參數(shù)。對(duì)每個(gè)輸入行執(zhí)行一次支持循環(huán)，允許Shell 腳本在每一個(gè)輸入行上執(zhí)行一次。4.6 SQL【功能描述】你可以使用 SQL

53、 任務(wù)條目在任務(wù)運(yùn)行的主機(jī)上執(zhí)行一段 SQL 腳本?！静僮鞑襟E或操作內(nèi)容】功能功能 1 1：指定選項(xiàng)：指定選項(xiàng)選項(xiàng)描述數(shù)據(jù)庫連接指定要執(zhí)行SQL的數(shù)據(jù)連接。秘密72從文件中得到SQL是否直接讀取SQL腳本文件。SQL文件名SQL腳本文件名稱。單獨(dú)發(fā)送SQL是否單獨(dú)發(fā)送SQL。使用變量替換是否在腳本中使用變量。SQL腳本編輯SQL腳本。4.7 發(fā)郵件【功能描述】用于發(fā)送郵件。【操作步驟或操作內(nèi)容】功能功能 1 1：指定選項(xiàng)：指定選項(xiàng)秘密73選項(xiàng)描述目的地址e-Mail 目的地址。用戶驗(yàn)證檢查SMTP 服務(wù)器是否需要身份認(rèn)證。用戶名身份認(rèn)證用戶名。密碼身份認(rèn)證用戶密碼。SMTP服務(wù)器郵件發(fā)送的郵件

54、服務(wù)器?；貜?fù)地址e-Mail 的回復(fù)地址。主題e-Mail 的主題。秘密74信件里帶日期是否需要在e-Mail 中包含日期。帶附件檢查消息是否有附加文件。文件類型指定你想附加的文件類型。壓縮成統(tǒng)一文件格式是否需要壓縮所有選擇的文件。4.8 收郵件【功能描述】用于收郵件?！静僮鞑襟E或操作內(nèi)容】功能功能 1 1：指定選項(xiàng)：指定選項(xiàng)秘密75選項(xiàng)描述源主機(jī)e-Mail 服務(wù)器IP。使用SSL使用SSL連接。端口端口號(hào)。用戶名、密碼身份認(rèn)證用戶密碼。協(xié)議收郵件協(xié)議。目標(biāo)目錄收郵件的本地目錄。秘密76創(chuàng)建文件夾如果文件夾不存在，則創(chuàng)建。目標(biāo)文件名模式目標(biāo)文件名的規(guī)范格式。保存郵件內(nèi)容是否保存郵件內(nèi)容。接收

55、郵件附件是否接受附件。4.9 消息對(duì)話框【功能描述】用于在 ETL 過程中彈出消息?！静僮鞑襟E或操作內(nèi)容】功能功能 1 1：指定選項(xiàng)：指定選項(xiàng)選項(xiàng)描述信息標(biāo)題彈出對(duì)話框的標(biāo)題。正文彈出對(duì)話框的正文。秘密774.10 FTP【功能描述】用于從 FTP 下載一個(gè)或多個(gè)文件?！静僮鞑襟E或操作內(nèi)容】功能功能 1 1：指定選項(xiàng)：指定選項(xiàng)1、常規(guī)設(shè)置秘密78選項(xiàng)描述FTP服務(wù)器名稱/IP地址服務(wù)器名稱或者IP 地址。端口FTP端口，一般為21。用戶名、密碼登陸FTP 服務(wù)器的用戶名密碼。代理服務(wù)器設(shè)置網(wǎng)絡(luò)連接的代理服務(wù)器。二進(jìn)制模式使用二進(jìn)制模式傳送。超時(shí)FTP 服務(wù)器超時(shí)時(shí)間。使用活動(dòng)的FTP連接使用主

56、動(dòng)模式FTP，以代替被動(dòng)模式（默認(rèn)）?？刂凭幋aFTP 控制指令的編碼。2、文件設(shè)置選項(xiàng)描述遠(yuǎn)程目錄從FTP 服務(wù)器獲取文件的遠(yuǎn)程目錄。通配符如果你想選擇多個(gè)文件，指定一個(gè)正則表達(dá)式。例如：獲取后刪除文件在FTP 服務(wù)器所有文件被成功轉(zhuǎn)移后，刪除FTP 服務(wù)器的文件。檢索后移動(dòng)文件在FTP 服務(wù)器所有文件被成功轉(zhuǎn)移后，移動(dòng)FTP 服務(wù)器的文件到其它位置。目標(biāo)目錄存放傳送文件的目錄。文件名包含日期在目標(biāo)文件的文件名中包含日期。文件名包含時(shí)間在目標(biāo)文件的文件名中包含時(shí)間。秘密79指定時(shí)間格式時(shí)間格式。不能覆蓋文件如果指定目標(biāo)目錄文件名已經(jīng)存在則跳過文件。判斷文件是否存在當(dāng)文件已存在時(shí)，指定操作方式。

57、將文件名添加到結(jié)果將文件名添加到本步驟執(zhí)行結(jié)果。2、高級(jí)選項(xiàng)選項(xiàng)描述成功設(shè)置本步驟執(zhí)行成功的條件。限制文件限制必須有多少個(gè)文件傳送成功。4.11 HTTP【功能描述】你可以使用 HTTP 任務(wù)條目通過 HTTP 協(xié)議從 web 服務(wù)器上獲取一個(gè)文件?！静僮鞑襟E或操作內(nèi)容】功能功能 1 1：指定選項(xiàng)：指定選項(xiàng)選項(xiàng)描述秘密80URL(HTTP)使用的URL。執(zhí)行每一個(gè)結(jié)果行選擇將使先前轉(zhuǎn)換生成的每一行都運(yùn)行此任務(wù)條目。從URL獲取的文件名從URL 獲取的結(jié)果行中的文件名。目標(biāo)文件名目標(biāo)文件名。追加到目標(biāo)文件如果目標(biāo)文件已經(jīng)存在，追加到目標(biāo)文件。文件名包含時(shí)間給文件名添加日期和時(shí)間yyyMMdd_H

58、Hmmss。目標(biāo)文件擴(kuò)展名指定目標(biāo)文件的擴(kuò)展名。用戶名密碼認(rèn)證要用到的用戶名和密碼。將文件名添加到結(jié)果將本步驟的文件名添加到輸出結(jié)果。4.12 SSH2 上傳【功能描述】用 SSH2 方式上傳文件?！静僮鞑襟E或操作內(nèi)容】功能功能 1 1：指定選項(xiàng)：指定選項(xiàng)秘密81選項(xiàng)描述服務(wù)器名稱/IP地址上傳目的主機(jī)的地址。端口連接端口，通常為22。主機(jī)密鑰緩存是否在緩存中保存主機(jī)密鑰。用戶名密碼主機(jī)登陸用戶密碼。超時(shí)超時(shí)時(shí)間，0為無限制。秘密82HTTP代理設(shè)置HTTP代理服務(wù)器連接。私人密碼匙選擇使用私人密碼匙，則需選擇密碼文件和輸入口令。源目錄上傳的文件所在目錄。通配符可使用正則表達(dá)式。目標(biāo)目錄上傳到

59、主機(jī)的目標(biāo)目錄。創(chuàng)建遠(yuǎn)程目錄當(dāng)遠(yuǎn)程目錄不存在時(shí)時(shí)候創(chuàng)建。不要覆蓋文件是否允許直接覆蓋文件。SSH處理后SSH處理后做何操作（刪除文件、移動(dòng)文件或不操作）。4.13 SSH2 獲取【功能描述】用于 SSH2 方式獲取服務(wù)器文件。【操作步驟或操作內(nèi)容】功能功能 1 1：指定選項(xiàng)：指定選項(xiàng) 參考 4.12 SSH2 上傳。4.14 Zip 文件【功能描述】用這個(gè)步驟將按照你在對(duì)話框中指定的選擇創(chuàng)建一個(gè)標(biāo)準(zhǔn)的 ZIP 壓縮文件。【操作步驟或操作內(nèi)容】功能功能 1 1：指定選項(xiàng)：指定選項(xiàng)秘密83選項(xiàng)描述源目錄被壓縮文件源目錄。包含通配符文件的通配符（正則表達(dá)式）包含在歸檔文件中。排除通配符文件的通配符（

60、正則表達(dá)式）不包含在歸檔文件中。包含子文件夾是否包含源目錄的子文件夾。ZIP文件名目的歸檔文件的全名。創(chuàng)建父文件夾是否在壓縮文件中創(chuàng)建被壓縮文件的父文件夾。壓縮壓縮級(jí)別。如果ZIP文件存在如果目標(biāo)存在發(fā)生的動(dòng)作。壓縮后壓縮后的操作。秘密84添加ZIP文件到結(jié)果將文件名添加到輸出結(jié)果中。4.15 上傳文件到 FTP【功能描述】用于上傳一個(gè)或多個(gè)文件到 FTP。【操作步驟或操作內(nèi)容】功能功能 1 1：指定選項(xiàng)：指定選項(xiàng) 參考 4.10 FTP4.16 從 FTP 下載文件【功能描述】用于從 FTP 下載一個(gè)文件。注：下載多個(gè)文件時(shí)請(qǐng)使用 4.10 FTP【操作步驟或操作內(nèi)容】功能功能 1 1：指定