Datastage控件使用指南

Datastage控件使用指南MACROBUTTONAcceptChangesSelected目錄Datastage 11.引言 12.慣用Stage使用闡明 12.1.SequentialFileStage 12.2.Annotation 52.3.ColumnExportStage 72.4.ChangeCaptureStage 92.5.CopyStage 122.6.FilterStage 132.7.FunnelStage 142.8.TansformerStage 152.9.SortStage 172.10.LookUpStage 182.11.JoinStage 192.12.MergeStage 212.13.ModifyStage 222.14.DataSetStage 232.15.FileSetStage 252.16.LookupFileSetStage 272.17.OracleEnterpriseStage 302.18.AggregatorStage 332.19.RemoveDuplicatesStage 352.20.CompressStage 362.21.ExpandStage 382.22.DifferenceStage 402.23.CompareStage 432.24.SwitchStage 442.25.ColumnImportStage 463.DataStageManager使用 493.1.導入導出Job及其它組件 493.2.管理配備文獻 504.DataStageAdministrator慣用配備 514.1.設立TimeOut時間 514.2.設立Project的屬性 524.3.更新DataStageServer的License和本地Client的License 535.DataStageDirector使用 545.1.察看Job的狀態(tài)，運行已經編譯好的Job 545.2.將編譯好的Job加入計劃任務 575.3.監(jiān)控Job的運行狀況 58引言DataStageEE的開發(fā)重要由DataStageDesigner完畢。現對慣用部分加以闡明，具體使用辦法請查閱在線協(xié)助文檔。慣用Stage使用闡明DataStage的基本邏輯解決單位是Job，每個Job由許多Stage構成；由Stage來完畢對數據的抽取，轉換，加載等，現對慣用的Stage做闡明SequentialFileStage功效特點：合用于普通次序文獻（定長或不定長），可識別文本文獻或IBM大機ebcdic文獻。使用要點：按照命名規(guī)范命名點住文獻，雙擊鼠標，在general闡明此文獻內容，格式，存儲目錄等修改文獻屬性，文獻名稱，reject方式等到修改文獻格式，例如統(tǒng)計結束符是什么，字段分隔符，字符串是用什么區(qū)別等輸入此文獻字段內容Annotation功效特點：普通用于注釋，可運用其背景顏色在job中分顏色區(qū)別不同功效塊使用要點：ColumnExportStageStage類型：RestructureStage功效闡明：與ColumnImportStage相反，將多個類型不同的字段合并成一種string或者binary類型的字段。具體使用方法：StagePage：核心是properties的配備，選擇將哪些字段合并，合并后的新字段在Output下的column中直接定義。InputsPage：對輸入數據字段的描述，這里核心是Format的配備，決定合并后的字段的格式OupputsPage：對最后合并后的輸出數據字段的描述通過stage的前后數據的對比合并字段后：ChangeCaptureStage功效特點：ChangeCaptureStage有兩個輸入，分別標記為beforelink及afterlink。輸出的數據表達beforelink和afterlink的區(qū)別，我們稱作changeset。ChangeCaptureStage能夠和ChangeApplyStage配合使用來計算afterset。key及value的闡明key值是比較的核心值，value是當key值相似是作進一步比較用的。changemode選項闡明：Allkeys，ExplicitValues需要指定value，其它字段為keyExplicitKeys&Valueskey及value都需要指定ExplicitKeys，AllValues需要指定key，其它的字段為value輸出方略闡明DropOutputForCopyFalse：保存before及aftelink中key值相似的行True：刪除before及aftelink中key值相似的行DropOutputForDeleteFalse：保存beforelink中有但是afterlink中沒有的key值所在的行True：刪除beforelink中有但是aftelink中沒有的key值所在的行DropOutputForEditFalse：保存key值相似,value不同的行True：刪除key值相似,value不同的行DropOutputForInsertFalse：保存beforelink中沒有但aftelink中有的key值所在的行True：刪除beforelink中沒有但aftelink中有的key值所在的行CopyStage功效闡明：CopyStage能夠有一種輸入，多個輸出。它能夠在輸出時變化字段的次序，但是不能變化字段類型。注意：當只有一種輸入及一種輸出時最佳將Force設立為True，這樣能夠在Designer里看到運行結束，否則將無法標記運行結束，但不會影響運行成果數據。FilterStage功效闡明：FilterStage只有一種輸入，能夠有多個輸出。根據不同的篩選條件，能夠將數據輸出到不同的outputlink。FunnelStage功效闡明：將多個字段相似的數據文獻合并為一種單獨的文獻輸出合并方略闡明ContinuousFunnel：從每一種inputlink中循環(huán)取一條統(tǒng)計SortFunnel：按照Key值排序合并輸出Sequence：先輸出第一種inputlink的數據，輸出完畢后再輸出第二個inputlink的數據，依這類推，直到結束。(此時能夠通過調節(jié)linkOrdering調節(jié)輸出次序)TansformerStage功效闡明：一種功效極為強大的Stage。有一種inputlink，多個outputlink，能夠將字段進行轉換，也能夠通過條件來指定數據輸出到那個outputlink。在開發(fā)過程中能夠使用拖拽。Constraint及Derivation的區(qū)別Constraint通過限定條件使符合條件的數據輸出到這個outputlink。Derivation通過定義體現式來轉換字段值。在Constraint及Derivation中能夠使用Jobparameters及StageVariables。注意：TransformerStage功效強大，但在運行過程中是以犧牲速度為代價的。在只有簡樸的變換，拷貝等操作時，最佳用ModifyStage，CopyStage，FilterStage等來替代TransformerStage。SortStage功效闡明：只能有一種輸入及一種輸出，按照指定的Key值進行排列。能夠選擇升序還是降序，與否去除重復的數據等等。Option具體闡明AllowDuplicates：與否去除重復數據。為False時，只選用一條數據，當StableSort為True時，選用第一條數據。當SortUnility為UNIX時此選項無效。SortUtility：選擇排序時執(zhí)行應用程序，能夠選擇DataStage內建的命令或者Unix的Sort命令OutputStatistics：與否輸出排序統(tǒng)計信息到job日志StableSort：與否對數據進行二次整頓CreateClusterKeyChangeColumn：與否為每條統(tǒng)計創(chuàng)立一種新的字段：clusterKeyChange。當SortKeyMode為Don’tSort(PreviouslySorted)或Don’tSort(PreviouslyGrouped)時，對于第一條統(tǒng)計該字段被設立為1，其它的統(tǒng)計設立為0。CreateKeyChangeColumn：與否為每一條統(tǒng)計創(chuàng)立一種新的字段KeyChange。LookUpStage功效闡明：LookUpStage把數據讀入內存執(zhí)行查詢操作，將匹配的字段輸出，或者在在符合條件的統(tǒng)計中修改或加入新的字段。JoinStage功效闡明：將多個表連接后輸出LookUpStage和JoinStage的區(qū)別LookUpStage將數據讀入到內存中，因此效率很高，但是占用了較多的物理內存。因此當referencedata比較小的時候，我們推薦用LookUpStage；當referencedata比較大的時候，我們推薦用JoinStage。MergeStage功效闡明：將MergeKey值相似的統(tǒng)計合并。將其中的一種輸入設定為Master，其它的為Update。把Update中MergeKey相似的統(tǒng)計合并入Master。ModifyStage功效闡明：Modifystage只能有一種輸入及一種輸出，它能夠修改表構造：刪除，保存一種字段；給字段改名；修改字段的數據類型。Specification的具體使用方法：刪除一種字段：DROPcolumnname[,columnname]保存一種字段： KEEPcolumnname[,columnname]變化字段：new_columnname[:new_type]=[explicit_conversion_function]old_columnname可用的explicit_conversion_function請參看《ParallelJobDeveloper’sGuide》7DataSetStageStage類型：Filestage功效闡明：從dataset文獻中讀取數據或者寫數據到dataset文獻中，一種DateSetStage只能有一種輸入連接（inputlink）或者一種輸出連接（outputlink）。具體使用方法：涉及StagePage，InputsPage，OutputsPageStagePage普通描述了stage的普通信息，諸如名稱等；InputsPage描述了即要寫入信息的dataset文獻的具體信息；重要是Properties和Column的定義Properties中配備了文獻的寄存途徑和更新方略Column具體定義文獻中的各個字段OutputsPage描述了讀取信息的dataset文獻的具體信息；操作過程與InputsPage類似。FileSetStageStage類型：Filestage功效闡明：從fileset文獻中讀取數據或者寫數據到fileset文獻中，一種FileSetStage只能有一種輸入連接（inputlink）、一種輸出連接（outputlink）和一種回絕連接（rejectslink）。并且只能在并行模式下執(zhí)行。具體使用方法：StagePage：對Stage的基本定義InputsPage：重要是Properties和Format的配備Properties的配備：定義文獻的存取途徑及其它讀寫的有關的參數。特別要闡明的是Options下的RejectMode的選擇，當stage有rejectlink的時候，必須選擇Output；沒有rejectlink時，可選擇其它兩個選項。Format的配備：定義了數據寫到文獻中的格式OutputsPage：對stage輸出的數據字段的描述，另外，rejectlink的輸出系統(tǒng)將默認，不需要顧客自己定義字段。LookupFileSetStageStage類型：Filestage功效闡明：為執(zhí)行查找操作而創(chuàng)立的參考文獻。作為查找的參考數據，普通在參考數據比較大量或者重復使用率較高的狀況下，將參考數據生成專門的LookupFileSet文獻，方便提高查找的效率具體使用方法：StagePageInputsPage：重要定義了查找核心字和寄存途徑等重要信息創(chuàng)立一種LookupFileSet文獻：OutputsPage：當作為參考數據進行查找操作時，由于文獻是已經生成好的，因此在這里不需要再做具體的定義，只要引入即可。OracleEnterpriseStageStage類型：DatabaseStage功效闡明：從Oracle數據庫中讀取數據或者寫數據到Oracle數據庫中。普通完畢的操作：使用INSERT或UPDATWE命令更新數據庫表裝入數據庫表讀取數據庫表從數據庫表中刪除行在庫表中直接執(zhí)行查詢操作將庫表裝入內存，然后執(zhí)行查詢操作具體使用方法：InputsPage向數據庫中寫數據，核心是對Properties的配備OutputsPage：與InputsPage類似，只是完畢的是從數據庫中讀取數據。AggregatorStageStage類型：ProcessingStage功效闡明：將輸入的數據分組，計算各組數據的總和或者按組進行其它的操作，最后將成果數據輸出到其它的stage。具體使用方法：StagePage：描述stage的普通信息以及字段的分組信息和選擇分組計算函數InputsPage：具體描述輸入數據信息，普通直接反映輸入數據字段信息OupputsPage：具體描述輸出數據信息，即通過分組計算后的數據字段信息RemoveDuplicatesStageStage類型：ProcessingStage功效闡明：輸入根據核心字分好類的有序數據，去除全部統(tǒng)計中核心字重復的統(tǒng)計，普通與sortstage配合使用具體使用方法：StagePage：Properties中的key值與之前sortstage的分類key值相似InputsPage：對輸入數據字段的描述OupputsPage：對輸出數據字段的描述CompressStageStage類型：ProcessingStage功效闡明：將dataset文獻壓縮成二進制文獻（與expenddatastage相對應）具體使用方法：StagePage運行成果InputsPage：對輸入數據字段的描述OupputsPage：對輸出數據字段的描述ExpandStageStage類型：ProcessingStage功效闡明：將壓縮的二進制文獻解壓縮（解壓縮compressstage生成的壓縮文獻）具體使用方法：StagePage運行成果：InputsPage：對輸入數據字段的描述OupputsPage：對輸出數據字段的描述DifferenceStageStage類型：ProcessingStage功效闡明：按字段比較兩個文獻，找出不同的統(tǒng)計。（兩個文獻before和after，以before為準，與after文獻中的統(tǒng)計進行比較，找出before在after文獻中沒有或者有的統(tǒng)計）具體使用方法：StagePage比較方略闡明DropOutputForCopyFalse：保存before及aftelink中key值相似的行True：刪除before及aftelink中key值相似的行DropOutputForDeleteFalse：保存beforelink中有但是aftelink中沒有的key值所在的行True：刪除beforelink中有但是aftelink中沒有的key值所在的行DropOutputForEditFalse：保存key值相似,value不同的行True：刪除key值相似,value不同的行DropOutputForInsertFalse：保存beforelink中沒有但aftelink中有的key值所在的行True：刪除beforelink中沒有但aftelink中有的key值所在的行調節(jié)before和after的次序：InputsPage：對輸入數據字段的描述OupputsPage：對輸出數據字段的描述CompareStageStage類型：ProcessingStage功效闡明：按字段對比兩個已經分類的有序的文獻具體使用方法：StagePageInputsPage：對輸入數據字段的描述OupputsPage：對輸出數據字段的描述SwitchStageStage類型：ProcessingStage功效闡明：將文獻按照一定的條件（普通為字段的值）分割成多個子文獻。具體是將輸入的每一條統(tǒng)計按照各自符合的條件（核心字的值）分派到不同的輸出（SwitchStage有一種inputlink和多個outputlink，一種rejectlink，outputlink最多可達128個；此功效很類似與C函數中的switch函數）。具體使用方法：StagePage定義分派統(tǒng)計的核心字及其值InputsPage：對輸入數據字段的描述OupputsPage：對輸出數據字段的