基于WINDOWS平臺下銀行卡系統(tǒng)流水文件的自動識別與分析-軟件技術

1、.基于WINDOWS平臺下銀行卡系統(tǒng)流水文件的自動識別與分析-軟件技術基于WINDOWS平臺下銀行卡系統(tǒng)流水文件的自動識別與分析 李嶺 張鑫（中國銀聯(lián)股份有限公司 上海201201）（電子商務與電子支付國家工程實驗室 上海201201）摘要在銀行卡交易的清分及結算環(huán)節(jié)，流水文件作為卡組織與其成員金融機構結算、對賬的重要媒介，為應對卡組織對賬文件種類多、存儲信息量大、字段結構復雜以及文件字節(jié)過大用戶無法人工閱讀的特點，通過參數(shù)化靈活設置、內存映射及動態(tài)定位等技術方式，實現(xiàn)可基于WINDOWS平臺的文件處理能力。關鍵詞文件分析自動識別內存映射doi:10.3969/j.issn.1674-7933

2、.2016.06.010引言銀行卡流水文件作為卡組織與銀行機構之間每日清算對賬的主要途徑，提供了大量的交易場景及所有參與方的計費明細信息，具有信息量大、準確性高的特點。同時，隨著銀行卡產業(yè)的快速發(fā)展，交易種類繁多、交易量快速放大，對機構業(yè)務對賬的難度和復雜度要求提升，而銀行卡流水是基于系統(tǒng)處理的具有定復雜度的文本格式文件，業(yè)務人員難以直觀明了的看懂文件中一筆筆流水所包含的實際交易信息，在日常的業(yè)務分析中也難以人工進行統(tǒng)計分析?；赪INDOWS平臺的銀行卡流水文件處理，主要針對卡組織與其他金融機構之間的流水文件的自動識別與分析可具有良好的可擴展性、高可用性、高穩(wěn)定性，包含查詢、解析、統(tǒng)計等幾大

3、功能。同時，提供了友好的界面展示，通過從界面導入待處理的流水文件，支持用戶輸入在文件中搜索的查詢條件，通過內存映射技術在流水文件中快速的查詢出符合條件的流水；把查詢結果進行解析，直觀顯示各個流水字段的內容；分類統(tǒng)計流水中的金額類字段，給出類似報表的統(tǒng)計結果。能夠為專業(yè)技術、業(yè)務人員降低開發(fā)、測試和業(yè)務分析時間。1技術方案1.1系統(tǒng)邏輯架構 通過用戶錄入待查詢的文件（位于本地或者遠程FTP服務器上）、個性化的訂制信息來完成對流水文件的載入、解析、查詢和統(tǒng)計，并把查詢的結果顯示在系統(tǒng)的界面上。對于查詢和統(tǒng)計結果，用戶可以選擇導出到本地CSV文件中，以進行進一步的處理。系統(tǒng)的邏輯架構如圖1所示。1.

4、2系統(tǒng)物理架構系統(tǒng)通過集成FTP客戶端功能和網(wǎng)絡文件讀取功能，可以具備較好的易用性，不僅可以處理位于本地主機上的文件，還可以處理提供了FTP Server服務的遠程服務器或者個人PC上的文件。系統(tǒng)物理架構圖如圖2所示。1.3系統(tǒng)應用架構作為基于WINDOWS的應用，系統(tǒng)在架構設計上主要包括三大部分：參數(shù)部分、文件引入部分和交易流水處理部分。不依賴于數(shù)據(jù)庫而通過高效的參數(shù)配置文件來實現(xiàn)參數(shù)的獲取，減少系統(tǒng)安裝部署環(huán)節(jié)需要數(shù)據(jù)庫軟件支撐的要求。該系統(tǒng)能夠處理目前境內卡組織中國銀聯(lián)的核心清算系統(tǒng)（CUPS系統(tǒng)）生成的所有流水文件，對文件中的交易進行快速的解析、搜索、統(tǒng)計。并且，可以通過增加參數(shù)配置文

5、件中的文件解析參數(shù)來適應以后新出現(xiàn)的文件，具有很高的擴展性。三大部分組成的系統(tǒng)應用機構如圖3所示。2關鍵功能技術要點通過分析卡組織技術規(guī)范以及聯(lián)網(wǎng)聯(lián)合規(guī)范要求，針對性地設計流水文件的自動識別，流水文件中所有交易的快速查詢、解析、統(tǒng)計，把查詢結果按照操作人員的訂制顯示，以及查詢結果按照交易類型等維度對訂制的交易中的金額字段進行統(tǒng)計，然后把統(tǒng)計結果顯示在日志區(qū)。該系統(tǒng)不僅能夠支持本地文件的處理，還支持遠程FTP文件的處理。系統(tǒng)在關鍵技術上使用了內存映射【1】、動態(tài)定位等能夠解決Windows平臺下內存、IO限制導致對文件處理緩慢、甚至系統(tǒng)崩潰等問題，尤其需要解決對GB級別大文件的快速處理。該系統(tǒng)同

6、時也提供了csv文件導出的功能，以便于通過EXCEL軟件的進一步處理。以文件類型識別處理為例，針對銀行卡技術規(guī)范【2】中描述的不同流水文件格式，結合交換系統(tǒng)技術規(guī)范中關于報文域的定義解釋，以流水文件進行識別和分析這項關鍵技術為例，其流程及要點如圖4所示。1)判斷是否結算類文件，決定該文件中字符串內容是按照行來拆分，還是按照交易類別來拆分。2)非結算類文件分析方法：對一行流水內容，判斷行長度、結尾符是否符合參數(shù)配置要求，正確繼續(xù)進行處理，錯誤則將行號寫入內存分析報告。取下一行繼續(xù)處理。(1)字段級分析。按照文件類型對應的字段格式參數(shù)信息（包括字段中文名稱、字段長度及字符屬性要求、報文域號），對字

7、段進行先切割拆分，后分析匹配。從內存參數(shù)中匹配中文字段名稱、字段長度值、域號、數(shù)據(jù)庫表字段，檢查字段中字符是否符合僅數(shù)字，僅英文字符要求，檢查字符分隔符是否符合要求，寫入內存分析報告中。(2)行級分析。對整行拆分后字段查找關鍵域（報文類型域、交易類型碼域、商戶類型域、服務點條件碼域、交易渠道域），并根據(jù)上述域在參數(shù)中匹配交易名稱（未匹配上記為未匹配），寫入內存分析報告中。(3)文件級分析。所有行分析結束后，按照每筆交易本金及其借貸關系方向、手續(xù)費及其借貸關系方向，分別進行軋差分析，按照交易名稱一致性進行統(tǒng)計分析，寫入內存分析報告中。3)結算類文件分析方法。獲取首位三個字符的交易類型碼，從該文件

8、類型參數(shù)中查找該交易碼，查找到則將該交易類型碼寫入內存分析報告中，并繼續(xù)從文件中獲取四個字符的16位位圖，并進行二進制轉換。對二進制中為1的段位，從參數(shù)中獲取對應字段參數(shù)格式信息進行從文件中拆分。拆分完，重復上述步驟。(1)字段級分析。按照段位圖對應的字段格式參數(shù)信息（包括字段中文名稱，字段長度及字符屬性要求，報文域號），對字段進行先切割拆分，后分析匹配。從內存參數(shù)中匹配中文字段名稱、字段長度值、域號，數(shù)據(jù)庫表字段，檢查字段中字符是否符合僅數(shù)字，僅英文字符要求，檢查字符分隔符是否符合要求，寫入內存分析報告中。(2)文件級分析。按照寫入內存中的每筆交易本金及其借貸關系方向、手續(xù)費及其借貸關系方向，分別進行軋差分析，按照交易類型名稱一致性進行統(tǒng)計分析，寫入內存分析報告中。通過上述對流水文件的識別、分析，引入技術規(guī)范定義等匹配拆允實現(xiàn)對流水文件中的交易翻譯，并完成各項交易費用的對應軋差。3總結本文所提出的銀行卡流水文件分析系統(tǒng)，經(jīng)過對眾多技術人員和業(yè)務人員使用情況的跟蹤，系統(tǒng)運行穩(wěn)定，性能良好，各項指標均達到原來的設計目標。系統(tǒng)對本地文件的處理速度大約10萬筆，秒，對遠程文件的處理速度大約3.8萬筆，秒，符合正常條件下對銀行卡交易流水的使用及分析用途。已申請一種文件類型識別分析方法及系統(tǒng)一種可配置并按文件類型自動識別查詢條件與顯示字段，及生成可二次處理文件的工