校園數(shù)據(jù)分析系統(tǒng)拓展需求

校園數(shù)據(jù)分析系統(tǒng)拓展需求一、項目概況本項目是在學(xué)校原數(shù)據(jù)分析系統(tǒng)基礎(chǔ)上進(jìn)行拓展性開發(fā)，滿足更多的分析場景和需求，主要完成基礎(chǔ)主題分析拓展、基礎(chǔ)主題分析優(yōu)化、交叉主題分析拓展、數(shù)據(jù)獲取、數(shù)據(jù)預(yù)處理、數(shù)據(jù)體系集成等內(nèi)容，其目標(biāo)與數(shù)據(jù)分析系統(tǒng)的整體目標(biāo)一致統(tǒng)一，為決策者、業(yè)務(wù)管理部門以及師生提供一些有益的建議，切實提高數(shù)據(jù)支撐教學(xué)、管理決策的能力，進(jìn)一步提升數(shù)字校園的數(shù)據(jù)服務(wù)能力，充分發(fā)揮學(xué)校的數(shù)據(jù)內(nèi)在價值。 二、技術(shù)需求2.1設(shè)計原則項目根據(jù)國家有關(guān)高校信息化建設(shè)的指導(dǎo)思想、目標(biāo)和任務(wù)，圍繞學(xué)校數(shù)據(jù)服務(wù)與決策分析能力提升的需求，以全校整體的數(shù)據(jù)管理規(guī)劃方案為指引，遵循基礎(chǔ)設(shè)施為支撐、標(biāo)準(zhǔn)為開端、治理閉環(huán)為監(jiān)督手段、數(shù)據(jù)內(nèi)容為核心、應(yīng)用為目的、安全和運維為保障的路線。在已構(gòu)建的數(shù)據(jù)分析系統(tǒng)上進(jìn)行拓展開發(fā)，為確保系統(tǒng)的建設(shè)成功與可持續(xù)拓展，在系統(tǒng)的建設(shè)與技術(shù)方案設(shè)計時應(yīng)遵循以下幾點原則：（1）統(tǒng)一設(shè)計原則統(tǒng)籌規(guī)劃和統(tǒng)一設(shè)計系統(tǒng)結(jié)構(gòu)，尤其是系統(tǒng)的架構(gòu)、數(shù)據(jù)模型結(jié)構(gòu)、數(shù)據(jù)存儲結(jié)構(gòu)以及系統(tǒng)擴展規(guī)劃等內(nèi)容，均需從全局出發(fā)，從長遠(yuǎn)的角度考慮。前期已完成了數(shù)據(jù)分析系統(tǒng)的初步構(gòu)建，應(yīng)結(jié)合數(shù)據(jù)分析系統(tǒng)的長遠(yuǎn)規(guī)劃，通過統(tǒng)一的架構(gòu)，統(tǒng)一的平臺，綜合各類業(yè)務(wù)，整體規(guī)劃，逐步實施，實現(xiàn)一體化學(xué)校數(shù)據(jù)分析應(yīng)用。（2）先進(jìn)性原則遵循先進(jìn)性的原則。在滿足實用性的前提下，保證其具有一定的先進(jìn)性，整個技術(shù)路線、體系結(jié)構(gòu)、采用的設(shè)計技術(shù)和實現(xiàn)技術(shù)等必須采用成熟、具有國內(nèi)先進(jìn)水平，并符合國際信息技術(shù)發(fā)展的方向，在設(shè)計過程中充分依照國際上的規(guī)范、標(biāo)準(zhǔn)，借鑒國內(nèi)外目前成熟的主流網(wǎng)絡(luò)和綜合信息系統(tǒng)的體系結(jié)構(gòu)，以保證系統(tǒng)具有較長的生命力和擴展能力。不僅能夠滿足當(dāng)前應(yīng)用需求，而且能夠滿足以后的發(fā)展要求。（3）適用性原則系統(tǒng)的建設(shè)還必須充分考慮學(xué)校信息化現(xiàn)狀，保證系統(tǒng)既符合學(xué)校信息化目前的情況，又能滿足將來發(fā)展的需求，使系統(tǒng)具有良好的可實施性和易維護性，建設(shè)工作切合學(xué)校的具體情況，制定完善的實施計劃，保障系統(tǒng)能夠順利實施使用。其次，項目的建設(shè)必須以滿足業(yè)務(wù)需求為首要目標(biāo)，避免盲目追求最新技術(shù)和不切實際的“花架子”，系統(tǒng)設(shè)計過程中，應(yīng)堅持采用有效實用的指導(dǎo)方針，以用戶需要為導(dǎo)向，高度重視用戶體驗。最后，系統(tǒng)設(shè)計應(yīng)充分考慮學(xué)校數(shù)據(jù)特性和技術(shù)支撐隊伍，了解今后用戶、技術(shù)工作人員等相關(guān)的操作人員計算機水平能力和特點，為相關(guān)業(yè)務(wù)部門、單位提供便于安裝、部署、實用、操作簡單方便、易學(xué)易用的系統(tǒng)。（4）擴展性原則在建設(shè)過程中采用的技術(shù)首先應(yīng)滿足其為成熟可靠的技術(shù)，確保系統(tǒng)部署實施之后，要能夠穩(wěn)定、高效的運作。同時，應(yīng)充分考慮未來發(fā)展，信息化建設(shè)是一個循序漸進(jìn)、不斷擴充的過程，系統(tǒng)的總體設(shè)計應(yīng)該采用層次化、組件化設(shè)計，整體架構(gòu)考慮與現(xiàn)有系統(tǒng)的銜接，并為未來系統(tǒng)擴展留有余地。平臺建設(shè)應(yīng)充分考慮數(shù)據(jù)規(guī)模和結(jié)構(gòu)的發(fā)展變化，所使用的構(gòu)架和應(yīng)用開發(fā)均具備可擴展性，能夠隨著應(yīng)用的逐步完善和信息量的逐漸增加不斷地進(jìn)行擴展。同時，在具體功能的開發(fā)中，考慮各個功能模塊可重復(fù)利用，降低平臺擴展的復(fù)雜性。（5）安全性原則建立合理完善的安全保障體系，安全體系設(shè)計要正確處理需求、風(fēng)險與代價的關(guān)系，做到安全性與可用性相容，做到組織上可執(zhí)行。安全體系既能防止外部的非法破壞，也能組織來自內(nèi)部的蓄意攻擊。（6）部署靈活性原則遵循應(yīng)用部署的靈活性原則。系統(tǒng)應(yīng)能在學(xué)?，F(xiàn)提供的基礎(chǔ)軟硬件支撐環(huán)境中實現(xiàn)完整部署，同時具備根據(jù)實際需要，完整遷移到其他環(huán)境中的能力，部署模式應(yīng)吸收借鑒成功實踐經(jīng)驗，使系統(tǒng)便于維護和管理，并結(jié)合學(xué)校特點，為學(xué)校提供定制化服務(wù)。（7）標(biāo)準(zhǔn)化原則遵循標(biāo)準(zhǔn)化和規(guī)范化原則。系統(tǒng)各項技術(shù)遵循國際標(biāo)準(zhǔn)、國家標(biāo)準(zhǔn)、行業(yè)和相關(guān)規(guī)范，系統(tǒng)的各階段建設(shè)必須堅持標(biāo)準(zhǔn)化和規(guī)范化的建設(shè)原則，在系統(tǒng)的需求分析、設(shè)計、開發(fā)、實施各個建設(shè)階段都要做好標(biāo)準(zhǔn)化和規(guī)范化工作，建立統(tǒng)一的標(biāo)準(zhǔn)規(guī)范體系，做好學(xué)校數(shù)據(jù)分析系統(tǒng)的業(yè)務(wù)規(guī)范和數(shù)據(jù)標(biāo)準(zhǔn)，并貫徹落實。數(shù)據(jù)分析系統(tǒng)整體規(guī)劃的分析對象涵蓋了財務(wù)、人事、教務(wù)、學(xué)工等多個業(yè)務(wù)領(lǐng)域，因此和這些業(yè)務(wù)系統(tǒng)之間必然存在大量的數(shù)據(jù)交換和數(shù)據(jù)共享，這就要求建設(shè)實施過程必須遵循學(xué)校已有的大數(shù)據(jù)架構(gòu)體系和數(shù)據(jù)交換和數(shù)據(jù)共享規(guī)范。2.2系統(tǒng)整體架構(gòu)本項目作為系統(tǒng)拓展性項目，其架構(gòu)遵循原有的系統(tǒng)架構(gòu)體系，在前期的混合式大數(shù)據(jù)智能指揮平臺項目中，已完成了數(shù)據(jù)分析系統(tǒng)的架構(gòu)設(shè)計，主要由4個層次構(gòu)成，數(shù)據(jù)層包括關(guān)系型數(shù)據(jù)庫（Oracle、Mysql、SqlServer等）、文本數(shù)據(jù)源（Excel、Csv等）、基于Hadoop的大數(shù)據(jù)平臺（Hive、Hbase、Impala）以及其他多種數(shù)據(jù)源，數(shù)據(jù)預(yù)處理層包括了數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)規(guī)約、數(shù)據(jù)變換等內(nèi)容，第三層包括了可視化平臺和算法分析平臺，處理好的數(shù)據(jù)可以使用這兩個工具進(jìn)行自助數(shù)據(jù)建模、可視化編排、多維數(shù)據(jù)分析。最終在最上層的應(yīng)用主題中展現(xiàn)各類分析結(jié)果。系統(tǒng)采用了OLAP聯(lián)機分析處理、圖形化建模、自助設(shè)計、網(wǎng)絡(luò)（圖）可視化、時空數(shù)據(jù)可視化、3D可視化在內(nèi)的多種技術(shù)，將業(yè)務(wù)體系內(nèi)部各類多源、異構(gòu)、海量的數(shù)據(jù)以圖形的方式呈現(xiàn)出來，讓抽象的數(shù)據(jù)變得具象、直觀，幫助用戶更快地理解數(shù)據(jù)，更加專注于業(yè)務(wù)分析，使決策更具時效性和高回報性。2.3基礎(chǔ)主題分析拓展“混合式大數(shù)據(jù)智能指揮平臺”前期已完成了教師基礎(chǔ)發(fā)展檔案、學(xué)生基礎(chǔ)分析、教學(xué)診斷基礎(chǔ)分析等3個基礎(chǔ)主題的構(gòu)建，根據(jù)學(xué)校數(shù)據(jù)分析整體推進(jìn)計劃，結(jié)合現(xiàn)有業(yè)務(wù)系統(tǒng)數(shù)據(jù)錄入情況，本期項目擬增加3個基礎(chǔ)主題的分析，分別是學(xué)?？蒲兄黝}、圖書主題、一卡通主題。（1）科研主題實現(xiàn)學(xué)?？蒲星闆r的整體性分析，主要包括科研項目以及論文、專利、著作等各類科研成果。科研項目的分析維度可從年份、院系部門、項目類型、項目狀態(tài)、項目金額、項目等級、項目來源、項目成果數(shù)量等角度切入。科研成果的分析維度可從年份、成果等級、成果類型等方面切入，在理清數(shù)量的同時要突出重要成果?？蒲兄黝}從宏觀角度分析學(xué)?？蒲邪l(fā)展情況，提供給科研處及學(xué)校領(lǐng)導(dǎo)決策。（2）圖書主題實現(xiàn)學(xué)校圖書館藏情況、借閱情況的整體性分析。館藏情況的分析維度可從購入時間、中圖分類、館藏數(shù)、類型、館藏位置、金額等角度切入，實現(xiàn)學(xué)校館藏投入統(tǒng)計分析。借閱情況是實現(xiàn)各類書籍的受歡迎程度分析，主要針對借閱時間、借閱次數(shù)等數(shù)據(jù)進(jìn)行匯總分析，圖書主題從宏觀角度分析學(xué)校藏書及借閱情況，結(jié)果可以提供給圖書館及相關(guān)領(lǐng)導(dǎo)決策，同時也可為用戶提供熱門書推薦。（3）一卡通主題實現(xiàn)學(xué)校一卡通消費、充值、補助發(fā)放等情況分析。消費情況的分析可從消費地點、商戶、消費時間、消費金額、消費主體等維度切入，實現(xiàn)受歡迎商戶、高消費群體、低消費群體等內(nèi)容的呈現(xiàn)。充值情況分析可以分析充值行為的慣性，以此為依據(jù)提供服務(wù)。補助發(fā)放情況中可以對學(xué)生的部分校內(nèi)補助進(jìn)行分析統(tǒng)計。2.4基礎(chǔ)主題分析優(yōu)化根據(jù)各個業(yè)務(wù)系統(tǒng)數(shù)據(jù)錄入進(jìn)展情況，對前期已完成的基礎(chǔ)主題分析如教職工、學(xué)生進(jìn)行查漏補缺，完善因前期數(shù)據(jù)缺失而暫停的分析視角，主要包括以下2個方面：（1）教職工動態(tài)分析結(jié)合一站式數(shù)據(jù)融入錄入系統(tǒng)產(chǎn)生的伴隨式數(shù)據(jù)，進(jìn)行各類教職工動態(tài)分析，例如今日請假人數(shù)等內(nèi)容。（2）學(xué)生動態(tài)分析結(jié)合一站式數(shù)據(jù)融入錄入系統(tǒng)產(chǎn)生的伴隨式數(shù)據(jù)，進(jìn)行學(xué)生的各類動態(tài)變化統(tǒng)計分析，例如學(xué)籍異動、管理異動等內(nèi)容。以上分析內(nèi)容，根據(jù)學(xué)校的工作重點安排可能有部分調(diào)整，實施時以學(xué)校實際需求為準(zhǔn)。2.5交叉主題分析拓展本項目需利用平臺的多維分析能力，調(diào)查了解學(xué)校各方對數(shù)據(jù)分析服務(wù)的需求，圍繞學(xué)校特點，創(chuàng)新構(gòu)建場景式的復(fù)合交叉主題分析。主要完成以下2個交叉主題分析。（1）一卡通與學(xué)生交叉分析抽取一卡通、學(xué)生的縱向基礎(chǔ)數(shù)據(jù)，進(jìn)行橫向關(guān)聯(lián)，重點對學(xué)生的生活消費情況、家庭狀態(tài)、學(xué)習(xí)狀況進(jìn)行混合分析，發(fā)現(xiàn)其中隱藏的信息，相關(guān)結(jié)果可以給學(xué)工管理部門作為施策的依據(jù)之一（2）科研與教職工交叉分析抽取科研、教職工的數(shù)據(jù)，進(jìn)行橫向關(guān)聯(lián)，重點研究項目申報與教職工的年齡、教師類型、專業(yè)技術(shù)職務(wù)、性別等方面的聯(lián)系。通過數(shù)據(jù)碰撞，發(fā)現(xiàn)不易發(fā)現(xiàn)的管理盲點和改進(jìn)點，促進(jìn)學(xué)?？蒲羞M(jìn)一步發(fā)展。交叉場景能夠拓寬分析服務(wù)對象的視角，為決策提供有價值、更新穎的信息，在實施過程中，可能會更加深層地對數(shù)據(jù)進(jìn)行挖掘，或者拓寬更多的涉及數(shù)據(jù)面，具體以學(xué)校實際需求為準(zhǔn)，供應(yīng)商需配合完成。2.6數(shù)據(jù)獲取針對本項目中的各類數(shù)據(jù)，需明確其數(shù)據(jù)源，并完成從數(shù)據(jù)源到分析系統(tǒng)的數(shù)據(jù)獲取過程化配置，與學(xué)校數(shù)據(jù)公共數(shù)據(jù)架構(gòu)體系實現(xiàn)無縫集成，業(yè)務(wù)系統(tǒng)的數(shù)據(jù)交換和數(shù)據(jù)共享須遵循學(xué)校已有的大數(shù)據(jù)架構(gòu)體系和數(shù)據(jù)交換和數(shù)據(jù)共享規(guī)范。2.7數(shù)據(jù)預(yù)處理獲取的源數(shù)據(jù)應(yīng)按現(xiàn)有的數(shù)據(jù)分析系統(tǒng)底層DW（數(shù)據(jù)倉庫）的體系完成逐層的數(shù)據(jù)預(yù)處理，供分析頁面使用。源數(shù)據(jù)可能存在不完整、不一致、有異常的數(shù)據(jù)，影響到數(shù)據(jù)挖掘建模的執(zhí)行效率，甚至可能導(dǎo)致挖掘結(jié)果的偏差，因此要數(shù)據(jù)清洗。數(shù)據(jù)清洗完成后接著進(jìn)行或者同時進(jìn)行數(shù)據(jù)集成、轉(zhuǎn)換、規(guī)約等一系列的處理，刪除原始數(shù)據(jù)集中的無關(guān)數(shù)據(jù)、重復(fù)數(shù)據(jù)，平滑噪聲數(shù)據(jù)，篩選掉與挖掘主題無關(guān)的數(shù)據(jù)，處理缺失值、異常值。2.8系統(tǒng)集成與接口要求2.8.1系統(tǒng)集成系統(tǒng)需與“混合式大數(shù)據(jù)智能指揮平臺”的數(shù)據(jù)分析系統(tǒng)無縫集成，權(quán)限體系統(tǒng)一，并在統(tǒng)一的界面中實現(xiàn)系統(tǒng)的整體管理。2.8.2接口要求平臺須以學(xué)校認(rèn)可的方式進(jìn)行服務(wù)和接口封裝，并提供穩(wěn)定成熟的接口開放給第三方系統(tǒng)進(jìn)行集成接入。2.9性能要求要求無用戶數(shù)限制，支持10000以上用戶數(shù)同時在線；頁面響應(yīng)時間：3秒內(nèi)符合要求，1秒為最佳。報表生成時間：5秒內(nèi)符合要求，超大數(shù)據(jù)集45秒內(nèi)處理完成。要求平臺在處于其性能峰值(最大用戶數(shù)據(jù)/最大應(yīng)用服務(wù)事務(wù)數(shù))時的穩(wěn)定工作時間≥6h，支持7*24的運作要求。要求應(yīng)能夠連續(xù)不斷穩(wěn)定可靠的工作。軟件版本升級或改進(jìn)應(yīng)在不影響業(yè)務(wù)的情況下進(jìn)行，平臺在當(dāng)其外部條件(環(huán)境因素,與其它平臺的接口等等)發(fā)生故障時，應(yīng)可以保持自身的穩(wěn)定運行。2.10安全體系安全體系主要包含主機安全、平臺安全、用戶安全、數(shù)據(jù)安全等內(nèi)容。2.10.1主機安全主機(服務(wù)器)采用的具體安全防護策略如下：（1）使用正版的操作系統(tǒng)，并保證操作系統(tǒng)的安全，操作系統(tǒng)由招標(biāo)方提供。（2）使用正版的數(shù)據(jù)庫平臺，并保證數(shù)據(jù)庫平臺的安全，數(shù)據(jù)庫平臺由招標(biāo)方提供。（3）啟用主機防火墻，通過網(wǎng)絡(luò)地址段與應(yīng)用端口共同實現(xiàn)對應(yīng)用端口的訪問控制。（4）關(guān)閉所有不需要的服務(wù)端口、關(guān)閉已知存在風(fēng)險的端口。（5）利用操作系統(tǒng)的訪問控制設(shè)置，將操作系統(tǒng)可控制資源的訪問權(quán)限合理地授予用戶、程序、進(jìn)程和其他平臺。（6）基于用戶對象、應(yīng)用程序?qū)ο?、信息或資源等建立訪問控制列表。（7）合理地設(shè)置操作平臺的平臺管理員賬戶，并且平臺管理員按照業(yè)務(wù)需要分配權(quán)限。（8）嚴(yán)格控制允許激活和禁止操作平臺某些安全特性的訪問控制權(quán)限。（9）刪除或關(guān)閉操作平臺所有不需要的賬戶。（10）操作平臺應(yīng)該對其用戶分配標(biāo)識號，設(shè)置口令，并基于標(biāo)識號和口令對用戶的身份進(jìn)行認(rèn)證。（11）部署服務(wù)器時應(yīng)設(shè)置足夠強度的用戶口令密碼，并定期更換。（12）如果操作平臺有數(shù)據(jù)讀寫完整性檢查機制，確保啟動了完整性檢查機制。（13）各類平臺的重要服務(wù)器進(jìn)行全平臺備份，確保平臺配置參數(shù)和其他數(shù)據(jù)、程序和硬件的可恢復(fù)性和抗故障能力。（14）服務(wù)器應(yīng)該開啟操作系統(tǒng)的審計機制記錄下重要操作的過程。（15）審計至少應(yīng)該記錄用戶的登錄、對重要配置文件的修改等操作信息。（16）主機/服務(wù)器除滿足上述要求外，還應(yīng)滿足《IT主流設(shè)備安全基線技術(shù)規(guī)范》的要求。2.10.2平臺安全平臺的安全措施如下：（1）平臺通過防火墻進(jìn)行安全防護。（2）對業(yè)務(wù)管理系統(tǒng)操作記錄進(jìn)行統(tǒng)一審計。（3）對平臺的配置數(shù)據(jù)及時備份，并保證配置數(shù)據(jù)的安全。（4）根據(jù)甲方漏洞掃描及滲透測試結(jié)果，服務(wù)單位按規(guī)定時間內(nèi)完成整改。2.10.3數(shù)據(jù)安全提供系統(tǒng)登錄、數(shù)據(jù)級次、主題集及主題表、分析表創(chuàng)建及查看編輯等多個角度、多個層面的數(shù)據(jù)權(quán)限管理，保證數(shù)據(jù)的安全性。2.10.4安全運維要求根據(jù)操作系統(tǒng)、數(shù)據(jù)庫和軟件官方信息發(fā)布、第三方安全檢測機構(gòu)發(fā)布以及漏洞掃描及滲透測試結(jié)果所提出的安全漏洞和隱患，在規(guī)定時間內(nèi)，對操作系統(tǒng)、軟件、數(shù)據(jù)庫進(jìn)行整改和安全加固。根據(jù)省安全等級保護測評反饋，在規(guī)定時間內(nèi)，對操作系統(tǒng)、軟件、數(shù)據(jù)庫進(jìn)行整改和安全加固。2.11其他要求2.11.1文檔要求服務(wù)單位需提供平臺使用說明文檔，包括普通用戶、技術(shù)人員、管理員等角色使用的不同版本，按學(xué)校要求錄制各種操作幫助的視頻。服務(wù)單位也需提供平臺的安裝運維說明文檔（含定制的關(guān)鍵代碼、相關(guān)的表結(jié)構(gòu)），管理員能夠在培訓(xùn)后，查看安裝運維說明文檔，能夠獨立地完成操作系統(tǒng)安裝、軟件安裝、軟件配置、運維操作等工作。服務(wù)單位應(yīng)按照學(xué)校檔案管理辦法對文檔進(jìn)行管理，項目所涉及的需求分析、設(shè)計開發(fā)、聯(lián)調(diào)測試、培訓(xùn)、推廣等各階段工作文檔按質(zhì)量、數(shù)量、提供方式、提供時間等要求進(jìn)行整理，提交學(xué)校歸檔。項目驗收前，服務(wù)單位必須完成文檔工作，提供1套裝訂稿和對應(yīng)電子稿。2.11.2人員要求（1）項目管理人員服務(wù)單位需指定一個負(fù)責(zé)人承擔(dān)項目的整體管理工作，對項目全過程進(jìn)行把控，完成工作計劃安排和人員協(xié)調(diào)，記錄項目進(jìn)度并定時向校方匯報。為確保項目的穩(wěn)定