校園數(shù)據(jù)分析系統(tǒng)拓展需求

校園數(shù)據(jù)分析系統(tǒng)拓展需求一、項目概況本項目是在學校原數(shù)據(jù)分析系統(tǒng)基礎上進行拓展性開發(fā)，滿足更多的分析場景和需求，主要完成基礎主題分析拓展、基礎主題分析優(yōu)化、交叉主題分析拓展、數(shù)據(jù)獲取、數(shù)據(jù)預處理、數(shù)據(jù)體系集成等內容，其目標與數(shù)據(jù)分析系統(tǒng)的整體目標一致統(tǒng)一，為決策者、業(yè)務管理部門以及師生提供一些有益的建議，切實提高數(shù)據(jù)支撐教學、管理決策的能力，進一步提升數(shù)字校園的數(shù)據(jù)服務能力，充分發(fā)揮學校的數(shù)據(jù)內在價值。 二、技術需求2.1設計原則項目根據(jù)國家有關高校信息化建設的指導思想、目標和任務，圍繞學校數(shù)據(jù)服務與決策分析能力提升的需求，以全校整體的數(shù)據(jù)管理規(guī)劃方案為指引，遵循基礎設施為支撐、標準為開端、治理閉環(huán)為監(jiān)督手段、數(shù)據(jù)內容為核心、應用為目的、安全和運維為保障的路線。在已構建的數(shù)據(jù)分析系統(tǒng)上進行拓展開發(fā)，為確保系統(tǒng)的建設成功與可持續(xù)拓展，在系統(tǒng)的建設與技術方案設計時應遵循以下幾點原則：（1）統(tǒng)一設計原則統(tǒng)籌規(guī)劃和統(tǒng)一設計系統(tǒng)結構，尤其是系統(tǒng)的架構、數(shù)據(jù)模型結構、數(shù)據(jù)存儲結構以及系統(tǒng)擴展規(guī)劃等內容，均需從全局出發(fā)，從長遠的角度考慮。前期已完成了數(shù)據(jù)分析系統(tǒng)的初步構建，應結合數(shù)據(jù)分析系統(tǒng)的長遠規(guī)劃，通過統(tǒng)一的架構，統(tǒng)一的平臺，綜合各類業(yè)務，整體規(guī)劃，逐步實施，實現(xiàn)一體化學校數(shù)據(jù)分析應用。（2）先進性原則遵循先進性的原則。在滿足實用性的前提下，保證其具有一定的先進性，整個技術路線、體系結構、采用的設計技術和實現(xiàn)技術等必須采用成熟、具有國內先進水平，并符合國際信息技術發(fā)展的方向，在設計過程中充分依照國際上的規(guī)范、標準，借鑒國內外目前成熟的主流網(wǎng)絡和綜合信息系統(tǒng)的體系結構，以保證系統(tǒng)具有較長的生命力和擴展能力。不僅能夠滿足當前應用需求，而且能夠滿足以后的發(fā)展要求。（3）適用性原則系統(tǒng)的建設還必須充分考慮學校信息化現(xiàn)狀，保證系統(tǒng)既符合學校信息化目前的情況，又能滿足將來發(fā)展的需求，使系統(tǒng)具有良好的可實施性和易維護性，建設工作切合學校的具體情況，制定完善的實施計劃，保障系統(tǒng)能夠順利實施使用。其次，項目的建設必須以滿足業(yè)務需求為首要目標，避免盲目追求最新技術和不切實際的“花架子”，系統(tǒng)設計過程中，應堅持采用有效實用的指導方針，以用戶需要為導向，高度重視用戶體驗。最后，系統(tǒng)設計應充分考慮學校數(shù)據(jù)特性和技術支撐隊伍，了解今后用戶、技術工作人員等相關的操作人員計算機水平能力和特點，為相關業(yè)務部門、單位提供便于安裝、部署、實用、操作簡單方便、易學易用的系統(tǒng)。（4）擴展性原則在建設過程中采用的技術首先應滿足其為成熟可靠的技術，確保系統(tǒng)部署實施之后，要能夠穩(wěn)定、高效的運作。同時，應充分考慮未來發(fā)展，信息化建設是一個循序漸進、不斷擴充的過程，系統(tǒng)的總體設計應該采用層次化、組件化設計，整體架構考慮與現(xiàn)有系統(tǒng)的銜接，并為未來系統(tǒng)擴展留有余地。平臺建設應充分考慮數(shù)據(jù)規(guī)模和結構的發(fā)展變化，所使用的構架和應用開發(fā)均具備可擴展性，能夠隨著應用的逐步完善和信息量的逐漸增加不斷地進行擴展。同時，在具體功能的開發(fā)中，考慮各個功能模塊可重復利用，降低平臺擴展的復雜性。（5）安全性原則建立合理完善的安全保障體系，安全體系設計要正確處理需求、風險與代價的關系，做到安全性與可用性相容，做到組織上可執(zhí)行。安全體系既能防止外部的非法破壞，也能組織來自內部的蓄意攻擊。（6）部署靈活性原則遵循應用部署的靈活性原則。系統(tǒng)應能在學?，F(xiàn)提供的基礎軟硬件支撐環(huán)境中實現(xiàn)完整部署，同時具備根據(jù)實際需要，完整遷移到其他環(huán)境中的能力，部署模式應吸收借鑒成功實踐經驗，使系統(tǒng)便于維護和管理，并結合學校特點，為學校提供定制化服務。（7）標準化原則遵循標準化和規(guī)范化原則。系統(tǒng)各項技術遵循國際標準、國家標準、行業(yè)和相關規(guī)范，系統(tǒng)的各階段建設必須堅持標準化和規(guī)范化的建設原則，在系統(tǒng)的需求分析、設計、開發(fā)、實施各個建設階段都要做好標準化和規(guī)范化工作，建立統(tǒng)一的標準規(guī)范體系，做好學校數(shù)據(jù)分析系統(tǒng)的業(yè)務規(guī)范和數(shù)據(jù)標準，并貫徹落實。數(shù)據(jù)分析系統(tǒng)整體規(guī)劃的分析對象涵蓋了財務、人事、教務、學工等多個業(yè)務領域，因此和這些業(yè)務系統(tǒng)之間必然存在大量的數(shù)據(jù)交換和數(shù)據(jù)共享，這就要求建設實施過程必須遵循學校已有的大數(shù)據(jù)架構體系和數(shù)據(jù)交換和數(shù)據(jù)共享規(guī)范。2.2系統(tǒng)整體架構本項目作為系統(tǒng)拓展性項目，其架構遵循原有的系統(tǒng)架構體系，在前期的混合式大數(shù)據(jù)智能指揮平臺項目中，已完成了數(shù)據(jù)分析系統(tǒng)的架構設計，主要由4個層次構成，數(shù)據(jù)層包括關系型數(shù)據(jù)庫（Oracle、Mysql、SqlServer等）、文本數(shù)據(jù)源（Excel、Csv等）、基于Hadoop的大數(shù)據(jù)平臺（Hive、Hbase、Impala）以及其他多種數(shù)據(jù)源，數(shù)據(jù)預處理層包括了數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)規(guī)約、數(shù)據(jù)變換等內容，第三層包括了可視化平臺和算法分析平臺，處理好的數(shù)據(jù)可以使用這兩個工具進行自助數(shù)據(jù)建模、可視化編排、多維數(shù)據(jù)分析。最終在最上層的應用主題中展現(xiàn)各類分析結果。系統(tǒng)采用了OLAP聯(lián)機分析處理、圖形化建模、自助設計、網(wǎng)絡（圖）可視化、時空數(shù)據(jù)可視化、3D可視化在內的多種技術，將業(yè)務體系內部各類多源、異構、海量的數(shù)據(jù)以圖形的方式呈現(xiàn)出來，讓抽象的數(shù)據(jù)變得具象、直觀，幫助用戶更快地理解數(shù)據(jù)，更加專注于業(yè)務分析，使決策更具時效性和高回報性。2.3基礎主題分析拓展“混合式大數(shù)據(jù)智能指揮平臺”前期已完成了教師基礎發(fā)展檔案、學生基礎分析、教學診斷基礎分析等3個基礎主題的構建，根據(jù)學校數(shù)據(jù)分析整體推進計劃，結合現(xiàn)有業(yè)務系統(tǒng)數(shù)據(jù)錄入情況，本期項目擬增加3個基礎主題的分析，分別是學?？蒲兄黝}、圖書主題、一卡通主題。（1）科研主題實現(xiàn)學校科研情況的整體性分析，主要包括科研項目以及論文、專利、著作等各類科研成果?？蒲许椖康姆治鼍S度可從年份、院系部門、項目類型、項目狀態(tài)、項目金額、項目等級、項目來源、項目成果數(shù)量等角度切入?？蒲谐晒姆治鼍S度可從年份、成果等級、成果類型等方面切入，在理清數(shù)量的同時要突出重要成果?？蒲兄黝}從宏觀角度分析學校科研發(fā)展情況，提供給科研處及學校領導決策。（2）圖書主題實現(xiàn)學校圖書館藏情況、借閱情況的整體性分析。館藏情況的分析維度可從購入時間、中圖分類、館藏數(shù)、類型、館藏位置、金額等角度切入，實現(xiàn)學校館藏投入統(tǒng)計分析。借閱情況是實現(xiàn)各類書籍的受歡迎程度分析，主要針對借閱時間、借閱次數(shù)等數(shù)據(jù)進行匯總分析，圖書主題從宏觀角度分析學校藏書及借閱情況，結果可以提供給圖書館及相關領導決策，同時也可為用戶提供熱門書推薦。（3）一卡通主題實現(xiàn)學校一卡通消費、充值、補助發(fā)放等情況分析。消費情況的分析可從消費地點、商戶、消費時間、消費金額、消費主體等維度切入，實現(xiàn)受歡迎商戶、高消費群體、低消費群體等內容的呈現(xiàn)。充值情況分析可以分析充值行為的慣性，以此為依據(jù)提供服務。補助發(fā)放情況中可以對學生的部分校內補助進行分析統(tǒng)計。2.4基礎主題分析優(yōu)化根據(jù)各個業(yè)務系統(tǒng)數(shù)據(jù)錄入進展情況，對前期已完成的基礎主題分析如教職工、學生進行查漏補缺，完善因前期數(shù)據(jù)缺失而暫停的分析視角，主要包括以下2個方面：（1）教職工動態(tài)分析結合一站式數(shù)據(jù)融入錄入系統(tǒng)產生的伴隨式數(shù)據(jù)，進行各類教職工動態(tài)分析，例如今日請假人數(shù)等內容。（2）學生動態(tài)分析結合一站式數(shù)據(jù)融入錄入系統(tǒng)產生的伴隨式數(shù)據(jù)，進行學生的各類動態(tài)變化統(tǒng)計分析，例如學籍異動、管理異動等內容。以上分析內容，根據(jù)學校的工作重點安排可能有部分調整，實施時以學校實際需求為準。2.5交叉主題分析拓展本項目需利用平臺的多維分析能力，調查了解學校各方對數(shù)據(jù)分析服務的需求，圍繞學校特點，創(chuàng)新構建場景式的復合交叉主題分析。主要完成以下2個交叉主題分析。（1）一卡通與學生交叉分析抽取一卡通、學生的縱向基礎數(shù)據(jù)，進行橫向關聯(lián)，重點對學生的生活消費情況、家庭狀態(tài)、學習狀況進行混合分析，發(fā)現(xiàn)其中隱藏的信息，相關結果可以給學工管理部門作為施策的依據(jù)之一（2）科研與教職工交叉分析抽取科研、教職工的數(shù)據(jù)，進行橫向關聯(lián)，重點研究項目申報與教職工的年齡、教師類型、專業(yè)技術職務、性別等方面的聯(lián)系。通過數(shù)據(jù)碰撞，發(fā)現(xiàn)不易發(fā)現(xiàn)的管理盲點和改進點，促進學校科研進一步發(fā)展。交叉場景能夠拓寬分析服務對象的視角，為決策提供有價值、更新穎的信息，在實施過程中，可能會更加深層地對數(shù)據(jù)進行挖掘，或者拓寬更多的涉及數(shù)據(jù)面，具體以學校實際需求為準，供應商需配合完成。2.6數(shù)據(jù)獲取針對本項目中的各類數(shù)據(jù)，需明確其數(shù)據(jù)源，并完成從數(shù)據(jù)源到分析系統(tǒng)的數(shù)據(jù)獲取過程化配置，與學校數(shù)據(jù)公共數(shù)據(jù)架構體系實現(xiàn)無縫集成，業(yè)務系統(tǒng)的數(shù)據(jù)交換和數(shù)據(jù)共享須遵循學校已有的大數(shù)據(jù)架構體系和數(shù)據(jù)交換和數(shù)據(jù)共享規(guī)范。2.7數(shù)據(jù)預處理獲取的源數(shù)據(jù)應按現(xiàn)有的數(shù)據(jù)分析系統(tǒng)底層DW（數(shù)據(jù)倉庫）的體系完成逐層的數(shù)據(jù)預處理，供分析頁面使用。源數(shù)據(jù)可能存在不完整、不一致、有異常的數(shù)據(jù)，影響到數(shù)據(jù)挖掘建模的執(zhí)行效率，甚至可能導致挖掘結果的偏差，因此要數(shù)據(jù)清洗。數(shù)據(jù)清洗完成后接著進行或者同時進行數(shù)據(jù)集成、轉換、規(guī)約等一系列的處理，刪除原始數(shù)據(jù)集中的無關數(shù)據(jù)、重復數(shù)據(jù)，平滑噪聲數(shù)據(jù)，篩選掉與挖掘主題無關的數(shù)據(jù)，處理缺失值、異常值。2.8系統(tǒng)集成與接口要求2.8.1系統(tǒng)集成系統(tǒng)需與“混合式大數(shù)據(jù)智能指揮平臺”的數(shù)據(jù)分析系統(tǒng)無縫集成，權限體系統(tǒng)一，并在統(tǒng)一的界面中實現(xiàn)系統(tǒng)的整體管理。2.8.2接口要求平臺須以學校認可的方式進行服務和接口封裝，并提供穩(wěn)定成熟的接口開放給第三方系統(tǒng)進行集成接入。2.9性能要求要求無用戶數(shù)限制，支持10000以上用戶數(shù)同時在線；頁面響應時間：3秒內符合要求，1秒為最佳。報表生成時間：5秒內符合要求，超大數(shù)據(jù)集45秒內處理完成。要求平臺在處于其性能峰值(最大用戶數(shù)據(jù)/最大應用服務事務數(shù))時的穩(wěn)定工作時間≥6h，支持7*24的運作要求。要求應能夠連續(xù)不斷穩(wěn)定可靠的工作。軟件版本升級或改進應在不影響業(yè)務的情況下進行，平臺在當其外部條件(環(huán)境因素,與其它平臺的接口等等)發(fā)生故障時，應可以保持自身的穩(wěn)定運行。2.10安全體系安全體系主要包含主機安全、平臺安全、用戶安全、數(shù)據(jù)安全等內容。2.10.1主機安全主機(服務器)采用的具體安全防護策略如下：（1）使用正版的操作系統(tǒng)，并保證操作系統(tǒng)的安全，操作系統(tǒng)由招標方提供。（2）使用正版的數(shù)據(jù)庫平臺，并保證數(shù)據(jù)庫平臺的安全，數(shù)據(jù)庫平臺由招標方提供。（3）啟用主機防火墻，通過網(wǎng)絡地址段與應用端口共同實現(xiàn)對應用端口的訪問控制。（4）關閉所有不需要的服務端口、關閉已知存在風險的端口。（5）利用操作系統(tǒng)的訪問控制設置，將操作系統(tǒng)可控制資源的訪問權限合理地授予用戶、程序、進程和其他平臺。（6）基于用戶對象、應用程序對象、信息或資源等建立訪問控制列表。（7）合理地設置操作平臺的平臺管理員賬戶，并且平臺管理員按照業(yè)務需要分配權限。（8）嚴格控制允許激活和禁止操作平臺某些安全特性的訪問控制權限。（9）刪除或關閉操作平臺所有不需要的賬戶。（10）操作平臺應該對其用戶分配標識號，設置口令，并基于標識號和口令對用戶的身份進行認證。（11）部署服務器時應設置足夠強度的用戶口令密碼，并定期更換。（12）如果操作平臺有數(shù)據(jù)讀寫完整性檢查機制，確保啟動了完整性檢查機制。（13）各類平臺的重要服務器進行全平臺備份，確保平臺配置參數(shù)和其他數(shù)據(jù)、程序和硬件的可恢復性和抗故障能力。（14）服務器應該開啟操作系統(tǒng)的審計機制記錄下重要操作的過程。（15）審計至少應該記錄用戶的登錄、對重要配置文件的修改等操作信息。（16）主機/服務器除滿足上述要求外，還應滿足《IT主流設備安全基線技術規(guī)范》的要求。2.10.2平臺安全平臺的安全措施如下：（1）平臺通過防火墻進行安全防護。（2）對業(yè)務管理系統(tǒng)操作記錄進行統(tǒng)一審計。（3）對平臺的配置數(shù)據(jù)及時備份，并保證配置數(shù)據(jù)的安全。（4）根據(jù)甲方漏洞掃描及滲透測試結果，服務單位按規(guī)定時間內完成整改。2.10.3數(shù)據(jù)安全提供系統(tǒng)登錄、數(shù)據(jù)級次、主題集及主題表、分析表創(chuàng)建及查看編輯等多個角度、多個層面的數(shù)據(jù)權限管理，保證數(shù)據(jù)的安全性。2.10.4安全運維要求根據(jù)操作系統(tǒng)、數(shù)據(jù)庫和軟件官方信息發(fā)布、第三方安全檢測機構發(fā)布以及漏洞掃描及滲透測試結果所提出的安全漏洞和隱患，在規(guī)定時間內，對操作系統(tǒng)、軟件、數(shù)據(jù)庫進行整改和安全加固。根據(jù)省安全等級保護測評反饋，在規(guī)定時間內，對操作系統(tǒng)、軟件、數(shù)據(jù)庫進行整改和安全加固。2.11其他要求2.11.1文檔要求服務單位需提供平臺使用說明文檔，包括普通用戶、技術人員、管理員等角色使用的不同版本，按學校要求錄制各種操作幫助的視頻。服務單位也需提供平臺的安裝運維說明文檔（含定制的關鍵代碼、相關的表結構），管理員能夠在培訓后，查看安裝運維說明文檔，能夠獨立地完成操作系統(tǒng)安裝、軟件安裝、軟件配置、運維操作等工作。服務單位應按照學校檔案管理辦法對文檔進行管理，項目所涉及的需求分析、設計開發(fā)、聯(lián)調測試、培訓、推廣等各階段工作文檔按質量、數(shù)量、提供方式、提供時間等要求進行整理，提交學校歸檔。項目驗收前，服務單位必須完成文檔工作，提供1套裝訂稿和對應電子稿。2.11.2人員要求（1）項目管理人員服務單位需指定一個負責人承擔項目的整體管理工作，對項目全過程進行把控，完成工作計劃安排和人員協(xié)調，記錄項目進度并定時向校方匯報。為確保項目的穩(wěn)定