2025電網(wǎng)調(diào)控大數(shù)據(jù)平臺體系架構(gòu)及關(guān)鍵技術(shù)

ABSTRACT:Recently,DigitalNewInfrastructure,whichisdrivenbydigitaltechnologyandenergyinternetconcept,hasbeenincreasinglymentionedandstudied,andhasbroughtnewchallengestothedigitaltransformationoftheexistingdispatchautomationsystem.Consideringtheneedsofthescaleofdatastorage,thecomplexityofdataprocessingandthediversificationofdataservices,thispaperputsforwardthesystemarchitectureofpowergridregulationbigdataplatform.Andonthisbasis,thekeytechnologies,suchasmulti-sourceregulatorydataintegrationandfusion,hierarchicalunifiedstorageofheterogeneousdatabases,datawarehousedesignfordataobjects,assetmanagementofregulationdata,andBigdataalgorithmengine,etc.arestudiedtoachievefull-serviceandfull-scenegridregulationdatacollection,processingandassetmanagement.Theproposedtechnicalschemeprovidesstorageresources,dataservicesandalgorithmsupportfortheapplicationanalysisofdispatchingcloud.KEYWORDS:bigdataplatformofdispatchingandcontrol;storage;dataassetmanagement;bigdataalgorithmengine

電網(wǎng)調(diào)度自動化系統(tǒng)作為電網(wǎng)運(yùn)行的重要技術(shù)支撐，伴隨著三代電網(wǎng)的發(fā)展而不斷完善[1]，系型多樣、統(tǒng)一決策困難等問題[2]，當(dāng)前依托于確定將難于應(yīng)對特高壓交直流混聯(lián)大電網(wǎng)運(yùn)行風(fēng)險不近年來，隨著計算能力提升、數(shù)據(jù)爆發(fā)增長、界的廣泛關(guān)注[3]。大數(shù)據(jù)技術(shù)與物聯(lián)網(wǎng)、云計算技術(shù)共同為電網(wǎng)調(diào)控領(lǐng)域的再次創(chuàng)新提供了推動力。大數(shù)據(jù)思維將各種數(shù)據(jù)資源從簡單的處理對象轉(zhuǎn)變?yōu)樯a(chǎn)的基礎(chǔ)要素，與大能源思維融合為大能源系統(tǒng)廣泛互聯(lián)、開放互動及高度智能提供有力支[45電力大數(shù)據(jù)既是“+電力”的重要基礎(chǔ)[69，統(tǒng)擁有來自能量管理系統(tǒng)(enegyanageentssteEMS)(opertionanageentsstemOMS)(productinanageentsstePMS)(idearaeasureentsstemAMS)、配電管理系統(tǒng)(distrbuionanageentyte，DMS、電能量計量系統(tǒng)(teleeterreadingssteTMRnforationsste，GIS)等多個業(yè)中包括針對電網(wǎng)調(diào)控領(lǐng)域特定場景的大數(shù)據(jù)平臺及應(yīng)用研究[0-4共享和調(diào)控業(yè)務(wù)分析的角度考慮大數(shù)據(jù)平臺的體系架構(gòu)與支撐能力建設(shè)[5-67

PaaS層數(shù)據(jù)平臺細(xì)分為模型數(shù)據(jù) 1Fig.1Logicstructureofthebigdataplatformindispatchingandcontrolcloud智能電網(wǎng)大數(shù)據(jù)按數(shù)據(jù)來源分為電網(wǎng)內(nèi)部數(shù)調(diào)控大數(shù)據(jù)平臺管理的數(shù)據(jù)種類覆蓋傳感測自動化運(yùn)行數(shù)據(jù)主要包括廠站電氣量、設(shè)備開關(guān)擴(kuò)展到溫度、風(fēng)力、降雨(雪)、臺風(fēng)、地震；一次

據(jù)平臺)部署省調(diào)管轄范圍內(nèi)全網(wǎng)模型并實(shí)現(xiàn)對應(yīng)網(wǎng)部署統(tǒng)一的運(yùn)行數(shù)據(jù)服務(wù)以實(shí)現(xiàn)不同電壓等級均能獲取到全網(wǎng)全電壓等級運(yùn)行數(shù)據(jù)。......2Fig.2Deploymentofregulatebigdata電網(wǎng)調(diào)控大數(shù)據(jù)平臺軟件功能上的基礎(chǔ)組件3所示，按照“存、通、用”的 聚類關(guān)聯(lián)分析 聚合因子分析 Fig.3Technologyarchitectureoftheregulatebigdata數(shù)據(jù)加工將匯集存儲的原生數(shù)據(jù)通過算法加據(jù)服務(wù)接口將大數(shù)據(jù)平臺存儲管理的各類數(shù)據(jù)提供給上層應(yīng)用，以自助式數(shù)據(jù)分析建立數(shù)據(jù)價值應(yīng)智能開放的能源互聯(lián)網(wǎng)調(diào)度管理提供技術(shù)支撐。調(diào)控大數(shù)據(jù)平臺的關(guān)鍵技術(shù)包括多源調(diào)控數(shù)據(jù)集成與融合技術(shù)、異構(gòu)數(shù)據(jù)庫分層統(tǒng)一存儲技業(yè)務(wù)分析的數(shù)理方法引擎等。調(diào)度通用數(shù)據(jù)對象結(jié)構(gòu)化設(shè)計機(jī)制[0D通用數(shù)據(jù)對象結(jié)構(gòu)化設(shè)計方法，設(shè)計調(diào)控數(shù)據(jù)編

網(wǎng)模型數(shù)據(jù)，也包括電網(wǎng)運(yùn)行數(shù)據(jù)、文資數(shù)據(jù)和20215月，國分大數(shù)據(jù)平臺管理的數(shù)據(jù)量已達(dá)到1.462000600D編碼的基礎(chǔ)之上設(shè)計了一種調(diào)控數(shù)據(jù)組合據(jù)編碼表示為四元組<對象類編碼，對象編碼，數(shù)據(jù)管理機(jī)構(gòu)代碼，數(shù)據(jù)編碼>，其中對象類編碼對D4位“大類碼”、象結(jié)構(gòu)化設(shè)計的數(shù)據(jù)管理機(jī)構(gòu)代碼，數(shù)據(jù)編碼是8位全局唯一類型編碼。1Table1Exampleoftypicalgridregulationdata 編 機(jī)構(gòu)代 編 說 0021990900 0021990900 0021990900 0021130000 1301130113000000000001002113000000002202 12011201130000000000020021130000SCAOMTMR等等多類源端調(diào)控系統(tǒng)以數(shù)據(jù)主要采用基于消息的多源數(shù)據(jù)分布式匯集方法，定義電力、電量、計劃、預(yù)測、氣象、告警、D映射表，映射到源端調(diào)控系統(tǒng)D映射表讀取源端調(diào)控系統(tǒng)對象數(shù)據(jù)并按照映射D2021年5月，調(diào)控大數(shù)據(jù)平臺已經(jīng)部署的運(yùn)行數(shù)據(jù)源端已0300AFLINK等流計算次設(shè)備的電力電量數(shù)據(jù)等由國網(wǎng)省多個源端系統(tǒng)采集及存儲。能否實(shí)現(xiàn)數(shù)據(jù)到信息的挖掘，與數(shù)據(jù)質(zhì)量密切相關(guān)。MIT等機(jī)構(gòu)對數(shù)據(jù)質(zhì)量管理開展了多項研究[24-26]，國內(nèi)也有學(xué)者開展了電力數(shù)據(jù)質(zhì)量表[2-0礎(chǔ)之上針對電網(wǎng)調(diào)控數(shù)據(jù)特點(diǎn)對數(shù)據(jù)檢測與清洗

全網(wǎng)多源數(shù)據(jù)處理策略是根據(jù)運(yùn)行數(shù)據(jù)關(guān)聯(lián)的電力調(diào)度數(shù)據(jù)對象所屬調(diào)度管轄權(quán)默認(rèn)選取，并在默認(rèn)數(shù)據(jù)源數(shù)據(jù)質(zhì)量異常時，自動選擇其他正常當(dāng)省級數(shù)據(jù)管理機(jī)構(gòu)數(shù)據(jù)異常時選擇國調(diào)或網(wǎng)調(diào)數(shù)據(jù)源。缺失值處理采用均值或中位數(shù)等統(tǒng)計特征量調(diào)控對象或者同一調(diào)控對象的多個屬性進(jìn)行綜合分析識別數(shù)據(jù)質(zhì)量異常，主要方法包括平衡分析、數(shù)據(jù)融合主要采用多視角數(shù)據(jù)融合和基于相似性的數(shù)據(jù)融合方法。多視角數(shù)據(jù)融合方法將與某一電網(wǎng)調(diào)度數(shù)據(jù)3631根據(jù)對象特性和業(yè)務(wù)需求，按時間、空間、目標(biāo)、業(yè)務(wù)等不同維度，給出指標(biāo)計算和特征值統(tǒng)計方2的數(shù)據(jù)用于對另一個類似調(diào)控數(shù)據(jù)對象的數(shù)據(jù)分的數(shù)據(jù)進(jìn)行分析加權(quán)，得出支持度較高的分析結(jié) GDBRDBMPP...數(shù)理方法引擎數(shù)據(jù)服務(wù)4Fig.4Unifiedstorageandaccessofheterogeneous

據(jù)庫(hadoopdatabase，HBASE)中，承擔(dān)時序數(shù)據(jù)于大規(guī)模并行數(shù)據(jù)庫(massivelyparallelprocessing5所示。 變 交 電 流 5Fig.5Anexampleofamulti-dimensionalstoragemodelforregulatingbigdata大數(shù)據(jù)平臺中管理的調(diào)控數(shù)據(jù)資產(chǎn)包括電網(wǎng)具有調(diào)控業(yè)務(wù)分析挖掘價值的數(shù)據(jù)資源，具有準(zhǔn)[7類維度包括業(yè)務(wù)屬性、數(shù)據(jù)屬性、時間屬性。大數(shù)據(jù)平臺的數(shù)據(jù)資產(chǎn)管理位于分析應(yīng)用層數(shù)據(jù)資產(chǎn)規(guī)劃對各類對象的數(shù)據(jù)資產(chǎn)進(jìn)行規(guī)據(jù)的業(yè)務(wù)含義和物理含義，明確數(shù)據(jù)匯集來源范數(shù)據(jù)資產(chǎn)目錄對各類調(diào)控對象的數(shù)據(jù)資產(chǎn)可視化特征提取是最大程度地刪除特征數(shù)據(jù)中各種提取算法常被用于電網(wǎng)穩(wěn)定性評估、電力現(xiàn)貨市關(guān)聯(lián)分析算法能夠發(fā)現(xiàn)用傳統(tǒng)的方法無法發(fā)

掘。目前關(guān)聯(lián)分析常用的算法有Apriori算法和FP-Growth算法。法可以被用于用電行為特性分析、新能源發(fā)電預(yù)考慮電網(wǎng)一體化及各類業(yè)務(wù)數(shù)據(jù)分散分布的特點(diǎn)，針對多源異構(gòu)數(shù)據(jù)在時間維度、空間維度、應(yīng)用維度等的關(guān)聯(lián)性，構(gòu)建適用于電網(wǎng)調(diào)控運(yùn)行的數(shù)理分析算法引擎，通過可視化、流程化的算法組件模式，實(shí)現(xiàn)更友好更便捷更高效地數(shù)據(jù)分析交互任務(wù)。數(shù)理分析算法引擎融合多類算法框架與編程35kV以上電網(wǎng)運(yùn)行數(shù)據(jù)截止到2021年56001.46億條，數(shù)據(jù)歷史可追溯至2010年。已經(jīng)匯集的運(yùn)28類校驗規(guī)則，并依據(jù)數(shù)據(jù)的的關(guān)聯(lián)互校核和長時間尺度海量遙測數(shù)據(jù)的綜合評估方法提升了數(shù)據(jù)問題檢出能力。國分大數(shù)據(jù)平18億條，通