2024元強(qiáng)化學(xué)習(xí)驅(qū)動的高比例分布式光伏智能配電網(wǎng)自適應(yīng)調(diào)壓技術(shù)報告-天津大學(xué)（葛磊蛟）

1.元強(qiáng)化學(xué)習(xí)學(xué)習(xí)多個任務(wù)的經(jīng)驗(yàn)，提高在新任務(wù)上的學(xué)習(xí)效率。元學(xué)習(xí)的核心思想是RL)的一種新興方法。它旨在通過學(xué)習(xí)如何學(xué)習(xí)，提高智能體在新任務(wù)?stepstep4:聚合階段一、元強(qiáng)化學(xué)習(xí)二、傳統(tǒng)智能配電網(wǎng)調(diào)壓技術(shù)三、基于強(qiáng)化學(xué)習(xí)的自適應(yīng)電壓控制風(fēng)/光/氫等多類型風(fēng)/光/氫等多類型2.傳統(tǒng)智能配電網(wǎng)調(diào)壓技術(shù)2.傳統(tǒng)智能配電網(wǎng)調(diào)壓技術(shù)2233較大等2.傳統(tǒng)智能配電網(wǎng)調(diào)壓技術(shù)2.傳統(tǒng)智能配電網(wǎng)調(diào)壓技術(shù)根據(jù)電網(wǎng)狀態(tài)對分布式光伏并網(wǎng)功率進(jìn)行控制是調(diào)節(jié)配網(wǎng)電壓的重要手段，結(jié)合不同的通信控制方式，電壓控制策略可以分為以下三種分布式控制分布式控制2.傳統(tǒng)智能配電網(wǎng)調(diào)壓技術(shù)時間/s配電系統(tǒng)資源群1資源利用效率低資源利用效率低效率二、傳統(tǒng)智能配電網(wǎng)調(diào)壓技術(shù)三、基于強(qiáng)化學(xué)習(xí)的自適應(yīng)電壓控制天津大學(xué)3.天津大學(xué)3.1現(xiàn)有電壓控制方法的不足可再生能源和負(fù)荷羈個立簡化羈個立交互配電網(wǎng)模型交互配電網(wǎng)模型控制動作輸出輸出誤差大分布式柴油機(jī)3.基于強(qiáng)化學(xué)習(xí)的電壓自適應(yīng)控制天津大學(xué)3.23.2強(qiáng)化學(xué)習(xí)的優(yōu)勢無模型的實(shí)時在線控制：強(qiáng)化學(xué)習(xí)具有遞歸神經(jīng)網(wǎng)絡(luò)等其他神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)具有記憶性和非線性擬合擬合能力。在控制階段不需要考慮配電網(wǎng)模型就環(huán)境智能體Wa?-環(huán)境a?-環(huán)境獎勵獎勵控制動作a。變成智能體的輸入；智能體接下來輸轉(zhuǎn)移到s?。這個過程中智能體會得到經(jīng)驗(yàn)儲存起來。然后智能體根據(jù)這些經(jīng)驗(yàn)更新神經(jīng)網(wǎng)絡(luò)參數(shù)得到控制經(jīng)驗(yàn)天津大學(xué)3.33.3基于強(qiáng)化學(xué)習(xí)的電壓自適應(yīng)控制數(shù)據(jù)控制數(shù)據(jù)控制P,=P?S+P"+P?-pod嘴=+(%27+2)里化學(xué)習(xí)數(shù)據(jù)輸入交互√使用電壓值建立獎勵函數(shù)求獎勵值3.4基于強(qiáng)化學(xué)習(xí)的電壓自適應(yīng)控制案例分析n時間連續(xù)動作空間天津大學(xué)NetworkMLPNewok13.基于強(qiáng)化學(xué)習(xí)的電壓自適應(yīng)控制強(qiáng)化學(xué)習(xí)訓(xùn)練過程的收斂曲線獎勵值收斂曲線獎勵值收斂曲線所提算法有最優(yōu)收斂效果!—PA-DDPG3.基于強(qiáng)化學(xué)習(xí)的電壓自適應(yīng)控制化學(xué)習(xí)輸入Vi∈N,Vt∈T輸出控制數(shù)據(jù)輸入輸出控制數(shù)據(jù)輸入控制策略數(shù)據(jù)輸入一、元強(qiáng)化學(xué)習(xí)二、傳統(tǒng)智能配電網(wǎng)調(diào)壓技術(shù)天津大學(xué)天津大學(xué)4.1深度強(qiáng)化學(xué)習(xí)存在的問題ChainofTransition圖1環(huán)境狀態(tài)轉(zhuǎn)移示意圖√非穩(wěn)態(tài)性源于打破了制約大多數(shù)單代理強(qiáng)化學(xué)習(xí)算法的一圖2多智能體強(qiáng)化學(xué)習(xí)√學(xué)習(xí)程度不均勻源于為合作關(guān)系的各個智天津大學(xué)天津大學(xué)4.2提升方案——元強(qiáng)化學(xué)習(xí)反映其自身的行為貢獻(xiàn)，而不是簡單地使用聯(lián)合獎勵。評論家網(wǎng)絡(luò)中應(yīng)用Withprobablityp天津大學(xué)圖133總線網(wǎng)絡(luò)圖4.3元強(qiáng)化學(xué)習(xí)驅(qū)動的自適應(yīng)電壓控制-案例分析圖133總線網(wǎng)絡(luò)圖4.3元強(qiáng)化學(xué)習(xí)驅(qū)動的自適應(yīng)電壓控制-案例分析天津大學(xué)天津大學(xué)4.3元強(qiáng)化學(xué)習(xí)驅(qū)動的自適應(yīng)電壓控制-案例分析圖1141總線網(wǎng)絡(luò)圖圖1141總線網(wǎng)絡(luò)圖電壓失控比電壓失控比可u00天津大學(xué)天津大學(xué)4.34.3元強(qiáng)化學(xué)習(xí)驅(qū)動的自適應(yīng)電壓控制-案例分析aθ,o,r電壓平均值電壓平均值a