安科瑞電子商務(wù)（上海）有限公司
免費(fèi)會(huì)員
張繼冬
安科瑞電氣股份有限公司 上海嘉定 201801
摘要： 隨著電動(dòng)汽車的快速普及，大規(guī)模充電場(chǎng)站的有序充電管理成為亟待解決的重要問(wèn)題。本文深入探討了適用于大規(guī)模充電場(chǎng)站的深度強(qiáng)化學(xué)習(xí)有序充電策略。首先介紹了大規(guī)模充電場(chǎng)站有序充電的研究背景和意義，分析了當(dāng)前面臨的挑戰(zhàn)。接著闡述了深度強(qiáng)化學(xué)習(xí)的基本原理及其在有序充電策略制定中的優(yōu)勢(shì)。隨后詳細(xì)描述了基于深度強(qiáng)化學(xué)習(xí)的有序充電策略的具體設(shè)計(jì)與實(shí)現(xiàn)過(guò)程，包括狀態(tài)表示、動(dòng)作選擇、獎(jiǎng)勵(lì)函數(shù)設(shè)定等方面。最后通過(guò)模擬實(shí)驗(yàn)或?qū)嶋H案例分析了該策略的應(yīng)用效果，展示了其在提高充電效率、降低電網(wǎng)負(fù)荷沖擊、優(yōu)化能源利用等方面的顯著成效，為大規(guī)模充電場(chǎng)站的高效運(yùn)營(yíng)提供了有力的理論支持和實(shí)踐指導(dǎo)。
電動(dòng)汽車用戶的充電時(shí)間、充電電量需求等具有很大的隨機(jī)性，不同用戶的出行習(xí)慣、行程安排各不相同，這使得準(zhǔn)確預(yù)測(cè)充電需求變得十分困難，給有序充電策略的制定帶來(lái)了很大的挑戰(zhàn)。
2.2電網(wǎng)負(fù)荷平衡的要求
一方面要提高充電場(chǎng)站的整體充電效率，縮短電動(dòng)汽車的充電時(shí)間；另一方面要考慮用戶的使用便利性和滿意度，例如不能過(guò)度限制用戶的充電時(shí)間和順序，這需要在兩者之間找到一個(gè)合理的平衡點(diǎn)。
深度強(qiáng)化學(xué)習(xí)是將深度學(xué)習(xí)與強(qiáng)化學(xué)習(xí)相結(jié)合的一種人工智能技術(shù)。強(qiáng)化學(xué)習(xí)通過(guò)智能體（agent）在環(huán)境（environment）中不斷地采取行動(dòng)（action），并根據(jù)環(huán)境反饋的獎(jiǎng)勵(lì)（reward）來(lái)學(xué)習(xí)的策略（policy）。深度學(xué)習(xí)則用于對(duì)環(huán)境狀態(tài)和行動(dòng)進(jìn)行有效的表征和學(xué)習(xí)，通過(guò)構(gòu)建深度神經(jīng)網(wǎng)絡(luò)來(lái)處理復(fù)雜的輸入輸出關(guān)系。
3.2.1能夠處理復(fù)雜的非線性關(guān)系
面對(duì)電動(dòng)汽車充電需求的不確定性和電網(wǎng)負(fù)荷的動(dòng)態(tài)變化，深度強(qiáng)化學(xué)習(xí)的智能體可以不斷根據(jù)環(huán)境反饋進(jìn)行自我調(diào)整，適應(yīng)新的情況，持續(xù)優(yōu)化充電策略，無(wú)需人工頻繁干預(yù)。3.2.3可實(shí)現(xiàn)全局優(yōu)化
狀態(tài)表示是深度強(qiáng)化學(xué)習(xí)的基礎(chǔ)。對(duì)于大規(guī)模充電場(chǎng)站，狀態(tài)可以包括當(dāng)前時(shí)刻充電場(chǎng)站中電動(dòng)汽車的數(shù)量、每輛電動(dòng)汽車的剩余電量、充電狀態(tài)（如正在充電、等待充電等）、電網(wǎng)的當(dāng)前負(fù)荷、電價(jià)信息等。通過(guò)對(duì)這些信息進(jìn)行合理的編碼和表示，可以為深度強(qiáng)化學(xué)習(xí)的智能體提供準(zhǔn)確的環(huán)境狀態(tài)描述。
動(dòng)作選擇是指智能體根據(jù)當(dāng)前狀態(tài)決定采取何種行動(dòng)。在充電場(chǎng)站的情境下，動(dòng)作可以是允許某輛電動(dòng)汽車開(kāi)始充電、調(diào)整某輛電動(dòng)汽車的充電功率、推遲某輛電動(dòng)汽車的充電時(shí)間等。智能體通過(guò)深度神經(jīng)網(wǎng)絡(luò)對(duì)當(dāng)前狀態(tài)進(jìn)行分析，預(yù)測(cè)不同動(dòng)作可能帶來(lái)的后果，然后選擇能夠帶來(lái)最大預(yù)期收益（即獲得更多獎(jiǎng)勵(lì)）的動(dòng)作。
獎(jiǎng)勵(lì)函數(shù)是引導(dǎo)智能體學(xué)習(xí)策略的關(guān)鍵。在有序充電策略中，可以設(shè)置多個(gè)方面的獎(jiǎng)勵(lì)。例如，當(dāng)充電場(chǎng)站的整體充電效率提高時(shí)，給予智能體一定的獎(jiǎng)勵(lì)；當(dāng)電網(wǎng)負(fù)荷保持在穩(wěn)定范圍內(nèi)時(shí)，也給予相應(yīng)的獎(jiǎng)勵(lì)；當(dāng)滿足用戶的充電需求且用戶滿意度較高時(shí)，同樣給予獎(jiǎng)勵(lì)。通過(guò)合理設(shè)置獎(jiǎng)勵(lì)函數(shù)，可以使智能體的目標(biāo)與充電場(chǎng)站的運(yùn)營(yíng)目標(biāo)、電網(wǎng)的穩(wěn)定運(yùn)行目標(biāo)以及用戶的需求目標(biāo)相契合。
通過(guò)不斷地讓智能體在模擬的充電場(chǎng)站環(huán)境中采取行動(dòng)，并根據(jù)設(shè)定的獎(jiǎng)勵(lì)函數(shù)獲得獎(jiǎng)勵(lì)或懲罰，智能體利用深度學(xué)習(xí)的反向傳播算法不斷調(diào)整其內(nèi)部的神經(jīng)網(wǎng)絡(luò)參數(shù)，以提高其預(yù)測(cè)能力和策略選擇能力。經(jīng)過(guò)大量的訓(xùn)練迭代，智能體逐漸學(xué)習(xí)到的有序充電策略。
5安科瑞充電樁收費(fèi)運(yùn)營(yíng)云平臺(tái)助力有序充電開(kāi)展
5.1概述
AcrelCloud-9000安科瑞充電柱收費(fèi)運(yùn)營(yíng)云平臺(tái)系統(tǒng)通過(guò)物聯(lián)網(wǎng)技術(shù)對(duì)接入系統(tǒng)的電動(dòng)電動(dòng)自行車充電站以及各個(gè)充電整法行不間斷地?cái)?shù)據(jù)采集和監(jiān)控，實(shí)時(shí)監(jiān)控充電樁運(yùn)行狀態(tài)，進(jìn)行充電服務(wù)、支付管理，交易結(jié)算，資要管理、電能管理，明細(xì)查詢等。同時(shí)對(duì)充電機(jī)過(guò)溫保護(hù)、漏電、充電機(jī)輸入/輸出過(guò)壓，欠壓，絕緣低各類故障進(jìn)行預(yù)警；充電樁支持以太網(wǎng)、4G或WIFI等方式接入互聯(lián)網(wǎng)，用戶通過(guò)微信、支付寶，云閃付掃碼充電。
5.2應(yīng)用場(chǎng)所
適用于民用建筑、一般工業(yè)建筑、居住小區(qū)、實(shí)業(yè)單位、商業(yè)綜合體、學(xué)校、園區(qū)等充電樁模式的充電基礎(chǔ)設(shè)施設(shè)計(jì)。
5.3系統(tǒng)結(jié)構(gòu)
系統(tǒng)分為四層：
（1）即數(shù)據(jù)采集層、網(wǎng)絡(luò)傳輸層、數(shù)據(jù)層和客戶端層。
（2）數(shù)據(jù)采集層：包括電瓶車智能充電樁通訊協(xié)議為標(biāo)準(zhǔn)modbus-rtu。電瓶車智能充電樁用于采集充電回路的電力參數(shù)，并進(jìn)行電能計(jì)量和保護(hù)。
（3）網(wǎng)絡(luò)傳輸層：通過(guò)4G網(wǎng)絡(luò)將數(shù)據(jù)上傳至搭建好的數(shù)據(jù)庫(kù)服務(wù)器。
（4）數(shù)據(jù)層：包含應(yīng)用服務(wù)器和數(shù)據(jù)服務(wù)器，應(yīng)用服務(wù)器部署數(shù)據(jù)采集服務(wù)、WEB網(wǎng)站，數(shù)據(jù)服務(wù)器部署實(shí)時(shí)數(shù)據(jù)庫(kù)、歷史數(shù)據(jù)庫(kù)、基礎(chǔ)數(shù)據(jù)庫(kù)。
（5）應(yīng)客戶端層：系統(tǒng)管理員可在瀏覽器中訪問(wèn)電瓶車充電樁收費(fèi)平臺(tái)。終端充電用戶通過(guò)刷卡掃碼的方式啟動(dòng)充電。
小區(qū)充電平臺(tái)功能主要涵蓋充電設(shè)施智能化大屏、實(shí)時(shí)監(jiān)控、交易管理、故障管理、統(tǒng)計(jì)分析、基礎(chǔ)數(shù)據(jù)管理等功能，同時(shí)為運(yùn)維人員提供運(yùn)維APP，充電用戶提供充電小程序。
5.4安科瑞充電樁云平臺(tái)系統(tǒng)功能
5.4.1智能化大屏
智能化大屏展示站點(diǎn)分布情況，對(duì)設(shè)備狀態(tài)、設(shè)備使用率、充電次數(shù)、充電時(shí)長(zhǎng)、充電金額、充電度數(shù)、充電樁故障等進(jìn)行統(tǒng)計(jì)顯示，同時(shí)可查看每個(gè)站點(diǎn)的站點(diǎn)信息、充電樁列表、充電記錄、收益、能耗、故障記錄等。統(tǒng)一管理小區(qū)充電樁，查看設(shè)備使用率，合理分配資源。
5.4.2實(shí)時(shí)監(jiān)控
實(shí)時(shí)監(jiān)視充電設(shè)施運(yùn)行狀況，主要包括充電樁運(yùn)行狀態(tài)、回路狀態(tài)、充電過(guò)程中的充電電量、充電電壓電流，充電樁告警信息等。
5.4.3交易管理
平臺(tái)管理人員可管理充電用戶賬戶，對(duì)其進(jìn)行賬戶進(jìn)行充值、退款、凍結(jié)、注銷等操作，可查看小區(qū)用戶每日的充電交易詳細(xì)信息。
5.4.4故障管理
設(shè)備自動(dòng)上報(bào)故障信息，平臺(tái)管理人員可通過(guò)平臺(tái)查看故障信息并進(jìn)行派發(fā)處理，同時(shí)運(yùn)維人員可通過(guò)運(yùn)維APP收取故障推送，運(yùn)維人員在運(yùn)維工作完成后將結(jié)果上報(bào)。充電用戶也可通過(guò)充電小程序反饋現(xiàn)場(chǎng)問(wèn)題。
5.4.5統(tǒng)計(jì)分析
通過(guò)系統(tǒng)平臺(tái)，從充電站點(diǎn)、充電設(shè)施、、充電時(shí)間、充電方式等不同角度，查詢充電交易統(tǒng)計(jì)信息、能耗統(tǒng)計(jì)信息等。
5.4.6基礎(chǔ)數(shù)據(jù)管理
在系統(tǒng)平臺(tái)建立運(yùn)營(yíng)商戶，運(yùn)營(yíng)商可建立和管理其運(yùn)營(yíng)所需站點(diǎn)和充電設(shè)施，維護(hù)充電設(shè)施信息、價(jià)格策略、折扣、優(yōu)惠活動(dòng)，同時(shí)可管理在線卡用戶充值、凍結(jié)和解綁。
5.4.7運(yùn)維APP
面向運(yùn)維人員使用，可以對(duì)站點(diǎn)和充電樁進(jìn)行管理、能夠進(jìn)行故障閉環(huán)處理、查詢流量卡使用情況、查詢充電\充值情況，進(jìn)行遠(yuǎn)程參數(shù)設(shè)置，同時(shí)可接收故障推送
5.4.8充電小程序
面向充電用戶使用，可查看附近空閑設(shè)備，主要包含掃碼充電、賬戶充值，充電卡綁定、交易查詢、故障申訴等功能。
5.5系統(tǒng)硬件配置
6，總結(jié)
適用于大規(guī)模充電場(chǎng)站的深度強(qiáng)化學(xué)習(xí)有序充電策略為解決大規(guī)模充電場(chǎng)站面臨的有序充電、電網(wǎng)負(fù)荷平衡和用戶體驗(yàn)等諸多問(wèn)題提供了一種有效的解決方案。通過(guò)合理的狀態(tài)表示、動(dòng)作選擇和獎(jiǎng)勵(lì)函數(shù)設(shè)定，并經(jīng)過(guò)充分的訓(xùn)練，該策略能夠自適應(yīng)地根據(jù)充電場(chǎng)站的實(shí)際情況和電網(wǎng)負(fù)荷動(dòng)態(tài)變化制定出的充電策略。模擬實(shí)驗(yàn)和實(shí)際案例分析均表明，該策略在提高充電效率、降低電網(wǎng)負(fù)荷沖擊、優(yōu)化能源利用等方面具有顯著成效。未來(lái)，隨著電動(dòng)汽車行業(yè)的進(jìn)一步發(fā)展和深度強(qiáng)化學(xué)習(xí)技術(shù)的不斷完善，該策略有望在更多的大規(guī)模充電場(chǎng)站中得到廣泛應(yīng)用，為推動(dòng)電動(dòng)汽車充電基礎(chǔ)設(shè)施的高效運(yùn)營(yíng)和可持續(xù)發(fā)展做出更大貢獻(xiàn)。
參考文獻(xiàn)：
[1]陳果.適用于大規(guī)模充電場(chǎng)站的深度強(qiáng)化學(xué)習(xí)有序充電策略
[2]陳呂鵬，潘振寧，余濤，等.基于動(dòng)態(tài)非合作博奔的大規(guī)模電動(dòng)汽車實(shí)時(shí)優(yōu)化調(diào)度
[3]安科瑞企業(yè)微電網(wǎng)設(shè)計(jì)與應(yīng)用手冊(cè).2022.05版
作者介紹：
張繼冬，男，現(xiàn)任職于安科瑞電氣股份有限公司。
