闡述Fetch.ai的能源市場優化
2019年11月4日
在本文中，我們將要總結的論文是，電力市場戰略招標中的深度強化學習。
該論文中，包括Fetch.ai機器學習科學家Yujian Ye在內的研究人員提出了一種新的方法來解決放松管制的電力市場中的戰略投標問題。爲了更好地理解這一點，我們需要知道什麼是“放松管制”和“受管制”的能源市場。
什麼是受管制的電力市場？
一個“受管制的”電力市場包括擁有和經營所有電力的公用事業公司。從發電到計量，本公司擁有完全的控制權。公用事業公司擁有基礎設施和輸電線路，然後直接賣給客戶。在受管制的州，公用事業公司必須遵守州公共事業委員會制定的電價。這種類型的市場通常被認爲是一種壟斷，因爲它限制了消費者的選擇。然而，它的好處包括穩定的價格和長期的確定性。
什麼是放松管制的電力市場？
一個“放松管制”的電力市場允許市場參與者投資發電廠和輸電線路，從而允許競爭對手進入電力市場進行買賣。發電業主然後把這些電力批發賣給零售供應商。零售電力供應商爲消費者設定價格，通常被稱爲電費的“供應”部分。它通常通過允許消費者比較不同的第三方供應公司的價格和服務，並提供不同的合同結構(如固定的、指數化的、混合的)，從而使消費者受益。
該論文概述瞭如何有效地使用現代機器學習技術，即強化學習，以幫助發電公司在解除管制的電力市場的戰略投標。
什麼是強化學習？
要理解本文的重點，首先需要理解強化學習的基礎知識。
簡而言之，強化學習是機器學習的一個領域。它是關於在特定的情況下采取適當的行動來最大化回報。它被各種軟件和機器用來尋找在特定情況下它應該採取的最佳行爲或路徑。強化學習不同於監督學習。在監督學習中，訓練數據有答案鍵，因此模型用正確答案本身進行訓練。
相反，在強化學習中，沒有答案，但是強化主體決定做什麼來完成給定的任務。在缺乏訓練數據集的情況下，它必須從經驗中學習。
爲什麼我們需要算法來優化投標策略?
爲了給電力行業“去監管化”，許多以利潤爲導向的參與者，尤其是發電和供應行業的參與者，已經進入了這個市場。因此，傳統的模型不再能夠提供準確的洞見，因爲利潤驅動的市場參與者的行爲與對社會最有利的行爲不一致。這就是爲什麼我們需要能夠更好、更有效地評估和解釋情況的替代算法。
目前用於戰略投標的模型有什麼問題？
大多數的算法或優化思想源於將雙層優化問題轉化爲帶有平衡約束的單層數學程序。然而，這些模型框架存在一個根本問題，即它們忽視了市場參與者的非凸操作特性。
Yujian還在另一篇論文中考慮了可變成本、最大產量限制和發電機組的爬坡率等因素，而忽略了諸如空載、啓動和關閉成本、最小穩定發電限制和最小起停時間限制等非凸成本因素。然而，這些複雜的經營特徵會影響市場清算結果，從而影響市場參與者的盈利能力。這意味着這些雙層優化市場模型的使用可能導致戰略參與者的次優投標決策。
除了這一基本限制外，該建模框架假設市場參與者瞭解市場清算過程的計算算法及其競爭對手的操作參數。這通常構成一個限制性假設。
Fetch.ai的能源市場優化如何解決這個問題？
人工智能和強化學習技術的迅速發展引起了能源系統界的極大興趣。他們特別關注於開發在電力市場建模中使用的具有平衡約束的數學規劃方法的替代方案。
在這個特定的模型中，我們看到雙層優化問題並沒有轉化爲單層優化問題。相反，它是用遞歸方式解決的。作爲強化學習算法主體的市場參與者，通過與市場清算過程環境的反覆交互所積累的經驗，逐步學習如何通過決策來改進自己的策略。通過這樣做，它們合併了非凸操作特性。此外，市場參與者(代理)不再依賴於傳統的市場清算過程計算算法和競爭對手的操作參數。相反，他們依賴自己的操作參數和觀察到的市場清算結果。
Fetch.ai的技術有潛力徹底改變能源行業，我們將繼續開發解決方案，以優化目前複雜而低效的全球工業。如果你還沒有這樣做，我們鼓勵你閱讀我們的另一篇關於我們的能源用例的文章。