論文研讀-多目標優化中的多源選擇遷移框架

論文研讀-多目標優化中的多源選擇遷移框架

Multisource Selective Transfer Framework in Multiobjective Optimization Problems

覺得有用的話,歡迎一起討論相互學習~

• 此篇文章爲 J. Zhang, W. Zhou, X. Chen, W. Yao and L. Cao, "Multisource Selective Transfer Framework in Multiobjective Optimization Problems," in IEEE Transactions on Evolutionary Computation, vol. 24, no. 3, pp. 424-438, June 2020, doi: 10.1109/TEVC.2019.2926107. 的論文學習筆記，只供學習使用，不作商業用途，侵權刪除。並且本人學術功底有限如果有思路不正確的地方歡迎批評指正！

Abstract

• 在實際複雜系統設計中，當啓動具有另一個參數配置的新優化實例時，總是從頭開始執行，浪費大量時間重複類似的搜索過程。受可以重用過去經驗來解決相關任務的遷移學習的啓發，許多研究人員更加註重探索如何從過去的優化實例中學習以加速目標實例。在實際應用中，數據庫中已經存儲了相似資源實例。 基本問題是如何評價遷移能力以避免負遷移 ， 爲了獲得源實例與目標實例之間的關聯性，我們開發了一種名爲質心分佈的優化實例表示方法，該方法藉助於精英候選解在進化過程中估計分佈算法（EDA）中學習的概率模型的幫助。Wasserstein距離用於評估不同優化實例的質心分佈之間的相似性，在此基礎上，我們提出了一種新穎的框架，稱爲多源選擇性轉移優化，其中包括三種合理選擇源的策略。爲了選擇合適的策略，根據源和目標質心分佈之間的相似性總結了四個選擇建議。該框架有利於選擇最合適的資源，從而可以提高解決多目標優化問題的效率。 爲了評價提出的框架和選擇方法的有效性，我們進行了兩個實驗：

1. 複雜多目標優化問題benchmark
2. 一個實際的衛星佈局優化設計問題
   實驗結果證明，提出的算法有更好的收斂速度和HV值

• 摘要：估計分佈算法(EDA),多目標優化，多源遷移，遷移優化， Wasserstein distance

Introduction

• 對於實際工程中的複雜系統設計問題，以衛星系統設計爲例，有很多過去的經驗，例如在啓動新設計之前，已將不同佈局的衛星佈局解決方案設計存儲在數據庫中。 利用以往的經驗不僅可以提高優化效果，而且可以提高收斂速度。 對於複雜的系統設計而言，這非常重要，因爲它通常涉及計算成本高昂的多學科分析[1]。但是，如何利用這些知識來加快新設計的速度，會使衛星設計者感到困惑。 轉移學習關注從一個域到另一個域的數據遷移。 各種研究已成功應用於經典機器學習任務，如分類任務[2]-[4]，如情緒分析[5]，數字識別[6]。近年來，進化算法界的研究人員試圖將遷移學習應用到優化任務[7]-[10]中。

• 三個需要關注的問題

• Q1 (可遷移性) :如何識別相似的問題的可遷移性以降低不合適的負遷移。

• Q2 (遷移組件) :解決方案，結構，參數等。

• Q3 (遷移算法) :最後步驟是如何重用從源問題中提取的信息。 大多數研究關注於一對一的域自適應算法，例如MNIST數據集[13]和WIFI數據集[14]等基準測試中的傳輸成分分析（TCA）[11]，TrAdaBoost [12]。 但是，很少有研究集中在多源遷移學習問題上。

• 在遷移學習研究領域，大部分工作集中在Q2和Q3，尤其是Q3。 但是，Q1也非常重要，因爲從不適當的來源遷移會導致負遷移。 在本文中，我們特別關注多源問題的可遷移性，並研究如何衡量不同優化問題的相似性

• [15]證明任務間的相關程度對於多任務學習的有效性十分重要,[16]發展了一個基於自編碼器的多任務優化算法，其任務選擇主要取決於 1)帕累託前沿解的交叉程度2)任務適應度景觀的相似性 ，這些因素保證了相關性。 但是，在實際場景中，我們一開始無法獲得目標問題的上述信息。

• 爲了評估不同優化問題的相關性，應首先確定不同優化實例的表示形式。Santana et al. [17] 通過一種估計分佈算法-估計貝葉斯網絡算法（EBNA）將優化問題視爲一個圖形。 在他的工作中，任務用圖形表示。 可以通過網絡分析方法獲得任務的相關性，但是表示方法在很大程度上取決於人爲的圖形特徵，可能會丟失任務的相關信息。Yu et al. [18] 發明了一種新的表示強化學習任務的表示方法，該學習方法具有通過均勻分佈採樣的不同參數。他使用原型策略通過幾次迭代獲得的獎勵向量（稱爲淺試驗）來表示任務，從而使過去的強化學習任務得以重用。 但是，演化過程中的淺層試驗會產生太多噪聲，無法準確表示優化實例。

• 在每一個世代，利用估計分佈算法(EDA)表示種羣分佈，我們可以利用綜合分佈來表示實例，在這裏稱爲質心分佈。質心表示種羣在一個世代中的中心。通過計算實例(任務)分佈之間的Wasserstein distance(WD)可以獲得任務之間的相似性。有了相似性，可以使用三種不同的基於遺傳算法的資源選擇策略來獲得遷移的知識以加速進化過程中的搜索過程，爲了高效使用這種策略，採用四種選擇機制

• 以下是本文的貢獻：

1. 提出一種新的表示方式叫做 質心分佈 來度量不同優化實例的相似性
2. 提出一種新的基於EDA，NSGA-II三種策略的多源選擇遷移優化框架來優化多目標優化問題
3. 總結了遷移資源選擇策略的四點建議，在此基礎上，提出了應對負遷移問題的混合策略。

• 以下爲本文內容概述：

1. 第二節總結了遷移學習，EDA(估計分佈算法)，進化動態優化算法(EDO)
2. 第三節總結了基於EDA和NSGA-II的多源選擇遷移優化算法的基本框架和流程圖
3. 第四節在多目標煙花算法benchmark上做了實驗，並總結了四種資源選擇策略並在一個實際問題上驗證了算法
4. 第五節總結了本文算法

Related work

Transfer optimization

• 最近，開發了許多致力於通過機器學習技術提高現有進化算法效率的工作，尤其是重用了過去從相關問題中獲得的搜索經驗。Feng [7] 爲了解決多目標優化問題，提出了一種基於自動編碼器模型的新傳輸方法，加快了進化算法的搜索過程。
• 遷移優化可以兩類： 單源和多源 ，目前研究大多數是單源遷移算法， 多源優化算法不僅注重遷移方式還注重實例表示和源選擇
• 具體算法流程和示意如圖1所示：
  

Estimation of Distribution Algorithms 估計分佈算法 EDA

• EDA是隨機優化方法，可通過學習和抽樣精英候選解決方案的顯式概率模型來指導尋找最佳點。 EDA與常規進化算法（遺傳算法算法）之間的主要區別在於，後者通過變異和交叉操作生成新的候選解，可以將其視爲隱式分佈。 但是，EDA使用由概率模型表示的顯式分佈，例如多元正態分佈，貝葉斯網絡等。
• EDA常見算法結構如下圖所示：
  

根據決策變量的相互依賴，EDA可以被分爲三類：

1. 單變量分解算法：其中每個變量都是相互獨立的。代表算法有： 基於種羣的 population-based incremental learning (PBIL) 基於種羣的增量學習 [22], univariate marginal distribution algorithm (UMDA) 單變量邊際分佈算法 [23], compact genetic algorithm (cGA) 緊湊遺傳算法 [24], etc.
2. 二元分解： 在此類模型中， 變量之間的關係形成樹或者森林圖。雙變量分解使變量之間的依賴關係形成樹或森林圖。 代表性算法包含互 mutual information maximizing input clustering 信息最大化輸入聚類（MIMIC）[25]，基於依賴關係樹和二元邊際分佈的估計分佈算法[26]等。
3. 多元分解，使用有向無環圖或無向圖表示依賴關係 。 貝葉斯網絡[27]和馬爾可夫網絡[28]是兩個代表性的模型。

• 近年來，EDA已用於衆多具有挑戰性的優化問題，尤其是在多目標優化問題[29]-[33]和多峯優化問題[34]，[35]中。 藉助從精英解中學到的概率模型，許多類型的研究[36]都集中於如何重用過去經驗中的模型以加速目標實例搜索。 受EDA遷移學習研究的啓發，我們提出了一種表示實例的新方法，稱爲質心分佈。 基於表示形式，我們提出了三種資源選擇策略來產生合適的知識以進行遷移。

Evolutionary Dynamic Optimization 進化動態優化 EDO

• EDO是進化計算領域中最活躍的研究領域之一。 在某些EDO情況下，隨着環境的變化，問題具有一些常見的模式。 受此啓發，許多研究集中在重用類似環境中的過去搜索經驗來加速進化過程[37]，[38]。

1. 一種常見的方法是通過一些特殊的點來學習並預測最優點的移動，Li [39]提出了基於特殊點的預測策略(SPPS):例如feed-forward center point,前饋中心點, boundary point邊界點, and knee point拐點。Ruan等人[40]提出了一種基於中心點的混合多樣性維護方法，以提高預測精度。 Zou等[41]提出了一種基於拐點來預測非支配集合的方法，以使種羣迅速收斂到PF。
2. 另一種方法是預測發生更改時應重新初始化個體或種羣的位置。 Zhou的工作[42]利用歷史搜索經驗來指導類似的目標搜索，以有效解決動態優化問題。 提出了兩種重新初始化策略，一種是根據歷史預測個體的新位置。 另一個則是通過某種噪聲來擾動 perturb 當前種羣，這些噪聲的方差由先前的變化估計。
3. 當環境週期性變化時，第三種方法稱爲基於memory的方法通常用於通過重用存儲在內存中的相關帕累托最優集（POS）信息來解決EDO問題[43]-[46]。 Jiang和Yang[37]提出了一種新的方法，稱爲穩態和世代進化算法（SGEA），該方法重用了過去分佈良好的解，並且當環境發生改變時，根據先前和當前環境的信息重新定位了與新帕累託前沿有關的解 此外，多種羣機制是解決問題的有用方法[47]，[48]。
4. 最近的一些工作直接將遷移學習算法（例如TCA）與動態優化算法集成在一起。 Jiang以此方式提出了兩個算法框架。 一種叫做Tr-DMOEA，它結合了遷移學習和基於種羣的進化算法[8]，另一種則是領域自適應和基於非參數估計的EDA的組合，稱爲DANE-EDA [9]。 與他的工作不同，我們主要側重於如何從多個源任務中選擇合適的源以加速進化過程。

• 本文認爲動態問題利用歷史信息，但是問題除了某些參數以外，問題的定義沒有發生變化，但是遷移學習不一樣，其要通過歷史信息優化的完全是不一樣的兩個問題。因此如何度量兩個問題的相似性並且選擇合適的遷移源將是本文的重點。

多源選擇遷移優化框架

• 現有大多數研究對一對一傳輸優化更感興趣，而忽略了實際場景中的多源屬性。在本文中，我們提出了一個多源選擇性遷移優化框架來解決多源實例的問題。
• 圖2首先引入了實例表示，然後提出了源-目標相似度度量方法，提出了是那種源實例選擇策略。
  

優化實例表示

• 質心表示的源選擇策略
• 通過運行GA風格的算法，我們可以通過選擇操作獲得精英羣體，可以將選擇的解決方案的分佈作爲EDA的顯式概率模型來學習。 我們稱其爲學習型質心分佈，以表示空間中當前的人口擴散趨勢。
  
• 下面的表示很關鍵，需要注意！
  
• 爲避免負轉移，應在遷移算法啓動之前確定合適的來源。 我們提出的表示方法可以反映進化過程中源和目標之間的一些相似性信息，可以幫助目標實例選擇合適的源進行遷移 。

源和目標相似度度量

• WD是在給定度量空間[50]上的概率分佈之間定義的距離函數。 在本文中，我們使用WD計算源和目標任務質心分佈之間的距離。
• 由於質心分佈C滿足獨立多變量標準分佈，WD計算公式如下所示：
  
• 關於WD和Kullback–Leibler divergence
  可以參考以下博文資料
  多元高斯分佈的KL散度
  各維度不相關的多元高斯分佈
  多元高斯分佈
  兩種羣決策變量高斯分佈的KL散度和WD距離

遷移源選擇策略

• 因爲使用不同的優化方法和不同的停止條件，即使是相同的優化任務也會得到不同的優化結果。並且對於高度複雜非線性和具有不同非連接局部最優的多模態優化問題，即使是使用相同的優化算子，每次得到的結果都有可能不一樣。因此，即使遷移源看起來很不一樣，也許其實是來自相似的任務。 實際上，當給予大量的源數據並且沒有優化函數和每個源使用的優化器的先驗知識的時候，很難正確判斷源與目標之間的差異是否源於任務之間的差異。 因此，在本文中，我們提出了“質心分佈的距離越近，實例相關程度越高”的選擇策略，這實際上是一個充分但不是必要的條件。 如果距離很近，我們判斷實例是相關的並且可以選擇。 但是相反，如果實例相關，則我們無法判斷分佈將是緊密的。
• 根據以上的分析，根據相似性，提出了三種遷移源選擇策略來生成到目標實例的遷移種羣，如圖4所示。
  

最近遷移策略–挑選質心分佈最相似的任務進行遷移

• 在NSS中 認爲相似程度最高的任務中包含有最有用的遷移知識。

權重選擇策略–利用所有資源知識

• 在某些情況下，某些源可能幾乎位於相同的相似度級別（也就是說多個源和目標的相似程度接近，難以挑選）。 如果我們使用一個源進行遷移，則會丟失一些有關其他源的有用信息。 在這種情況下，提出了一種利用所有源知識的新策略。 由於不同源對遷移效率的貢獻程度不同，因此最終源是當前這一代所有源的加權總和。 該策略稱爲加權選擇策略（WSS）。
  
• 這裏wi是一個標量，而P是一個矩陣
• 在WSS中，所有源都是有用的，但是每個源的遷移程度，重要程度不同~

TopK選擇策略–按照相似度挑選TopK個源

• WSS的改進版，按照相似度挑選前K個源
  

策略選擇建議

• 在這一部分中，總結了四個建議，以指導在特定條件下選擇合適的選擇策略。

1. 首先，提出最大相似率：
   

• 這表示相似度最大的源任務能夠佔所有任務相似度的比。

2. 相似度的方差引導，決定使用WSS還是TopK

• 相似度方差小–WSS，相似度方差大–TopK
• 基於以上分析，選擇源選擇策略的建議可以總結如下:

1. 最大相似度msr很大–NSS選擇最好的
2. msr較小，相似度方差小–WSS
3. msr較小，相似度方差大–TopK
4. 當msr較低，且方差位於WSS和Top-K策略的臨界範圍時，不建議調用遷移操作。
   (是否忽視了不依賴相似度從而跳轉的可能性？！)

• 基於以上建議，提出了三種策略的混合版本，稱爲混合選擇策略（MSS）。 爲了探索在進化過程中是否在每一代中需要進行轉移，將每次觸發源選擇策略。 根據所有源和目標之間的相似性信息，由以上建議確定是否轉移。 更多的相似度計算帶來更多的計算成本，但實際上也利用了更多的信息。

Transfer Method 遷移模塊

• 使用[7]中提出的自編碼器遷移進化算法進行遷移~
• 具體而言：
• 源種羣和目標種羣可以通過一層具有可靠理論推論的單層去噪自動編碼器[7]連接起來。 如圖5所示，基於自動編碼器的遷移方法的關鍵是學習從源到目標種羣的映射M。
  
  
• 需要注意這個映射矩陣是隨着迭代不斷變化改進的，需要隔一定的世代重新構建一次。以往問題的優化解包含了大量的知識，可以提高目標優化搜索速度，使我們可以通過學習映射將以往經驗中的最佳解轉移到目標中。
• 遷移矩陣最終由以下式子進行確定：
  

Proposed Framework 提出的框架

• 提出的MSSTO的算法框架如圖6所示，僞代碼如算法2所示，G設置爲10：
  
  
• 其中使用的候選解有

1. 上一代種羣
2. 經過交叉和變異後的子代種羣
3. 經過遷移算法得到的種羣

• 初始化之後，框架開始執行種羣重組，信息遷移和選擇操作的循環。爲節省計算量，遷移操作只有在世代爲G的倍數的時候調用，遷移算子被調用時，源實例和目標實例首先由質心分佈表示，質心分佈首先由（1）和（2）定義。然後，可以通過（3）和（4）來計算源和目標之間的相似性得分。接下來，將根據（5）–（9）選擇合適的遷移源。最後，由（10）和（11）產生要遷移的學習種羣。完成最終適應性評估後，循環停止。 （5）-（9）中定義的三種選擇策略可以爲轉移方法的後續過程提供最終的源種羣。該策略不僅可以提高優化效果，而且可以提高收斂速度，從而減少適應性評價量。實際應用中較少的評估意味着更少的模擬或實驗，從而可以節省大量的計算或實驗成本。

參考文獻

[1] W. Yao, X. Chen, Q. Ouyang, and M. V. Tooren, “A reliability-based multidisciplinary design optimization procedure based on combined probability and evidence theory,” Struct. Multidiscipl. Optim., vol. 48, no. 2, pp. 339–354, 2013.
[2] C. B. Do and A. Y. Ng, “Transfer learning for text classification,” in Proc. 18th Adv. Neural Inf. Process. Syst., Vancouver, BC, Canada, Dec. 2005, pp. 299–306. [Online]. Available: http://papers.nips.cc/paper/2843-transfer-learning-for-text-classification
[3] A. Quattoni, M. Collins, and T. Darrell, “Transfer learning for image classification with sparse prototype representations,” in Proc. IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit. (CVPR), Anchorage, AK, USA, Jun. 2008, pp. 1–8. [Online]. Available: https://doi.org/10.1109/CVPR.2008.4587637
[4] S. J. Pan and Q. Yang, “A survey on transfer learning,” IEEE Trans. Knowl. Data Eng., vol. 22, no. 10, pp. 1345–1359, Oct. 2010. [Online]. Available: https://doi.org/10.1109/TKDE.2009.191
[5] Y. Yoshida, T. Hirao, T. Iwata, M. Nagata, and Y. Matsumoto, “Transfer learning for multiple-domain sentiment analysis— Identifying domain dependent/independent word polarity,” in Proc. 25th AAAI Conf. Artif. Intell., San Francisco, CA, USA, Aug. 2011, pp. 1286–1291. [Online]. Available: http://www.aaai.org/ocs/index.php/AAAI/AAAI11/paper/view/3597
[6] H. Hosseinzadeh and F. Razzazi, “LMDT: A weakly-supervised largemargin- domain-transfer for handwritten digit recognition,” Eng. Appl. Artif. Intell., vol. 52, pp. 119–125, Jun. 2016. [Online]. Available: https://doi.org/10.1016/j.engappai.2016.02.014
[7] L. Feng, Y.-S. Ong, S. Jiang, and A. Gupta, “Autoencoding evolutionary search with learning across heterogeneous problems,” IEEE Trans. Evol. Comput., vol. 21, no. 5, pp. 760–772, Oct. 2017. [Online]. Available: https://doi.org/10.1109/TEVC.2017.2682274
[8] M. Jiang, Z. Huang, L. Qiu, W. Huang, and G. G. Yen, “Transfer learning-based dynamic multiobjective optimization algorithms,” IEEE Trans. Evol. Comput., vol. 22, no. 4, pp. 501–514, Aug. 2018. [Online]. Available: https://doi.org/10.1109/TEVC.2017.2771451
[9] M. Jiang, L. Qiu, Z. Huang, and G. G. Yen, “Dynamic multi-objective estimation of distribution algorithm based on domain adaptation and nonparametric estimation,” Inf. Sci., vol. 435, pp. 203–223, Apr. 2018. [Online]. Available: https://doi.org/10.1016/j.ins.2017.12.058
[10] R. Santana, A. Mendiburu, and J. A. Lozano, “Structural transfer using EDAs: An application to multi-marker tagging SNP selection,” in Proc. IEEE Congr. Evol. Comput. (CEC), Brisbane, QLD, Australia, Jun. 2012, pp. 1–8. [Online]. Available: https://doi.org/10.1109/CEC.2012.6252963
[11] S. J. Pan, I. W. Tsang, J. T. Kwok, and Q. Yang, “Domain adaptation via transfer component analysis,” IEEE Trans. Neural Netw., vol. 22, no. 2, pp. 199–210, Feb. 2011. [Online]. Available: https://doi.org/10.1109/TNN.2010.2091281
[12] W. Dai, Q. Yang, G.-R. Xue, and Y. Yu, “Boosting for transfer learning,” in Proc. 24th Int. Conf. Mach. Learn. (ICML), Corvallis, OR, USA, Jun. 2007, pp. 193–200. [Online]. Available: https://doi.org/10.1145/1273496.1273521
[13] Y. Lecun, L. Bottou, Y. Bengio, and P. Haffner, “Gradient-based learning applied to document recognition,” Proc. IEEE, vol. 86, no. 11, pp. 2278–2324, Nov. 1998.
[14] J. G. Rohra, B. Perumal, S. J. Narayanan, P. Thakur, and R. B. Bhatt, “User localization in an indoor environment using fuzzy hybrid of particle swarm optimization & gravitational search algorithm with neural networks,” in Proc. 6th Int. Conf. Soft Comput. Problem Solving, 2017, pp. 286–295.
[15] T. Liu, Q. Yang, and D. Tao, “Understanding how feature structure transfers in transfer learning,” in Proc. 26th Int. Joint Conf. Artif. Intell. (IJCAI), Melbourne, VIC, Australia, Aug. 2017, pp. 2365–2371. [Online]. Available: https://doi.org/10.24963/ijcai.2017/329
[16] L. Feng et al., “Evolutionary multitasking via explicit autoencoding,” IEEE Trans. Cybern., vol. 49, no. 9, pp. 3457–3470, Sep. 2019.
[17] R. Santana, C. Bielza, and P. Larranaga, “Network measures for re-using problem information in EDAs,” Dept. Artif. Intell., Faculty Informat., Tech. Univ. Madrid, Madrid, Spain, Rep. UPM-FI/DIA/2010–3, 2010.
[18] Y. Yu, S.-Y. Chen, Q. Da, and Z.-H. Zhou, “Reusable reinforcement learning via shallow trails,” IEEE Trans. Neural Netw. Learn. Syst., vol. 29, no. 6, pp. 2204–2215, Jun. 2018. [Online]. Available: https://doi.org/10.1109/TNNLS.2018.2803729
[19] K. Deb, A. Pratap, S. Agarwal, and T. Meyarivan, “A fast and elitist multiobjective genetic algorithm: NSGA-II,” IEEE Trans. Evol. Comput., vol. 6, no. 2, pp. 182–197, Apr. 2002.
[20] A. Gupta, Y.-S. Ong, and L. Feng, “Insights on transfer optimization: Because experience is the best teacher,” IEEE Trans. Emerg. Topics Comput. Intell., vol. 2, no. 1, pp. 51–64, Feb. 2018. [Online]. Available: https://doi.org/10.1109/TETCI.2017.2769104
[21] M. Hauschild and M. Pelikan, “An introduction and survey of estimation of distribution algorithms,” Swarm Evol. Comput., vol. 1, no. 3, pp. 111–128, 2011. [Online]. Available: https://doi.org/10.1016/j.swevo.2011.08.003
[22] S. Baluja, “Population-based incremental learning. A method for integrating genetic search based function optimization and competitive learning,” Tech. Rep., 1994. [Online]. Available: https://dl.acm.org/ citation.cfm?id=865123
[23] H. Mühlenbein, “The equation for response to selection and its use for prediction,” Evol. Comput., vol. 5, no. 3, pp. 303–346, 1997. [Online]. Available: https://doi.org/10.1162/evco.1997.5.3.303
[24] G. R. Harik, F. G. Lobo, and D. E. Goldberg, “The compact genetic algorithm,” IEEE Trans. Evol. Comput., vol. 3, no. 4, pp. 287–297, Nov. 1999.
[25] J. S. D. Bonet, C. L. Isbell, and P. Viola, “MIMIC: Finding optima by estimating probability densities,” in Proc. Int. Conf. Neural Inf. Process. Syst., Denver, CO, USA, 1996, pp. 424–430.
[26] M. Pelikan and H. Muehlenbein, The Bivariate Marginal Distribution Algorithm. London, U.K.: Springer, 1999.
[27] M. Pelikan, D. E. Goldberg, and E. Cantú-Paz, “BOA: The Bayesian optimization algorithm,” in Proc. Conf. Genet. Evol. Comput., Orlando, FL, USA, 1999, pp. 525–532.
[28] S. Shakya, J. Mccall, and D. Brown, “Using a Markov network model in a univariate EDA: An empirical cost-benefit analysis,” in Proc. Genet. Evol. Comput. Conf. (GECCO), Washington, DC, USA, Jun. 2005, pp. 727–734.
[29] Y. Gao, L. Peng, F. Li, M. Liu, and X. Hu, “EDA-based multi-objective optimization using preference order ranking and multivariate Gaussian copula,” in Proc. 10th Int. Symp. Neural Netw. Adv. Neural Netw. II (ISNN), Dalian, China, Jul. 2013, pp. 341–350. [Online]. Available: https://doi.org/10.1007/978-3-642-39068-5_42
[30] H. Karshenas, R. Santana, C. Bielza, and P. Larrañaga, “Multiobjective estimation of distribution algorithm based on joint modeling of objectives and variables,” IEEE Trans. Evol. Comput., vol. 18, no. 4, pp. 519–542, Aug. 2014. [Online]. Available: https://doi.org/10.1109/TEVC.2013.2281524
[31] V. A. Shim, K. C. Tan, and C. Y. Cheong, “A hybrid estimation of distribution algorithm with decomposition for solving the multiobjective multiple traveling salesman problem,” IEEE Trans. Syst., Man, Cybern. C, Appl. Rev., vol. 42, no. 5, pp. 682–691, Sep. 2012. [Online]. Available: https://doi.org/10.1109/TSMCC.2012.2188285
[32] V. A. Shim, K. C. Tan, J. Y. Chia, and A. A. Mamun, “Multi-objective optimization with estimation of distribution algorithm in a noisy environment,” Evol. Comput., vol. 21, no. 1, pp. 149–177, Mar. 2013. [Online]. Available: https://doi.org/10.1162/EVCO_a_00066
[33] J. Luo, Y. Qi, J. Xie, and X. Zhang, “A hybrid multi-objective PSO–EDA algorithm for reservoir flood control operation,” Appl. Soft Comput., vol. 34, pp. 526–538, Sep. 2015. [Online]. Available: https://doi.org/10.1016/j.asoc.2015.05.036
[34] P. Lipinski, “Solving the firefighter problem with two elements using a multi-modal estimation of distribution algorithm,” in Proc. IEEE Congr. Evol. Comput. (CEC), Donostia-San Sebastián, Spain, Jun. 2017, pp. 2161–2168. [Online]. Available: https://doi.org/10.1109/CEC.2017.7969566
[35] Q. Yang, W.-N. Chen, Y. Li, C. L. P. Chen, X.-M. Xu, and J. Zhang, “Multimodal estimation of distribution algorithms,” IEEE Trans. Cybern., vol. 47, no. 3, pp. 636–650, Mar. 2017. [Online]. Available: https://doi.org/10.1109/TCYB.2016.2523000
[36] M. Pelikan, M. W. Hauschild, and P. L. Lanzi, “Transfer learning, soft distance-based bias, and the hierarchical BOA,” in Proc. 12th Int. Conf. Parallel Problem Solving Nat. I (PPSN XII), Taormina, Italy, Sep. 2012, pp. 173–183. [Online]. Available: https://doi.org/10.1007/978-3-642- 32937-1_18
[37] S. Jiang and S. Yang, “A steady-state and generational evolutionary algorithm for dynamic multiobjective optimization,” IEEE Trans. Evol. Comput., vol. 21, no. 1, pp. 65–82, Feb. 2017.
[38] S. Jiang and S. Yang, “Evolutionary dynamic multiobjective optimization: Benchmarks and algorithm comparisons,” IEEE Trans. Cybern., vol. 47, no. 1, pp. 198–211, Jan. 2017.
[39] Q. Li, J. Zou, S. Yang, J. Zheng, and R. Gan, “A predictive strategy based on special points for evolutionary dynamic multi-objective optimization,” Soft Comput., vol. 23, no. 11, pp. 3723–3739, 2019.
[40] G. Ruan, G. Yu, J. Zheng, J. Zou, and S. Yang, “The effect of diversity maintenance on prediction in dynamic multi-objective optimization,” Appl. Soft Comput., vol. 58, pp. 631–647, Sep. 2017. [Online]. Available: https://doi.org/10.1016/j.asoc.2017.05.008
[41] J. Zou, Q. Li, S. Yang, H. Bai, and J. Zheng, “A prediction strategy based on center points and knee points for evolutionary dynamic multi-objective optimization,” Appl. Soft Comput., vol. 61, pp. 806–818, Dec. 2017. [Online]. Available: https://doi.org/10.1016/j.asoc.2017.08.004
[42] A. Zhou, Y. Jin, Q. Zhang, B. Sendhoff, and E. P. K. Tsang, “Prediction-based population re-initialization for evolutionary dynamic multi-objective optimization,” in Proc. 4th Int. Conf. Evol. Multi Criterion Optim. (EMO), Matsushima, Japan, Mar. 2007, pp. 832–846. [Online]. Available: https://doi.org/10.1007/978-3-540-70928-2_62
[43] J. Branke, “Memory enhanced evolutionary algorithms for changing optimization problems,” in Proc. Congr. Evol. Comput. (CEC), vol. 3. Washington, DC, USA, 1999, pp. 1875–1882.
[44] C. K. Goh and K. C. Tan, “A competitive-cooperative coevolutionary paradigm for dynamic multiobjective optimization,” IEEE Trans. Evol. Comput., vol. 13, no. 1, pp. 103–127, Feb. 2009.
[45] I. Hatzakis and D. Wallace, “Dynamic multi-objective optimization with evolutionary algorithms: A forward-looking approach,” in Proc. 8th Annu. Conf. Genet. Evol. Comput., Seattle, WA, USA, 2006, pp. 1201–1208.
[46] Z. Zhang and S. Qian, “Artificial immune system in dynamic environments solving time-varying non-linear constrained multi-objective problems,” Soft Comput., vol. 15, no. 7, pp. 1333–1349, 2011.
[47] L. T. Bui, Z. Michalewicz, E. Parkinson, and M. B. Abello, “Adaptation in dynamic environments: A case study in mission planning,” IEEE Trans. Evol. Comput., vol. 16, no. 2, pp. 190–209, Apr. 2012.
[48] R. Shang, L. Jiao, Y. Ren, L. Li, and L. Wang, “Quantum immune clonal coevolutionary algorithm for dynamic multiobjective optimization,” Soft Comput., vol. 18, no. 4, pp. 743–756, 2014.
[49] Y. Netzer, T. Wang, A. Coates, A. Bissacco, B. Wu, and A. Y. Ng, “Reading digits in natural images with unsupervised feature learning,” 2011. [Online]. Available: https://ai.google/research/pubs/pub37648
[50] I. Olkin and F. Pukelsheim, “The distance between two random vectors with given dispersion matrices,” Linear Algebra Appl., vol. 48, no. 82, pp. 257–263, Dec. 1982.