論文研讀-基於決策變量分析的大規模多目標進化算法

論文研讀-基於決策變量分析的大規模多目標進化算法

Multiobjective Evolutionary Algorithm Based on Decision Variable Analyses for Multiobjective Optimization Problems With Large-Scale Variables

覺得有用的話,歡迎一起討論相互學習~

• 此篇文章爲 X. Ma et al., "A Multiobjective Evolutionary Algorithm Based on Decision Variable Analyses for Multiobjective Optimization Problems With Large-Scale Variables," in IEEE Transactions on Evolutionary Computation, vol. 20, no. 2, pp. 275-298, April 2016, doi: 10.1109/TEVC.2015.2455812. 的論文學習筆記，只供學習使用，不作商業用途，侵權刪除。並且本人學術功底有限如果有思路不正確的地方歡迎批評指正！

Abstract

• 最新的多目標進化算法（MOEA）將所有決策變量作爲一個整體來處理(即所有決策變量不做區別，或者同時對所有維度的決策變量進行優化)以優化性能。受單目標優化領域中協作協同進化和鏈接學習方法的啓發，將一個困難的高維問題分解爲一組更易於解決的較簡單和低維的子問題十分具有意義。但是，由於沒有關於目標函數的先驗知識，因此不清楚如何分解目標函數。此外，使用這樣的分解方法來解決多目標優化問題（MOP）十分困難，因爲它們的目標函數通常相互衝突。也就是說，僅僅改變決策變量將產生非支配的解決方案。本文提出了相互依賴變量分析和控制變量分析，以解決上述兩個困難。因此，本文提出了一種基於決策變量分析（DVA）的MOEA。並使用控制變量分析用於識別目標函數之間的衝突。更具體地說，哪些變量影響生成的解的多樣性，哪些變量在總體收斂中起重要作用。基於鏈接學習的方法，相互依賴變量分析將決策變量分解爲一組低維子組件。實證研究表明，DVA可以提高大多數困難MOP的解決方案質量。

關鍵詞

• Cooperative coevolution, decision variable analysis (DVA), interacting variables, multiobjective optimization, problem decomposition. 合作協同進化，決策變量分析 （DVA），交叉變量，多目標優化，問題分解。

Introduction

• 具有一次運行即可生成許多代表性近似解的優勢，進化算法（EA）已廣泛用於多目標優化問題（MOP）[1]。當前，最先進的多目標EA（MOEA）[2]-[4]更加註意保持目標空間中獲得的解決方案的多樣性，並將所有決策變量作爲一個整體(即所有決策變量不做區別，或者同時對所有維度的決策變量進行優化)進行優化。由於MOP的複雜性和難度，簡化一個較爲困難的MOP的方法很有研究價值。影響優化問題複雜性和難度的主要因素是決策變量的數量[5]。受協作協同進化[6] – [9]和鏈接學習方法[10]，[11]的啓發，一種理想的方式是將具有高維變量的MOP的每個目標函數分解爲許多更簡單和低維的子函數。如果存在這種分解，則優化原始函數等於分別解決每個子函數。上述“分而治之”策略的主要困難是如何選擇良好的分解方法，以使不同子函數之間的相互依賴性保持最小。儘管分解對協作協同進化和鏈接學習算法的性能具有重要影響，但是通常對於給定問題的隱藏結構瞭解不足，無法幫助算法設計者發現合適的分解。因此，有必要設計一種算法，該算法可以檢測決策變量之間的相互作用以劃分決策變量。爲此，開發了相互依賴變量分析。
• 使用在單目標優化問題（SOP）中提出的分而治之策略用於解決MOP並非易事，因爲MOP的目標函數相互衝突。 目標函數之間的衝突在這裏指的是通過更改決策變量來生成的無法比較的解決方案。 衝突意味着MOP的目標是找到一組Pareto最優解，而不是像SOP中那樣找到單個最優解。 由於位置變量和混合變量[12]對生成的解的傳播有影響，因此兩種變量都被視爲目標函數之間衝突的根源。
• 基於上述決策變量的控制分析和兩個變量之間的相互依賴分析，我們提出了基於決策變量分析的MOEA（MOEA / DVA）。 基於決策變量的控制分析，MOEA / DVA將複雜的MOP分解爲一組更簡單的子MOP。 基於兩個變量之間的相互依賴性分析，決策變量被分解爲幾個低維子組件。 每個子MOP都會一個一個地獨立優化子組件。 因此，與大多數優化了所有決策變量的MOEA相比，MOEA / DVA有望具有優勢。
• 論文主要貢獻如下所示：

1. 爲了幫助讀者理解變量相互依賴的概念，提供了兩個必要條件。
2. 爲了學習目標函數之間的衝突，使用了位置變量和混合變量[12]的概念。 此外，基於位置變量和混合變量而不是權重向量，本文提供了一種新的分解方案，可將困難的MOP轉換爲一組更簡單的子MOP。
3. 在具有良好的相互作用變量理論基礎的情況下，本文嘗試將具有高維變量的困難MOP分解爲一組具有低維子組件的簡單子MOP。
4. 本文證明了連續ZDT和DTLZ問題的目標函數是可分離的函數。對於2009年IEEE進化計算大會（CEC）競賽的無約束多目標目標函數（UF）問題[13]證明了其兩個決策變量之間的相互作用是稀疏的，並且集中在混合變量上。

• 本文的其餘部分安排如下。 第二部分介紹了有關多目標優化的定義和表示，變量鏈接，決策變量的控制屬性，決策變量的鏈接學習技術以及基於學習鏈接的變量劃分技術的幾種相關背景。 第三節介紹了DVA和提出的算法MOEA / DVA。 第四節說明並分析了實驗結果。 第五節總結了本文。

相關工作

• 本節介紹相關研究背景的兩個方面。 一個是SOP(單目標優化問題)。 SOP的相關研究背景包括決策變量的可分離性和不可分離性，各種鏈接學習方法以及基於學習鏈接的決策變量的不同劃分方法。 另一個是MOP（多目標優化問題）。 MOP的相關研究背景包括MOP的定義和符號，連續MOP的規律性[14]以及決策變量的控制性。

可分離和不可分離決策變量

• f(x)只有當每一個決策變量都能夠被單獨地進行優化才叫做可分離函數。
  

• 定義1 表示可以通過逐一優化變量來解決可分離函數。 可分離性意味着每個變量都獨立於任何其他變量。 關於可分離函數和不可分離函數的其他定義可以在[7]和[12]中找到。 球面函數sphere function，廣義Rastrigin函數，廣義Griewank函數和Ackley函數[15]，[16]是可分離函數的代表。 基本上，可分離性函數意味着可以獨立於任何其他變量來優化問題中涉及的決策變量，而不可分離性函數意味着至少兩個決策變量之間存在相互作用interactions。

• 變量依賴性是問題的重要方面，它們描述了問題的結構。如果預先知道問題的變量依賴性，則很容易將決策變量劃分爲幾個子組件。因此，通過分別優化具有低維子組件的幾個較簡單的子問題來解決高維變量的難題是十分有益的。但是，問題的變量依賴性通常是事先未知的。此外，“相互依存變量”的定義不是唯一的。 Yu等[17]提出，當且僅當沒有兩個決策變量所攜帶的信息，關聯子問題不能被優化時，兩個決策變量相互作用。 Weise等[5]提出，如果改變一個決策變量對適應度的影響依賴於另一個決策變量的值，則兩個決策變量會相互影響。與以上兩個定性定義不同，本文使用以下相互依賴變量的定量定義。

• 定義2 ：
  

• 定義2可以從Yang等人[7]提出的不可分函數的定義中得出。在這些“相互依賴變量”的不同定義中，我們選擇“定義2”作爲相互依賴變量的定義 因爲該定義是 定量的 且易於使用。

• 對於一個不可分的函數f(x),如果 任意兩個不同的決策變量xi,xj相互作用，則稱這個函數是完全不可分的 Schwefel’s function 2.22, generalized Griewank function, and Ackley’s function [15], [16] 是完全不可分的函數 這裏我有一點不懂，上一段中說廣義Griewank函數和Ackley函數是可分離的函數呀，爲什麼這裏又表述爲完全不可分的呢？ . 在完全可分和完全不可分的函數之間，存在大量的部分可分函數[16],[19]. 如果最多k個決策變量x不獨立,就說一個函數是k-不可分的。 通常，不可分程度越大，函數求解越難[5]。 實際的優化問題很可能由幾個獨立的模塊組成[16]，[19]。 這些問題大多都是部分可分離函數。 對於此類問題，有趣的一點是，具有高維決策變量的困難函數可以分解爲具有低維子組件的幾個簡單子函數。 因此，部分可分離的函數在優化[20]和進化計算[16]，[21]領域引起了很多關注。

決策變量的內部依賴檢測技術

• 對於具有模塊化特徵的問題，如果算法能夠學習問題結構並相應地分解函數，則解決問題的難度將迅速降低[22]。 因此，降低問題難度的關鍵問題是檢測變量交叉。根據Yu[17]和Omidvar[21]等人的建議，鏈接檢測技術分爲四大類：1）擾動； 2）交互適應； 3）建立模型； 和4）隨機。

1. 擾動：

• 這些方法通過擾動決策變量來檢測交互，並研究由於這種擾動而導致的適應性變化。 典型的擾動方法包括以下兩個步驟。 第一步是擾動決策變量並檢測決策變量之間的交互。 第二步是將具有高度相互依賴性的決策變量組合到同一子組件中以進行優化。 這類方法的示例包括：通過非線性檢查（LINC）進行鏈接識別[23]，通過對實值遺傳算法（LINC-R）進行非線性檢查進行鏈接識別[24]，自適應協進化優化[25]以及與 變量交互學習[18]。 我們提出的相互依賴變量分析可以被認爲是一種擾動方法。

2. 交互適應：

• 這些方法將相互依賴檢測技術融入到單個編碼中，同時解決了問題。 個體之間相互依賴的變量越緊密，其重組概率就越高。 典型的例子有連鎖學習遺傳算法[26]和連鎖進化遺傳算子[27]。

3. 建模：

• 模型構建方法的經典框架包括五個步驟：a）隨機初始化進化種羣； b）選擇一些有希望的解決方案； c）基於那些選定的有希望的解建立模型； d）從學習模型中採樣新的試用解； e）重複步驟b）-e），直到滿足停止標準爲止。 典型代表包括分佈算法（EDA）的估計[28]，緊湊型遺傳算法[29]，貝葉斯優化算法（BOA）[30]和依賴結構矩陣（DSM）驅動的遺傳算法[17]。

4. 隨機方法：

• 與上述三種方法不同，這些方法沒有使用智能過程來檢測決策變量之間的交互性[7]，[21]。 他們隨機排列變量以提高將相交互的變量放入相同子組件的可能性[7]。

基於學習鏈接的分類技術

• 注意：這是背景介紹，但不全是本文提出的工作
• 在本節中，我們介紹兩種決策變量的劃分方法。 第一個是將具有交互作用的決策變量劃分爲相同的子組件[21]。 這種劃分技術對於模塊化的問題是有效的。 然而，這種劃分技術對於重疊和層次結構問題可能不是最好的[17]。 第二個是基於DSM聚類技術[17]劃分變量。 DSM是由兩個決策變量之間的相互作用構建的矩陣。 DSM聚類技術在產品設計和開發的體系結構改進中很流行。DSM聚類的目標是在同一簇內保持最大的交互，而簇間保持最小的交互。
  圖2給出了DSM聚類的實例。

• 爲了在聚類佈置的準確性和複雜性之間做出權衡，Yu等人。 [31]提出了一種基於最小描述長度（MDL）的度量，描述爲

多目標優化

連續多目標優化的規律性

• 對於大部分ZDT[34],DTLZ[35],UF[13]多目標優化測試集來說， PS分佈的維度是(M-1)維，其中M是目標數量
• 舉個例子，對於一個雙目標的50維度的問題來說，大多數情況下，第一維控制分佈，而後49維都會控制收斂，最優種羣中的後49維的每一個維度的最優值都只有一個，每個個體的後49維的每個維度都會收斂到各自定義的一個特定的最優點上，而第一維則會按照分佈要求分散開來。–如果實在不太理解的話可以看看benchmark給的最優點，也就是優化的目標答案。

決策變量的控制性

• 除了可分離性以外，決策變量根據多目標優化中與適應度景觀的關係還存在着控制性。下列類型的關係很有趣，因爲我們可以使用它們來將解分爲多樣部分和收斂部分[12]。位置變量–單純改變position位置變量的值只會使解變爲非支配關係的解或者相等的解，對應着多目標優化的多樣性，而如果單純改變一個變量的值會引起支配關係的改變或者相等的值而從不會出現廢紙配的關係，即只有支配關係或者相等，即解不是變好就是變壞，而不是多樣性的改變，則稱這個變量爲distance距離變量，如果不是位置變量或者距離變量我們將其成爲mix混合變量，而混合變量在本篇論文的算法中當做多樣性變量進行處理。

• 根據連續多目標優化的規律，ZDT,DTLZ,UF等多目標優化問題的位置變量和混合變量的總數是m-1,而距離變量的總數是n-m+1

提出的算法MOEA/DVA

控制變量分析

• 位置position變量控制多樣，distance變量控制收斂，具體控制變量分析方法如算法1所示：
  
• 使用UF測試用例來舉例說明控制變量法來分類變量的思路
  
• 當所提出的算法執行決策變量的控制分析時，所需目標函數評估的次數爲n×NCA，其中NCA爲採樣解的數量。 基於算法1的大量樣本，表I總結了現有基準MOP的控制特性分析，例如連續ZDT，DTLZ，UF1-UF10和三目標WFG問題。 在此表中，三目標WFG問題的n = 24個變量，與位置position相關的變量數k = 4。
  

兩個決策變量之間的相互依賴分析

• 如第II-A節所述，存在有關交互變量的不同定義。 在本文中，定義2用於分析兩個決策變量之間的相互依賴關係。

兩個變量相互依賴的必要條件

• 既然是必要條件，即說明是如果兩個變量相互依賴，那麼即會出現的性質，出現這種性質不能推導出兩個變量相互依賴。但是如果這種性質或者條件不滿足，則兩個變量絕對不是相互依賴的。

必要條件1

• 偏導依賴
  

必要條件2

學習變量之間的交互

• 實際上，決策變量之間的相互作用可以用來將一個困難的函數分解爲具有低維子組件的一組子函數[21]。 手冢等[24]使用公式（5）以不用推導就能學習演化過程中兩個決策變量之間的相互作用。 對於可加分離函數，Omidvar等[21]給出了使用公式（5）識別相互作用的決策變量的理論推導。 然而，公式（5）是識別連續微分函數中兩個決策變量相互作用的必要條件，但不是充分條件，如第III-B1節所述。
• 本文中使用定義二來學習兩個決策變量之間的交互關係，算法2給出了實現細節，圖5-7展示了ZDT1,DTLZ1,UF1 和UF8以及五個WFG問題的兩個決策變量之間的交互關係
  
  
• 這些問題有兩個突出的特點。 一個是在ZDT1，DTLZ1，WFG1和WFG4-WFG5問題的各個函數中不存在變量交互作用。 另一個是稀疏變量交互作用集中於UF1和UF8問題的m-1個決策變量，其中m是在（3）中定義的目標函數的數量。 通常，根據定義2，對於大多數基準測試問題（包括連續的ZDT，DTLZ，UF和WFG問題），存在稀疏變量交互。 此外，在大多數連續ZDT和DTLZ問題中都是可分離的函數。
• 當對兩個變量之間的相互作用進行一種判斷時，所提出的算法需要在三個點上評估目標函數的值。 因此，相互依賴性分析所需的目標函數評估數爲（3/2）n（n-1）* NIA，其中m爲目標函數數，n爲MOP（3）中定義的決策變量數， NIA是判斷兩個變量之間的相互作用所需的最大嘗試次數。 NIA越大，兩個變量之間相互作用的判斷將越精確。
• 至於爲什麼是三個點，下圖可以解釋

根據變量鏈接對距離變量進行分類(MOP根據變量鏈接的最大連接子圖)

• 具體分類方式參考算法3
  
• 距離變量對收斂有影響，位置變量對多樣性有影響，距離變量是MOP重點優化的難題，而位置變量是主要矛盾所在。在優化早期，我們的策略是先維持多樣性的位置變量不動而只優化距離變量。
• 和單目標優化不同，MOP需要同時優化所有目標函數，因此需要在所有目標函數上對決策變量進行分類。我們將每個目標函數中的變量鏈接合成爲一張變量鏈接圖。 圖8提出了一個三目標問題，以說明基於最大連通子圖劃分變量的過程。

• 注意，這些都是對收斂性的決策變量進行的工作，對於多樣性的決策變量在算法早期保持不變
  
• 注意：在某些算法中會爲了使subcomponents更小而打斷一些鏈接，但是本算法暫時沒有考慮這個問題，因爲我們不清楚如果打斷一個鏈接對算法最終的影響會是如何。EDA也許是一個比較好的期望能解決這個問題的算法。

提出的MOEA/DVA的框架

• 提出的MOEA/DVA的流程圖如圖9所示，
  

1. 決策變量分析：有兩種決策變量分析 控制性分析和交互分析 控制性分析將決策變量分爲收斂性變量和多樣性變量，交互分析用於將收斂性變量使用變量鏈接進行分組。
2. 距離變量分類：收斂性變量也被稱爲距離變量，將高維轉化爲若干個低維子組件。
3. 基於多樣性變量的MOP分解：一個MOP被分解爲一組具有不同變量（位置變量和混合變量）值均勻分佈的子MOP。
4. 子組件優化：對每個子組件獨立優化以提升收斂速度。
5. 分佈性優化：優化所有決策變量，包括位置變量和混合變量。 其目的是提高目標空間中種羣的分佈性。

• 與基於權重向量的MOEA/D [2]分解和基於偏好方向的MOEA/D-M2M [36]分解不同，本文使用各種變量（位置變量和混合變量）分解困難的MOP（3）分成一組更簡單的變量分佈均勻的子MOP。表II中列出了子MOP，子問題和多目標子問題之間的差異。每個子MOP是一個多目標優化問題，由原始MOP(3)定義，並具有不同變量的固定值。以帶有三個決策變量的UF1問題爲例來說明sub-MOP的概念。根據III-A部分的控制分析，UF1問題的x1是一個混合變量，x2和x3是距離變量。原始MOP繪製在圖10(左)上，而圖10(右)顯示了具有恆定變量x1 = 0.25的子MOP。子MOP的主要特徵是它僅具有距離變量，而沒有多樣性變量（位置變量和混合變量）。

• 進化種羣的結構如圖11所示，其中N是種羣大小。在本文中，MOEA / DVA優化了單個進化種羣，所有子組件共享相同的種羣。種羣中的每個體都代表一個MOP。在此圖中，我們假設x1和x2是多樣化變量（位置變量或混合變量），而x3，x4，…。 。 。 ，x8是距離變量。距離變量分爲三個獨立的子分量{x3}，{x4，x5，x6}和{x7，x8}。在算法優化早期，固定位置變量，只優化距離變量。sub-MOP的特徵之一是多樣性變量的值在演化的早期是固定的。因此，種羣中多樣性變量的分佈對獲得的解的分佈具有重要影響。爲了保證進化種羣的多樣性，均勻採樣方法[37]被用來初始化種羣多樣性變量的值。
  

• 表III列出了多樣性變量的分解與距離變量的分解之間的差異。 基於學習到的變量鏈接，MOEA / DVA通過算法3將距離變量分解爲一組低維子組件。算法4提供了MOEA / DVA的詳細信息。 在MOEA / DVA中，這兩個分解共同解決了MOP。 MOEA / DVA首先通過具有均勻分佈的多樣性變量將困難的MOP分解爲多個更簡單的子MOP。 然後，每個子MOP在發展的早期階段都逐一優化子組件。
  
  

• 算法4的第5行對距離變量進行分組。 算法4的第9-12行類似於協作協同進化框架[7]，[21]。 算法4的第11行執行下一段介紹的子組件優化。 爲簡單起見，我們爲MOEA / DVA中的每個子組件分配相同的計算資源。 也可以根據不同的子組件的近期性能爲它們分配不同的計算資源[38]。

• 對於子組件優化，我們在MOEA/D [2]中使用進化算子。由於每個目標函數fi（x，i = 1，…，m）是連續的，因此相鄰子MOP的最優解應該彼此接近。因此，有關其相鄰子MOP的任何信息將有助於優化當前子MOP [2]。這些子MOP之間的鄰域關係是基於其各個變量之間的歐幾里得距離定義的。如果第i個子MOP的多樣性變量接近第j個子MOP的多樣性變量，則第i個子MOP是第j個子MOP的鄰居。算法5提供了子組件優化的詳細信息。在第3步中，由於在發展的早期階段每個子MOP的多樣性變量值是固定的，因此MOEA / DVA僅使用第i個MOP的後代來更新第i個MOP的當前解。爲簡單起見，算法5在發展的早期階段爲MOEA / DVA中的每個單獨/子MOP分配了相同的計算資源。結論中將討論更智能的MOEA / DVA版本。
  

• 最後，我們在算法4的第17行中介紹了在MOEA / DVA中進行均勻性優化的必要性。如上所述，MOEA / DVA首先將MOP分解爲具有均勻分佈的多樣性變量的子MOP集合，並且逐個優化每個子MOP。 通過在演化的早期爲多樣性變量賦予統一固定值，MOEA / DVA可以在決策變量上通過均勻的多樣性變量保持種羣的多樣性。 因此，MOEA / DVA找到的解決方案的分佈高度依賴於問題從PS到PF的映射。

• 通過算法的效用評價算法的階段–先固定多樣性只對收斂性變量進行優化，然後當達到效用閾值，對所有變量進行優化

• 爲了解決這一問題，利用MOEA/D對所有的決策變量進行演化，包括演化後期的多樣性變量( if 效用 < 閾值 )。其目的是爲了提高種羣在目標空間中的均勻性。因此，MOEA/DVA的思想是逐個優化子組件，使進化種羣在進化的早期階段( if 效用 ≥ 閾值 )具有良好的收斂性。在進化後期，MOEA/DVA對包括不同變量在內的所有決策變量進行優化，使進化種羣在目標空間中具有良好的均勻性。子組件優化的效用在算法6中計算。
  

參考文獻

[1] K. Deb, Multi-Objective Optimization Using Evolutionary Algorithms. New York, NY, USA: Wiley, 2001.
[2] Q. Zhang and H. Li, “MOEA/D: A multi-objective evolutionary algorithm based on decomposition,” IEEE Trans. Evol. Comput., vol. 11, no. 6, pp. 712–731, Dec. 2007.
[3] N. Beume, B. Naujoks, and M. Emmerich, “SMS-EMOA: Multiobjective selection based on dominated hypervolume,” Eur. J. Oper. Res., vol. 181, no. 3, pp. 1653–1669, 2007.
[4] K. Deb and H. Jain, “An evolutionary many-objective optimization algorithm using reference-point based non-dominated sorting approach, part I: Solving problems with box constraints,” IEEE Trans. Evol. Comput., vol. 18, no. 4, pp. 577–601, Aug. 2014.
[5] T. Weise, R. Chiong, and K. Tang, “Evolutionary optimization: Pitfalls and booby traps,” J. Comput. Sci. Technol., vol. 27, no. 5, pp. 907–936, 2012.
[6] M. Potter and K. Jong, “A cooperative coevolutionary approach to function optimization,” in Proc. Int. Conf. Parallel Probl. Solv. Nat., vol. 2. Jerusalem, Israel, 1994, pp. 249–257.
[7] Z. Yang, K. Tang, and X. Yao, “Large scale evolutionary optimization using cooperative coevolution,” Inf. Sci., vol. 178, no. 15, pp. 2985–2999, 2008.
[8] X. Li and X. Yao, “Cooperatively coevolving particle swarms for large scale optimization,” IEEE Trans. Evol. Comput., vol. 16, no. 2, pp. 210–224, Apr. 2012.
[9] Y. Mei, X. Li, and X. Yao, “Cooperative co-evolution with route distance grouping for large-scale capacitated arc routing problems,” IEEE Trans. Evol. Comput., vol. 18, no. 3, pp. 435–449, Jun. 2014.
[10] D. Goldberg, Genetic Algorithms in Search, Optimization, and Machine Learning. Reading, MA, USA: Addison-Wesley, 1989.
[11] Y. Chen, T. Yu, K. Sastry, and D. Goldberg, “A survey of linkage learning techniques in genetic and evolutionary algorithms,” Illinois Genet. Algorithms Libr., Univ. Illinois Urbana-Champaign, Urbana, IL, USA, Tech. Rep. 2007014, 2007.
[12] S. Huband, P. Hingston, L. Barone, and L. While, “A review of multiobjective test problems and a scalable test problem toolkit,” IEEE Trans. Evol. Comput., vol. 10, no. 5, pp. 477–506, Oct. 2006.
[13] Q. Zhang et al., “Multiobjective optimization test instances for the CEC 2009 special session and competition,” School Comput. Sci. Electr. Eng., Univ. Essex, Colchester, U.K., Tech. Rep. CES-887, 2008.
[14] Q. Zhang, A. Zhou, and Y. Jin, “RM-MEDA: A regularity model-based multiobjective estimation of distribution algorithm,” IEEE Trans. Evol. Comput., vol. 12, no. 1, pp. 41–63, Feb. 2008.
[15] L. Jiao, Y. Li, M. Gong, and X. Zhang, “Quantum-inspired immune clonal algorithm for global optimization,” IEEE Trans. Syst., Man, Cybern. B, Cybern., vol. 38, no. 5, pp. 1234–1253, Oct. 2008.
[16] K. Tang, X. Li, P. Suganthan, Z. Yang, and T. Weise, “Benchmark functions for the CEC’2010 special session and competition on large-scale global optimization,” Nat. Inspir. Comput. Appl. Lab., Univ. Sci. Technol. China, Hefei, China, Tech. Rep. 2010001, 2010.
[17] T. Yu, D. Goldberg, K. Sastry, C. Lima, and M. Pelikan, “Dependency structure matrix, genetic algorithms, and effective recombination,” Evol. Comput., vol. 17, no. 4, pp. 595–626, 2009.
[18] W. Chen, T. Weise, Z. Yang, and K. Tang, “Large-scale global optimization using cooperative coevolution with variable interaction learning,” in Proc. Conf. Parallel Probl. Solv. Nat., Kraków, Poland, 2010, pp. 300–309.
[19] P. Toint, “Test problems for partially separable optimization and results for the routine PSPMIN,” Dept. Math., Univ. Namur, Namur, Belgium, Tech. Rep. 83/4, 1983.
[20] B. Colson and P. Toint, “Optimizing partially separable functions without derivatives,” Optim. Methods Softw., vol. 20, nos. 4–5, pp. 493–508, 2005.
[21] M. Omidvar, X. Li, Y. Mei, and X. Yao, “Cooperative co-evolution with differential grouping for large scale optimization,” IEEE Trans. Evol. Comput., vol. 18, no. 3, pp. 378–393, Jun. 2014.
[22] D. Thierens and D. Goldberg, “Mixing in genetic algorithms,” in Proc. 5th Int. Conf. Genet. Algorithms, Urbana, IL, USA, 1993, pp. 38–45.
[23] M. Munetomo and D. Goldberg, “Identifying linkage groups by nonlinearity/ nonmonotonicity detection,” in Proc. Genet. Evol. Comput. Conf., vol. 1. Orlando, FL, USA, 1999, pp. 433–440.
[24] M. Tezuka, M. Munetomo, and K. Akama, “Linkage identification by nonlinearity check for real-coded genetic algorithms,” in Proc. Genet. Evol. Comput. Conf., Seattle, WA, USA, 2004, pp. 222–233.
[25] K. Weicker and N. Weicker, “On the improvement of coevolutionary optimizers by learning variable interdependencies,” in Proc. IEEE Congr. Evol. Comput., Washington, DC, USA, 1999, pp. 1627–1632.
[26] Y. Chen, “Extending the scalability of linkage learning genetic algorithms: Theory and practice,” Ph.D. dissertation, Dept. Comput. Sci., Univ. Illinois Urbana-Champaign, Urbana, IL, USA, 2004.
[27] J. E. Smith, “Self adaptation in evolutionary algorithms,” Ph.D. dissertation, Dept. Comput. Sci., Univ. West England, Bristol, U.K., 1998.
[28] Q. Zhang and H. Muehlenbein, “On the convergence of a class of estimation of distribution algorithms,” IEEE Trans. Evol. Comput., vol. 8, no. 2, pp. 127–136, Apr. 2004.
[29] G. R. Harik, F. G. Lobo, and D. E. Goldberg, “The compact genetic algorithm,” IEEE Trans. Evol. Comput., vol. 3, no. 4, pp. 287–297, Nov. 1999.
[30] M. Pelikan and D. Goldberg, “BOA: The Bayesian optimization algorithm,” in Proc. Genet. Evol. Comput. Conf., Orlando, FL, USA, 1999, pp. 525–532.
[31] T. Yu, A. Yassine, and D. Goldberg, “A genetic algorithm for developing modular product architectures,” in Proc. ASME Int. Design Eng. Tech. Conf., Chicago, IL, USA, 2003, pp. 515–524.
[32] K. Miettinen, Nonlinear Multiobjective Optimization. Boston, MA, USA: Kluwer Academic, 1999.
[33] C. Hillermeier, Nonlinear Multiobjective Optimization—A Generalized Homotopy Approach. Boston, MA, USA: Birkhauser, 2001.
[34] E. Zitzler, K. Deb, and L. Thiele, “Comparison of multiobjective evolutionary algorithms: Empirical results,” Evol. Comput., vol. 8, no. 2, pp. 173–195, 2000.
[35] K. Deb, L. Thiele, M. Laumanns, and E. Zitzler, “Scalable multiobjective optimization test problems,” in Proc. Congr. Evol. Comput., Honolulu, HI, USA, 2002, pp. 825–830.
[36] H. Liu, F. Gu, and Q. Zhang, “Decomposition of a multiobjective optimization problem into a number of simple multiobjective subproblems,” IEEE Trans. Evol. Comput., vol. 18, no. 3, pp. 450–455, Jun. 2014.
[37] K. Fang and D. Lin, “Uniform designs and their application in industry,” in Handbook on Statistics in Industry, vol. 22. Amsterdam, The Netherlands: Elsevier, 2003, pp. 131–170.
[38] M. Omidvar, X. Li, and X. Yao, “Smart use of computational resources based on contribution for cooperative co-evolutionary algorithms,” in Proc. Genet. Evol. Comput. Conf., Dublin, Ireland, 2011, pp. 1115–1122.
[39] R. Storn and K. Price, “Differential evolution—A simple and efficient heuristic for global optimization over continuous spaces,” J. Global Optim., vol. 11, no. 4, pp. 341–359, 1997.
[40] K. Deb, S. Agrawal, A. Pratap, and T. Meyarivan, “A fast and elitist multiobjective genetic algorithm: NSGA-II,” IEEE Trans. Evol. Comput., vol. 6, no. 2, pp. 182–197, Apr. 2002.
[41] L. Tseng and C. Chen, “Multiple trajectory search for unconstrained/ constrained multi-objective optimization,” in Proc. IEEE Congr. Evol. Comput., Trondheim, Norway, 2009, pp. 1951–1958.
[42] P. Bosman and D. Thierens, “The naive MIDEA: A baseline multi-objective EA,” in Proc. Evol. Multi-Criterion Optim. (EMO), Guanajuato, Mexico, 2005, pp. 428–442.
[43] C. Ahn, “Advances in evolutionary algorithms,” in Theory, Design and Practice. Berlin, Germany: Springer, 2006.
[44] Q. Zhang, W. Liu, and H. Li, “The performance of a new version of MOEA/D on CEC09 unconstrained MOP test instances,” School Comput. Sci. Electr. Eng., Univ. Essex, Colchester, U.K., Tech. Rep. 20091, 2009.
[45] M. Liu, X. Zou, Y. Chen, and Z. Wu, “Performance assessment of DMOEA-DD with CEC 2009 MOEA competition test instances,” in Proc. IEEE Congr. Evol. Comput., Trondheim, Norway, 2009, pp. 2913–2918.
[46] E. Zitzler, L. Thiele, M. Laumanns, C. Fonseca, and V. Fonseca, “Performance assessment of multiobjective optimizers: An analysis and review,” IEEE Trans. Evol. Comput., vol. 7, no. 2, pp. 117–132, Apr. 2003.
[47] J. Derrac, S. Garca, D. Molina, and F. Herrera, “A practical tutorial on the use of nonparametric statistical tests as a methodology for comparing evolutionary and swarm intelligence algorithms,” Swarm Evol. Comput., vol. 1, no. 1, pp. 3–18, 2011.
[48] J. Durillo et al., “A study of multiobjective metaheuristics when solving parameter scalable problems,” IEEE Trans. Evol. Comput., vol. 14, no. 4, pp. 618–635, Aug. 2010.
[49] L. Marti, J. Garcia, A. Berlanga, and J. Molina, “Introducing MONEDA: Scalable multiobjective optimization with a neural estimation of distribution algorithm,” in Proc. Genet. Evol. Comput. Conf. (GECCO), Atlanta, GA, USA, 2008, pp. 689–696.
[50] L. Marti, J. Garcia, A. Berianga, and J. Molina, “Multi-objective optimization with an adaptive resonance theory-based estimation of distribution algorithm,” Ann. Math. Artif. Intell., vol. 68, no. 4, pp. 247–273, 2013.