DL: 主流優化算法（Optimization）

在做深度學習相關的工程項目時，最主要的核心思想就是找到損失cost（loss），  然後利用優化算法去最小化算法cost（loss），現在有多種主流的優化算法，各種不同深度學習框架也提供相應的api，本文引入的優化算法僅是基於tensorflow框架的，而比較常用的優化算法有adam 和RMSprop，api的應用如下：
 

1. Adam

tf.train.AdamOptimizer.__init__(
	learning_rate=0.001, 
	beta1=0.9, 
	beta2=0.999, 
	epsilon=1e-08, 
	use_locking=False, 
	name='Adam'
)

2.RMSprop

#http://blog.csdn.net/bvl10101111/article/details/72616378
train_op = tf.train.RMSPropOptimizer(learning_rate=0.0001, decay=0.995, momentum=0.9).minimize(loss)
or
train_op = tf.train.RMSPropOptimizer(learning_rate=0.0001, decay=0.995).minimize(loss)

參考：

https://blog.csdn.net/TeFuirnever/article/details/88933368

https://zhuanlan.zhihu.com/p/34169434