在TensorFlow中，tf.train.exponential_decay函數(shù)實(shí)現(xiàn)了指數(shù)衰減學(xué)習(xí)率，通過這個(gè)函數(shù)，可以先使用較大的學(xué)習(xí)率來快速得到一個(gè)比較優(yōu)的解，然后隨著迭代的繼續(xù)逐步減小學(xué)習(xí)率，使得模型在訓(xùn)練后期更加穩(wěn)定。

創(chuàng)新互聯(lián)是一家專業(yè)提供彭澤企業(yè)網(wǎng)站建設(shè),專注與成都做網(wǎng)站、網(wǎng)站設(shè)計(jì)、H5網(wǎng)站設(shè)計(jì)、小程序制作等業(yè)務(wù)。10年已為彭澤眾多企業(yè)、政府機(jī)構(gòu)等服務(wù)。創(chuàng)新互聯(lián)專業(yè)的建站公司優(yōu)惠進(jìn)行中。

tf.train.exponential_decay(learning_rate, global_step, decay_steps, decay_rate, staircase, name)函數(shù)會指數(shù)級地減小學(xué)習(xí)率，它實(shí)現(xiàn)了以下代碼的功能：

#tf.train.exponential_decay函數(shù)可以通過設(shè)置staircase參數(shù)選擇不同的學(xué)習(xí)率衰減方式

#staircase參數(shù)為False（默認(rèn)）時(shí)，選擇連續(xù)衰減學(xué)習(xí)率：
decayed_learning_rate = learning_rate * math.pow(decay_rate, global_step / decay_steps)

#staircase參數(shù)為True時(shí)，選擇階梯狀衰減學(xué)習(xí)率：
decayed_learning_rate = learning_rate * math.pow(decay_rate, global_step // decay_steps)

①decayed_leaming_rate為每一輪優(yōu)化時(shí)使用的學(xué)習(xí)率；

②leaming_rate為事先設(shè)定的初始學(xué)習(xí)率；

③decay_rate為衰減系數(shù)；

④global_step為當(dāng)前訓(xùn)練的輪數(shù)；

⑤decay_steps為衰減速度，通常代表了完整的使用一遍訓(xùn)練數(shù)據(jù)所需要的迭代輪數(shù)，這個(gè)迭代輪數(shù)也就是總訓(xùn)練樣本數(shù)除以每一個(gè)batch中的訓(xùn)練樣本數(shù)，比如訓(xùn)練數(shù)據(jù)集的大小為128，每一個(gè)batch中樣例的個(gè)數(shù)為8，那么decay_steps就為16。

當(dāng)staircase參數(shù)設(shè)置為True，使用階梯狀衰減學(xué)習(xí)率時(shí)，代碼的含義是每完整地過完一遍訓(xùn)練數(shù)據(jù)即每訓(xùn)練decay_steps輪，學(xué)習(xí)率就減小一次，這可以使得訓(xùn)練數(shù)據(jù)集中的所有數(shù)據(jù)對模型訓(xùn)練有相等的作用；當(dāng)staircase參數(shù)設(shè)置為False，使用連續(xù)的衰減學(xué)習(xí)率時(shí)，不同的訓(xùn)練數(shù)據(jù)有不同的學(xué)習(xí)率，而當(dāng)學(xué)習(xí)率減小時(shí)，對應(yīng)的訓(xùn)練數(shù)據(jù)對模型訓(xùn)練結(jié)果的影響也就小了。

接下來看一看tf.train.exponential_decay函數(shù)應(yīng)用的兩種形態(tài)（省略部分代碼）：

①第一種形態(tài)，global_step作為變量被優(yōu)化，在這種形態(tài)下，global_step是變量，在minimize函數(shù)中傳入global_step將自動(dòng)更新global_step參數(shù)（global_step每輪迭代自動(dòng)加一），從而使得學(xué)習(xí)率也得到相應(yīng)更新：

import tensorflow as tf
 .
 .
 .
#設(shè)置學(xué)習(xí)率
global_step = tf.Variable(tf.constant(0))
learning_rate = tf.train.exponential_decay(0.01, global_step, 16, 0.96, staircase=True)
#定義反向傳播算法的優(yōu)化方法
train_step = tf.train.AdamOptimizer(learning_rate).minimize(cross_entropy, global_step=global_step)
 .
 .
 .
#創(chuàng)建會話
with tf.Session() as sess:
 .
 .
 .
 for i in range(STEPS):
 .
 .
 .
  #通過選取的樣本訓(xùn)練神經(jīng)網(wǎng)絡(luò)并更新參數(shù)
  sess.run(train_step, feed_dict={x:X[start:end], y_:Y[start:end]})
  .
 .
 .

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

文章標(biāo)題：TensorFlow實(shí)現(xiàn)指數(shù)衰減學(xué)習(xí)率的方法-創(chuàng)新互聯(lián)
網(wǎng)頁網(wǎng)址：http://www.rwnh.cn/article16/ccijgg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供商城網(wǎng)站、網(wǎng)站收錄、虛擬主機(jī)、服務(wù)器托管、Google、小程序開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)