如何理解pytorch的顯存機(jī)制torch.cuda.empty_cache()，針對(duì)這個(gè)問題，這篇文章詳細(xì)介紹了相對(duì)應(yīng)的分析和解答，希望可以幫助更多想解決這個(gè)問題的小伙伴找到更簡單易行的方法。

創(chuàng)新互聯(lián)建站堅(jiān)持“要么做到，要么別承諾”的工作理念，服務(wù)領(lǐng)域包括：成都網(wǎng)站設(shè)計(jì)、做網(wǎng)站、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣等服務(wù)，滿足客戶于互聯(lián)網(wǎng)時(shí)代的民和網(wǎng)站設(shè)計(jì)、移動(dòng)媒體設(shè)計(jì)的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴！

Pytorch已經(jīng)可以自動(dòng)回收我們不用的顯存，類似于python的引用機(jī)制，當(dāng)某一內(nèi)存內(nèi)的數(shù)據(jù)不再有任何變量引用時(shí)，這部分的內(nèi)存便會(huì)被釋放。但有一點(diǎn)需要注意，當(dāng)我們有一部分顯存不再使用的時(shí)候，這部分釋放的顯存通過Nvidia-smi命令是看不到的，舉個(gè)例子：

device = torch.device('cuda:0')
# 定義兩個(gè)tensor
dummy_tensor_4 = torch.randn(120, 3, 512, 512).float().to(device)  # 120*3*512*512*4/1000/1000 = 377.48M
dummy_tensor_5 = torch.randn(80, 3, 512, 512).float().to(device)  # 80*3*512*512*4/1000/1000 = 251.64M

# 然后釋放
dummy_tensor_4 = dummy_tensor_4.cpu()
dummy_tensor_2 = dummy_tensor_2.cpu()
# 這里雖然將上面的顯存釋放了，但是我們通過Nvidia-smi命令看到顯存依然在占用
torch.cuda.empty_cache()
# 只有執(zhí)行完上面這句，顯存才會(huì)在Nvidia-smi中釋放

Pytorch的開發(fā)者也對(duì)此進(jìn)行說明了，這部分釋放后的顯存可以用，只不過不在Nvidia-smi中顯示罷了。

關(guān)于如何理解pytorch的顯存機(jī)制torch.cuda.empty_cache()問題的解答就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道了解更多相關(guān)知識(shí)。

分享標(biāo)題：如何理解pytorch的顯存機(jī)制torch.cuda.empty_cache()
標(biāo)題URL：http://www.rwnh.cn/article12/igpdgc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站收錄、網(wǎng)站設(shè)計(jì)、網(wǎng)站建設(shè)、域名注冊(cè)、網(wǎng)站排名、品牌網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)