怎樣介紹PyTorch中in-place operation的含義，很多新手對(duì)此不是很清楚，為了幫助大家解決這個(gè)難題，下面小編將為大家詳細(xì)講解，有這方面需求的人可以來(lái)學(xué)習(xí)下，希望你能有所收獲。

創(chuàng)新互聯(lián)公司是一家集網(wǎng)站建設(shè),延慶企業(yè)網(wǎng)站建設(shè),延慶品牌網(wǎng)站建設(shè),網(wǎng)站定制,延慶網(wǎng)站建設(shè)報(bào)價(jià),網(wǎng)絡(luò)營(yíng)銷,網(wǎng)絡(luò)優(yōu)化,延慶網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強(qiáng)企業(yè)競(jìng)爭(zhēng)力?？沙浞譂M足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時(shí)我們時(shí)刻保持專業(yè)、時(shí)尚、前沿，時(shí)刻以成就客戶成長(zhǎng)自我，堅(jiān)持不斷學(xué)習(xí)、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實(shí)用型網(wǎng)站。成都創(chuàng)新互聯(lián)專注于廣河網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗(yàn)。 熱誠(chéng)為您提供廣河營(yíng)銷型網(wǎng)站建設(shè)，廣河網(wǎng)站制作、廣河網(wǎng)頁(yè)設(shè)計(jì)、廣河網(wǎng)站官網(wǎng)定制、小程序設(shè)計(jì)服務(wù)，打造廣河網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供廣河網(wǎng)站排名全網(wǎng)營(yíng)銷落地服務(wù)。

這篇文章主要介紹了淺談PyTorch中in-place operation的含義，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧

in-place operation在pytorch中是指改變一個(gè)tensor的值的時(shí)候，不經(jīng)過(guò)復(fù)制操作，而是直接在原來(lái)的內(nèi)存上改變它的值。可以把它成為原地操作符。

在pytorch中經(jīng)常加后綴“_”來(lái)代表原地in-place operation，比如說(shuō).add_() 或者.scatter()。python里面的+=，*=也是in-place operation。

下面是正常的加操作,執(zhí)行結(jié)束加操作之后x的值沒(méi)有發(fā)生變化：

import torch
x=torch.rand(2) #tensor([0.8284, 0.5539])
print(x)
y=torch.rand(2)
print(x+y)   #tensor([1.0250, 0.7891])
print(x)    #tensor([0.8284, 0.5539])

下面是原地操作，執(zhí)行之后改變了原來(lái)變量的值：

import torch
x=torch.rand(2) #tensor([0.8284, 0.5539])
print(x)
y=torch.rand(2)
x.add_(y)
print(x)    #tensor([1.1610, 1.3789])

在官方問(wèn)文檔中由這一段話：

如果你使用了in-place operation而沒(méi)有報(bào)錯(cuò)的話，那么你可以確定你的梯度計(jì)算是正確的。

補(bǔ)充知識(shí)：PyTorch中nn.ReLU(inplace=True)中inplace的作用

我們用PyTorch搭建神經(jīng)網(wǎng)絡(luò)時(shí)，會(huì)遇到nn.ReLU(inplace=True),inplace=True是什么意思呢？

nn.Conv2d(64,192,kernel_size=3,stride=1,padding=1),
nn.ReLu(inpalce=True),# inplace為True，默認(rèn)為False

意思是：是否將計(jì)算得到的值直接覆蓋之前的值

例如：x = x+1

即對(duì)原值x進(jìn)行+1操作后得到的值，直接賦值給x

而不是如下找一個(gè)中間變量y：

y=x+1
x=y

先將x進(jìn)行+1操作后賦值給中間變量y，然后將y值賦給x

這樣就需要內(nèi)存存儲(chǔ)變量y

因此當(dāng)inplace=True時(shí)：

就是對(duì)從上層網(wǎng)絡(luò)nn.Conv2d中傳遞下來(lái)的tensor直接進(jìn)行修改，這樣能夠節(jié)省運(yùn)算內(nèi)存，不用多存儲(chǔ)其他變量。

看完上述內(nèi)容是否對(duì)您有幫助呢？如果還想對(duì)相關(guān)知識(shí)有進(jìn)一步的了解或閱讀更多相關(guān)文章，請(qǐng)關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道，感謝您對(duì)創(chuàng)新互聯(lián)的支持。

當(dāng)前名稱：怎樣介紹PyTorch中in-placeoperation的含義-創(chuàng)新互聯(lián)
本文路徑：http://www.rwnh.cn/article42/cehcec.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站改版、外貿(mào)網(wǎng)站建設(shè)、域名注冊(cè)、標(biāo)簽優(yōu)化、網(wǎng)站維護(hù)、微信小程序

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)