Pytorch實現(xiàn)簡單自定義網(wǎng)絡(luò)層的方法

第Pytorch實現(xiàn)簡單自定義網(wǎng)絡(luò)層的方法目錄前言一、不帶參數(shù)的層二、帶參數(shù)的層三、總結(jié)四、參考附：pytorch獲取網(wǎng)絡(luò)的層數(shù)和每層的名字

前言

Pytorch、Tensoflow等許多深度學(xué)習(xí)框架集成了大量常見的網(wǎng)絡(luò)層，為我們搭建神經(jīng)網(wǎng)絡(luò)提供了諸多便利。但在實際工作中，因為項目要求、研究需要或者發(fā)論文需要等等，大家一般都會需要自己發(fā)明一個現(xiàn)在在深度學(xué)習(xí)框架中還不存在的層。在這些情況下，就必須構(gòu)建自定義層。

博主在學(xué)習(xí)了沐神的動手學(xué)深度學(xué)習(xí)這本書之后，學(xué)到了許多東西。這里記錄一下書中基于Pytorch實現(xiàn)簡單自定義網(wǎng)絡(luò)層的方法，僅供參考。

一、不帶參數(shù)的層

首先，我們構(gòu)造一個沒有任何參數(shù)的自定義層，要構(gòu)建它，只需繼承基礎(chǔ)層類并實現(xiàn)前向傳播功能。

importtorch

importtorch.nn.functionalasF

fromtorchimportnn

classCenteredLayer(nn.Module):

def__init__(self):

super().__init__()

defforward(self,X):

returnX-X.mean()

輸入一些數(shù)據(jù)，驗證一下網(wǎng)絡(luò)是否能正常工作：

layer=CenteredLayer()

print(layer(torch.FloatTensor([1,2,3,4,5])))

輸出結(jié)果如下：

tensor([-2.,-1.,0.,1.,2.])

運行正常，表明網(wǎng)絡(luò)沒有問題。

現(xiàn)在將我們自建的網(wǎng)絡(luò)層作為組件合并到更復(fù)雜的模型中，并輸入數(shù)據(jù)進行驗證：

net=nn.Sequential(nn.Linear(8,128),CenteredLayer())

Y=net(torch.rand(4,8))

print(Y.mean())#因為模型參數(shù)較多，輸出也較多，所以這里輸出Y的均值，驗證模型可運行即可

結(jié)果如下：

tensor(-5.5879e-09,grad_fn=MeanBackward0)

二、帶參數(shù)的層

這里使用內(nèi)置函數(shù)來創(chuàng)建參數(shù)，這些函數(shù)可以提供一些基本的管理功能，使用更加方便。

這里實現(xiàn)了一個簡單的自定義的全連接層，大家可根據(jù)需要自行修改即可。

classMyLinear(nn.Module):

def__init__(self,in_units,units):

super().__init__()

self.weight=nn.Parameter(torch.randn(in_units,units))

self.bias=nn.Parameter(torch.randn(units,))

defforward(self,X):

linear=torch.matmul(X,self.weight.data)+self.bias.data

returnF.relu(linear)

接下來實例化類并訪問其模型參數(shù)：

linear=MyLinear(5,3)

print(linear.weight)

結(jié)果如下：

Parametercontaining:

tensor([[-0.3708,1.2196,1.3658],

[0.4914,-0.2487,-0.9602],

[1.8458,0.3016,-0.3956],

[0.0616,-0.3942,1.6172],

[0.7839,0.6693,-0.8890]],requires_grad=True)

而后輸入一些數(shù)據(jù)，查看模型輸出結(jié)果：

print(linear(torch.rand(2,5)))

#結(jié)果如下

tensor([[1.2394,0.0000,0.0000],

[1.3514,0.0968,0.6667]])

我們還可以使用自定義層構(gòu)建模型，使用方法與使用內(nèi)置的全連接層相同。

net=nn.Sequential(MyLinear(64,8),MyLinear(8,1))

print(net(torch.rand(2,64)))

#結(jié)果如下

tensor([[4.1416],

[0.2567]])

三、總結(jié)

我們可以通過基本層類設(shè)計自定義層。這允許我們定義靈活的新層，其行為與深度學(xué)習(xí)框架中的任何現(xiàn)有層不同。

在自定義層定義完成后，我們就可以在任意環(huán)境和網(wǎng)絡(luò)架構(gòu)中調(diào)用該自定義層。

層可以有局部參數(shù)，這些參數(shù)可以通過內(nèi)置函數(shù)創(chuàng)建。

四、參考

《動手學(xué)深度學(xué)習(xí)》動手學(xué)深度學(xué)習(xí)2.0.0-beta0documentation

https://zh-v2.d2l.ai/

附：pytorch獲取網(wǎng)絡(luò)的層數(shù)和每層的名字

#創(chuàng)建自己的網(wǎng)絡(luò)

importmodels

model=models.__dict__["resnet50"](pretrained=True)

forindex,(name,param)inenumerate(d_parameters()):

print(str(index)+""+name)

結(jié)果如下：

0conv1.weight

1bn1.weight

2bn1.bias

3layer1.0.conv1.weight

4layer1.0.bn1.we