1. 初步认识

下面，小喵定义了一个基本的张量运算c=a+b，我们来看看其中a/b/c三个张量的相关属性值。

>>> import torch
>>> a=torch.randn(1,1)
>>> b=torch.rand(1,1,requires_grad=True)
>>> c=a+b
>>> print(a.data,a.grad,a.requires_grad,a.grad_fn)
tensor([[-1.1160]]) None False None
>>> print(b.data,b.grad,b.requires_grad,b.grad_fn)
tensor([[0.9804]]) None True None
>>> print(c.data,c.grad,c.requires_grad,c.grad_fn)
tensor([[-0.1356]]) None True 
>>> c.backward()
>>> print(a.grad,b.grad)
None tensor([[1.]])

仔细观察，我们可以发现在调用backward()进行反向传播后，requires_grad为True的张量b的grad里面就有相应的梯度值了，而张量a的grad依然为None。

除此以外，小喵直接创建的张量a/b的grad_fn均为None。另一方面，c是torch.add函数的输出（由a和b计算而来的），所以c的反向传播函数为AddBackward。

通过这个例子中，我们初步对这几大属性和梯度运算有一个直观的认识：

• 在用Pytorch创建张量时，属性requires_grad默认值为False；
• 仅当张量的requires_grad=True时，才会为该张量计算梯度；
• 由用户直接创建的张量的grad_fn为None，而由某些运算操作产生的张量的grad_fn则有相应的用于计算梯度的反向传播函数。

2. 深入认识

• 梯度会累加，清零记得呀

还是刚才那个例子，我们继续反向传播一次：

>>> c.backward()
>>> print(a.grad,b.grad)
None tensor([[2.]])

可以发现a的梯度依旧为None，而b的梯度却累加了。为了避免梯累加造成问题，一般训练模型时我们在每次进行反向传播之前都要将梯度清零。

• requires_grad的传递性

我们再来做一个实验，将上述示例中的张量b的创建改为 b=torch.rand(1,1)，其他都不变，然后再来看看会发生什么：

>>> import torch
>>> a=torch.randn(1,1)
>>> b=torch.rand(1,1)
>>> c=a+b
>>> print(b.data,b.grad,b.requires_grad,b.grad_fn)
tensor([[-2.4292]]) None False None
>>> print(c.data,c.grad,c.requires_grad,c.grad_fn)
tensor([[-3.5453]]) None False None
>>> c.backward()
Traceback (most recent call last):
  File "", line 1, in 
  File "/usr/local/lib/python3.7/site-packages/torch/tensor.py", line 195, in backward
    torch.autograd.backward(self, gradient, retain_graph, create_graph)
  File "/usr/local/lib/python3.7/site-packages/torch/autograd/__init__.py", line 99, in backward
    allow_unreachable=True)  # allow_unreachable flag
RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn

完了芭比q了，c的requires_grad变成了False，grad_fn也为None了，反向传播也无法正常执行了。

等等，不要急，我们慢慢理解下：首先a和b中只要有一个要求为自己计算梯度，那么c必然也要计算梯度的，否则就无法利用链式求导法则进行反向传播了；

反过来，a和b都不要求计算梯度，那么c自然也不需要计算梯度，所以对c 就有：requires_grad=False，grad_fn=None。

• 中间运算张量梯度不会保存

我们再来一个稍微复杂点的例子，这个例子中张量c是中间运算结果张量，张量d才是运算结果张量：

>>> import torch
>>> a=torch.randn(1,1)
>>> b=torch.rand(1,1,requires_grad=True)
>>> c=a+b
>>> d=c*2
>>> print(a.data,a.grad,a.requires_grad,a.grad_fn)
tensor([[-1.1160]]) None False None
>>> print(b.data,b.grad,b.requires_grad,b.grad_fn)
tensor([[-0.2299]]) None True None
>>> print(c.data,c.grad,c.requires_grad,c.grad_fn)
tensor([[-1.3460]]) None True 
>>> print(d.data,d.grad,d.requires_grad,d.grad_fn)
tensor([[-2.6919]]) None True 

我们调用一次backward():

>>> d.backward()
>>> print(c.data,c.grad,c.requires_grad,c.grad_fn)
tensor([[-1.3460]]) None True 
>>> print(b.data,b.grad,b.requires_grad,b.grad_fn)
tensor([[-0.2299]]) tensor([[2.]]) True None
>>> print(a.data,a.grad,a.requires_grad,a.grad_fn)
tensor([[-1.1160]]) None False None
>>> print(d.data,d.grad,d.requires_grad,d.grad_fn)
tensor([[-2.6919]]) None True 
>>> print(a.grad,b.grad,c.grad,d.grad)
None tensor([[2.]]) None None

可以看到只有张量b的grad有值，不要求计算梯度的张量a和中间运算结果张量的grad都为None。这是Pytorch自动梯度机制导致的，中间运算结果张量的grad值不会被保存。

• 关于retain_graph

我们再一次调用backward()，可以发现又一次出现了RuntimeError，但这次原因是“the buffers have already been freed”，如果想解决这个问题只需在第一次调用backward()的时候，设置retain_graph为True。

>>> d.backward()
Traceback (most recent call last):
  File "", line 1, in 
  File "/usr/local/lib/python3.7/site-packages/torch/tensor.py", line 195, in backward
    torch.autograd.backward(self, gradient, retain_graph, create_graph)
  File "/usr/local/lib/python3.7/site-packages/torch/autograd/__init__.py", line 99, in backward
    allow_unreachable=True)  # allow_unreachable flag
RuntimeError: Trying to backward through the graph a second time, but the buffers have already been freed. Specify retain_graph=True when calling backward the first time.

从Pytorch官方文档中关于retain_graph的说明来看，当retain_graph为False时，首次调用backward()后，用于计算梯度的的计算图被释放了，所以无法连续进行多次的反向传播。

讲道理，我们其实也不会连续进行反向传播，一般都是一个批次数据进行一次前向计算然后再进行一次反向传播；而PyTorch使用的是动态图，它的计算图在每次前向传播时都是从头开始构建的。所以，这个知识点大家目前只需有个印象就行，不用深究。

• 每次进行反向传播之前记得要将梯度清零，否则梯度会累加；
• 在Pytorch的张量运算中，如果对参与运算的所有输入张量都有requires_grad=False，那该运算的结果张量的requires_grad=False，且它的grad_fn不会存放对应的反向传播函数“xxxBackward”。
• 反之只要有一个输入张量要求计算梯度，运算结果张量就会要求计算梯度。
• 中间运算张量梯度不会保存。

3. 总结

好了，关于Pytorch的张量属性与梯度运算，今天先介绍到这里。下一次小喵将带来更多相关内容，如叶子结点与非叶子结点、torch.no_grad()等。

还是一样，大家如果有疑问可以后台私信或点击在看后评论，小喵看到了都会回复哒。另外，大家觉得什么样的行为结构更适合阅读，欢迎跟小喵推荐哦。

    
往期精彩回顾


    







    
适合初学者入门人工智能的路线及资料下载
(图文+视频)机器学习入门系列下载
中国大学慕课《机器学习》（黄海广主讲）
机器学习及深度学习笔记等资料打印
《统计学习方法》的代码复现专辑
AI基础下载



    
机器学习交流qq群955171419，加入微信群请扫码：