• 前言

• 网络层内在参数

• 使用 3x3 卷积

• 使用 cbr 组合

• 尝试不同的权重初始化方法

• 图片尺寸与数据增强

• batch size 设定

• 学习率参数设定

• 优化器选择

• 模型 finetune

• 模型可视化

• 参考资料

• 用于学习参数的数据子集通常仍被称为训练集（不要和整个训练过程用到的更大的数据集搞混）。
• 用于挑选超参数的数据子集被称为验证集(validation set)。

网络层内在参数

• 卷积层(convlution)参数: 卷积层通道数、卷积核大小、卷积步长。
• 池化层(pooling)参数: 池化核大小、步长等。
• 权重参数初始化，常用的初始化方法有 Xavier，kaiming 系列；或者使用模型 fintune 初始化模型权重参数。
• 网络深度（这里特指卷积神经网络 cnn），即 layer 的层数；网络的深度一般决定了网络的表达（抽象）能力，网络越深学习能力越强。
• 网络宽度，即卷积层通道(channel)的数量，也是滤波器（3 维）的数量；网络宽度越宽，代表这一层网络能学习到更加丰富的特征。

• 使用 3x3 卷积
• 使用 cbr 组合
• 尝试不同的权重初始化方法

使用 3x3 卷积

 卷积层是 cnn 的主流组件，比如提取图像特征的 backbone 网络中，其卷积层的卷积核大小大部分都是 。比如 vgg 和 resnet 系列网络具体参数表如下所示。

使用 cbr 组合

在 cnn 模型中，卷积层（conv）一般后接 bn、relu 层，组成 cbr 套件。BN 层（batch normalization，简称 BN，批规范化层）很重要，是卷积层、激活函数层一样都是 cnn 模型的标配组件，其不仅加快了模型收敛速度，而且更重要的是在一定程度缓解了深层网络的一个难题“梯度弥散”，从而使得训练深层网络模型更加容易和稳定。

另外，模型训练好后，模型推理时的卷积层和其后的 BN 层可以等价转换为一个带  bias 的卷积层（也就是通常所谓的“吸BN”），其原理参考深度学习推理时融合BN，轻松获得约5%的提速。

对于 cv 领域的任务，建议无脑用 ReLU 激活函数。

# cbr 组件示例代码
def convbn_relu(in_planes, out_planes, kernel_size, stride, pad, dilation):
    return nn.Sequential(
        nn.Conv2d(in_planes, out_planes, 
                  kernel_size=kernel_size, stride=stride, 
                  padding=dilation if dilation > 1 else pad, 
                  dilation=dilation, bias=False),
        nn.BatchNorm2d(out_planes),
        nn.ReLU(inplace=True)
        )

尝试不同的权重初始化方法

尝试不同的卷积核权重初始化方式。目前常用的权重初始化方法有 Xavier 和 kaiming 系列，pytorch 在 torch.nn.init 中提供了常用的初始化方法函数，默认是使用 kaiming 均匀分布函数: nn.init.kaiming_uniform_()。

下面是一个使用 kaiming_normal_（kaiming 正态分布）设置卷积层权重初始化的示例代码。

import torch
import torch.nn as nn

# 定义一个卷积层
conv = nn.Conv2d(in_channels=3, out_channels=16, kernel_size=3, stride=1, padding=1)

# 使用He初始化方式设置卷积层的权重
nn.init.kaiming_normal_(conv.weight, mode="fan_out", nonlinearity="relu")

图片尺寸与数据增强

• 水平 / 竖直翻转
• 90°，180°，270° 旋转
• 翻转 + 旋转(旋转和翻转其实是保证了数据特征的旋转不变性能被模型学习到，卷积层面的方法可以参考论文 ACNet)
• 亮度，饱和度，对比度的随机变化
• 随机裁剪（Random Crop）
• 随机缩放（Random Resize）
• 加模糊（Blurring）
• 加高斯噪声（Gaussian Noise）

batch size 设定

背景知识

• batch size：批大小。在深度学习中，一般采用 SGD 训练，即每次训练在训练集中取 batch_size 个样本训练；
• iteration：1 个 iteration 等于使用 batch_size 个样本训练一次；
• epoch：1 个 epoch 等于使用训练集中的全部样本训练一次；

batch size 定义

选择合适大小的 batch size

设置为  2 的 n 次方的原因：计算机的 gpu 和 cpu 的 memory 都是 2 进制方式存储的，设置 2 的 n 次方可以加快计算速度。

• batch size 太小：每次计算的梯度不稳定，引起训练的震荡比较大，很难收敛。
• batch size 太大: 虽然大的 batch size 可以减少训练时间，即收敛得快，但深度学习的优化（training loss 降不下去）和泛化（generalization gap 很大）都会出问题。（结论来源论文-Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour）

参考论文来源 On Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima^[1]，该论文主要探究了深度学习中一个普遍存在的问题——使用大的 batchsize 训练网络会导致网络的泛化性能下降（文中称之为Generalization Gap）。

• 合适的 batch size 范围和训练数据规模、神经网络层数、单元数都没有显著的关系。
• 合适的 batch size 范围主要和收敛速度、随机梯度噪音有关。

参考知乎问答-怎么选取训练神经网络时的Batch size?^[2]

学习率和 batch size 关系

参考来源-【AI不惑境】学习率和batchsize如何影响模型的性能？[3]

学习率参数设定

背景知识

什么是学习率

new_weight = existing_weight — learning_rate * gradient

这里套用吴恩达机器学习课程的梯度下降公式，也可参考《机器学习》书中的公式 (5.6)，虽然表达式写法不一样，但其意义是一样的。

采用小学习速率（顶部）和大学习速率（底部）的梯度下降。图来源：Coursera 上吴恩达（Andrew Ng）的机器学习课程。

如何设置学习率

1. 模型训练开始时的初始学习率不宜过大，cv 类模型以 0.01 和 0.001 为宜；
2. 模型训练过程中，学习率应随轮数（epochs）增加而衰减。

1. 对于图像分类任务，使用 finetune 方式训练模型，训练过程中，冻结层的不需要过多改变参数，因此需要设置较小的学习率，更改过的分类层则需要以较大的步子去收敛，学习率往往要设置大一点。（来源-pytorch 动态调整学习率[4]）
2. 寻找理想学习率或诊断模型训练学习率是否合适时也可借助模型训练曲线(learning curve)的帮助。下图展示了不同大小的学习率下损失函数的变化情况，图来自于 cs231n。

1. 有序调整：按照一定规律有序进行调整，这一类是最常用的，分别是等间隔下降(Step)， 按需设定下降间隔(MultiStep)，指数下降(Exponential)和 CosineAnnealing。这四种方法的调整时机都是人为可控的，也是训练时常用到的。
2. 自适应调整: 如依据训练状况伺机调整 ReduceLROnPlateau 方法。该法通过监测某一指标的变化情况，当该指标不再怎么变化的时候，就是调整学习率的时机，因而属于自适应的调整。
3. 自定义调整: 自定义调整 Lambda。Lambda 方法提供的调整策略十分灵活，我们可以为不同的层设定不同的学习率调整方法，这在 fine-tune 中十分有用，我们不仅可为不同的层设定不同的学习率，还可以为其设定不同的学习率调整策略，简直不能更棒了!

• lr_scheduler.StepLR: 等间隔调整学习率。调整倍数为 gamma 倍，调整间隔为 step_size。
• lr_scheduler.MultiStepLR: 按设定的间隔调整学习率。适合后期使用，通过观察 loss 曲线，手动定制学习率调整时机。
• lr_scheduler.ExponentialLR: 按指数衰减调整学习率，调整公式:
• lr_scheduler.CosineAnnealingLR: 以余弦函数为周期，并在每个周期最大值时重新设置学习率。
• lr_scheduler.ReduceLROnPlateau: 当某指标不再变化(下降或升高)，调整学习率（非常实用的策略）。
• lr_scheduler.LambdaLR: 为不同参数组设定不同学习率调整策略。

在 PyTorch 1.1.0 之前，学习率调度器应该在优化器更新之前被调用；1.1.0 以打破 BC 的方式改变了这种行为。如果在优化器更新（调用 optimizer.step()）之前使用学习率调度器（调用 scheduler.step()），后果是将跳过学习率调度的第一个值。

import torchvision.models as models
import torch.optim as optim
model = models.resnet50(pretrained=False)

optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9) # 构建优化器，lr 是初始学习率
scheduler = optim.lr_scheduler.ExponentialLR(optimizer, gamma=0.9) # 设定学习率调整策略

for epoch in range(20):
    for input, target in dataset:
        optimizer.zero_grad()
        output = model(input)
        loss = loss_fn(output, target)
        loss.backward()
        optimizer.step()
    scheduler.step()
    print_lr(is_verbose=true) # pytorch 新版本可用，1.4及以下版本不可用


    

优化器选择

优化器定义

如何选择适合不同ml项目的优化器

• SGD 是最常见的神经网络优化方法，收敛效果较稳定，但是收敛速度过慢。
• Adam 等自适应学习率算法对于稀疏数据具有优势，且且收敛速度很快，但是收敛效果不稳定（容易跳过全局最优解）。

表格来源 Which Optimizer should I use for my ML Project?[6]

PyTorch 中的优化器

• zero_grad(): 将梯度清零。
• step(closure): 执行一步权值更新, 其中可传入参数 closure(一个闭包)。
• state_dict(): 获取模型当前的参数，以一个有序字典形式返回，key 是各层参数名，value 就是参数。
• load_state_dict(state_dict): 将 state_dict 中的参数加载到当前网络，常用于模型 finetune。
• add_param_group(param_group): 给 optimizer 管理的参数组中增加一组参数，可为该组参数定制 lr, momentum, weight_decay 等，在 finetune 中常用。

# optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9)
# 指定每一层的学习率
optim.SGD([
            {'params': model.base.parameters()},
            {'params': model.classifier.parameters(), 'lr': 1e-3}
          ], lr=1e-2, momentum=0.9
        )
for input, target in dataset:
    optimizer.zero_grad()
    output = model(input)
    loss = loss_fn(output, target)
    loss.backward()



    
    optimizer.step()

优化器的算法原理可以参考花书第八章内容，Pytorch 框架优化器类的详细参数及类方法定义，请参考 pytorch 官方库文档-torch.optim[8]。

模型 finetune

• 获取预训练模型的权重（如  imagenet ）；
• 使用预训练模型权重初始化我们的模型，即加载预训练模型权重参数。

1. 直接使用 imagenet 的 resnet50 预训练模型权重当作特征提取器，只改变模型最后的全连接层。代码示例如下:

import torch
import torchvision.models as models

model = models.resnet50(pretrained=True)

#遍历每一个参数，将其设置为不更新参数，即冻结模型所有参数
for param in model.parameters():
    param.requires_grad = False

# 只替换最后的全连接层， 改为训练10类，全连接层requires_grad为True
model.fc = nn.Linear(2048, 10)

print(model.fc) # 这里打印下全连接层的信息
# 输出结果: Linear(in_features=2048, out_features=10, bias=True)

2. 使用自定义模型结构，保存某次训练好后比较好的权重用于后续训练 finetune，可节省模型训练时间，示例代码如下:

import torch
import torchvision.models as models

# 1，保存模型权重参数值
# 假设已经创建了一个 net = Net()，并且经过训练，通过以下方式保存模型权重值
torch.save(net.state_dict(), 'net_params.pth')
# 2，加载模型权重文件
# load(): Loads an object saved with :func:`torch.save` from a file
pretrained_dict = torch.load('net_params.pth')
# 3，初始化模型
net = Net() # 创建 net
net_state_dict = net.state_dict() # 获取已创建 net 的 state_dict
# (可选)将 pretrained_dict 里不属于 net_state_dict 的键剔除掉:
pretrained_dict_new = {k: v for k, v in pretrained_dict.items() if k in net_state_dict}
# 用预训练模型的参数字典 对 新模型的参数字典 net_state_dict 进行更新
net_state_dict.update(pretrained_dict_new)
# 加载需要的预训练模型参数字典
net.load_state_dict(net_state_dict)

模型 finetune 是属于迁移学习技术的一种。

模型可视化

• 可视化权重
• 可视化激活
• 可视化数据

参考资料