Pytorch学习笔记

• class torchvision.transforms.RandomCrop(size, padding=0)
  切割中心点的位置随机选取。size可以是tuple也可以是Integer。

• class torchvision.transforms.RandomHorizontalFlip
  随机水平翻转给定的PIL.Image,概率为0.5。即：一半的概率翻转，一半的概率不翻转。

• class torchvision.transforms.ToTensor 转为tensor：transforms.ToTensor
  功能：将PIL Image或者 ndarray 转换为tensor，并且归一化至[0-1]
  注意事项：归一化至[0-1]是直接除以255，若自己的ndarray数据尺度有变化，则需要自行修改。

• class torch.utils.data.DataLoader(dataset, batch_size=1, shuffle=False, sampler=None, batch_sampler=None, num_workers=0, collate_fn=, pin_memory=False, drop_last=False, timeout=0, worker_init_fn=None): 数据加载器。组合了一个数据集和采样器，并提供关于数据的迭代器。

• torch.optim.lr_scheduler.MultiStepLR(optimizer, milestones, gamma=0.1, last_epoch=-1)
  milestones为一个数组，如 [50,70]. gamma为倍数。如果learning rate开始为0.01 ，则当epoch为50时变为0.001，epoch 为70 时变为0.0001。

• 当last_epoch=-1,设定为初始lr。

• 当网络中有 dropout，bn 的时候。训练的要记得 net.train(), 测试 要记得 net.eval()

• 在测试的时候 创建输入 Variable 的时候 要记得 volatile=True

• torch.sum(Tensor), torch.mean(Tensor) 返回的是 python 浮点数，不是 Tensor。
  在不需要 bp 的地方用 Tensor 运算。

Batch Normalization
BN主要时对网络中间的每层进行归一化处理，并且使用变换重构(Batch Normalizing Transform)保证每层所提取的特征分布不会被破坏，详细参加Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift。该算法主要如下：

训练时是正对每个min-batch的，但是在测试中往往是针对单张图片，即不存在min-batch的概念。由于网络训练完毕后参数都是固定的，因此每个批次的均值和方差都是不变的，因此直接结算所有batch的均值和方差。所有Batch Normalization的训练和测试时的操作不同

Dropout
Dropout能够克服Overfitting，在每个训练批次中，通过忽略一半的特征检测器，可以明显的减少过拟合现象，详细见文章：Dropout: A Simple Way to Prevent Neural Networks from Overtting具体如下所示：

在训练中，每个隐层的神经元先乘概率P，然后在进行激活，在测试中，所有的神经元先进行激活，然后每个隐层神经元的输出乘P。

optim.lr_scheduler.ReduceLROnPlateau(opt, ‘min’, factor=0.5)

class torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer, mode='min', factor=0.1, patience=10,
 verbose=False, threshold=0.0001, threshold_mode='rel', cooldown=0, min_lr=0, eps=1e-08)