batch
深度学习的优化算法，说白了就是梯度下降。按照损失函数的计算规模和每次的参数更新分类有三种方式。
批梯度下降（BGD——Batch gradient descent）
损失函数计算：遍历全部数据集算一次损失函数，然后算函数对各个参数的梯度，更新梯度。
特点：每更新一次参数都要把数据集里的所有样本都看一遍，计算量开销大，计算速度慢，不支持在线学习。
随机梯度下降（SGD——stochastic gradient descent）
损失函数计算：每看一个数据就算一下损失函数，然后求梯度更新参数。
特点：速度比较快，但是收敛性能不太好，可能在最优点附近晃来晃去，hit 不到最优点。两次参数的更新也有可能互相抵消掉，造成目标函数震荡的比较剧烈。
小批梯度下降（mini-batch gradient decent）
为了克服两种方法的缺点，现在一般采用的是一种折中手段。
损失函数计算：把数据分为若干个批，按批来更新参数，这样，一个批中的一组数据共同决定了本次梯度的方向，下降起来就不容易跑偏，减少了随机性。另一方面因为批的样本数与整个数据集相比小了很多，计算量也不是很大。
iterations
iterations（迭代）：每一次迭代都是一次权重更新，每一次权重更新需要 batch_size 个数据进行 Forward 运算得到损失函数，再 BP 算法更新参数。1 个 iteration 等于使用 batchsize 个样本训练一次。
epochs
epochs 被定义为向前和向后传播中所有批次的单次训练迭代。这意味着 1 个周期是整个输入数据的单次向前和向后传递。简单说，epochs 指的就是训练过程中数据将被“轮”多少次。
三者之间的关系
训练集有 1000 个样本，batch_size = 10，那么训练完整个样本集需要： 100 次 iteration，1 次 epoch。
具体的计算公式为：
one epoch = numbers of iterations = N = 训练样本的数量 / batch_size