- 贝叶斯误差（一般用人类水平代替）与训练集错误率之差是 __bias（avoidble bias）__。
- 训练集错误率与开发集错误率之差是 __variance__。
高 bias 可尝试以下方法：
- 新的网络（含有更多隐藏层或者隐藏单元的网络）
- 花费更多时间来训练网络
高 variance 可尝试以下方法：
- 更多的数据
- 正则化（L1、L2、dropout、数据扩增、early stopping）
误差分析
在你的开发集里或者测试集里，观察错误标记的样本，统计属于不同错误类型的错误数量。
通过统计不同错误标记类型占总数的百分比，可以帮你发现哪些问题需要优先解决，或者给你构思新优化方向的灵感。