《机器学习理论的回顾与展望》
2017 年，北京大学教授王立威在中国人工智能学会AIDL第二期上带来的主题报告，共分为以下四部分：
- 研究机器学习理论的意义
- “非常典型的机器学习的过程：收集数据、建模、做出预测”
- “研究机器学习理论的目的绝对不是为了证明一个算法的边界如何，而是为了提供对机器学习问题的洞察和理解”
- VC Theory
- “VC 理论告诉我们，假如从一个侯选的集合里选择一个模型，要想学好，所需要的数据量一定要和模型的复杂程度呈正相关”
- “VC 维度刻画的是从一个什么样的模型集合中去训练，刻画的是模型集合的复杂程度，它研究的是结构的性质”
- 数据量比 VC 维度小太多，则容易过拟合；数据量大太多则容易欠拟合
- Margin Theory
- “对深度学习来说，最有价值的学习理论一定是在刻画深度学习算法本身的性质”
- “对于分类结果，千万不要只看训练错误率这么一个简单的数字，要关注Margin。Margin代表了置信度，而置信度对泛化能力有相当重大的作用”
- “Margin Theory 告诉大家要更关注算法的信息，算法会输出很多置信度方面的信息”
- Algorithmic Stability
- “稳定的算法会有更好的泛化能力”