基本的数据分析工作

特征的分布: 按特征的取值分段, 每一段包含的样本数量, 特征均值, 方差.
目标分布同上
特征目标关系: 特征分段, 每段中包含的样本的目标取值
目标特征关系: 目标分段, 每段中包含的样本的特征取值
模型在训练数据上效果不错, 但做Cross-validation效果不佳主要原因有两个:
- 选取的样本数据太少, 覆盖度不够, 考虑增加训练样本
- 样本特征过多, 可以考虑减少一些特征, 只留下重要的特征
模型在类似Cross-validation这样的封闭测试上效果不错, 但在开放测试上效果不佳
- 选取的训练数据覆盖度不够, 不具备代表性, 不能体现真实数据的分布.
- 模型迁移(Model drift), 随着时间变化, 特征数据也随之变化. 比如3个月前做的模型对现在的特征可能不会有好的效果.