特征漂移怎么及时发现
从漂移表现、监控指标、基线对照和归因路径四个方面,说明模型输入分布变化时的发现与处理。
漂移的表现
输入分布变化后,模型输出会逐渐偏离原来的预期。
线上指标往往先出现小幅波动,再慢慢扩大。
监控指标
统计特征均值、缺失率和分箱分布的偏移程度。
类别型特征要看新出现的取值占比,以及原有类别的比例变化。
对照基线
用训练期的分布做参照,设定合理的告警阈值。
阈值太紧会产生大量误报,太松又发现不了问题。
归因路径
先查上游数据源,再查数据接入环节和字段口径。
字段口径的变化,往往比真实的数据分布变化更常见。
更新策略
小步重训比一次性大改更容易定位问题。
每次更新都保留旧版本,出现问题时可以回滚并对比效果。
本文由考腾资讯网编辑部整理撰写,观点仅供参考;转载请注明来源与链接。