机器学习管道因数据泄露导致验证失效

Himanshu Sharma 分享了一个案例，其机器学习管道在处理合成数据时未能检测到四个数据泄露陷阱，导致交叉验证得分（0.979）虚高，而新数据得分（0.564）显著偏低。 作者通过将 region 作为分类变量、检测缺失值信号、解析日期字段、删除泄露的 customer_id 列四项修复后，交叉验证与新数据得分最终达成一致（分别为 0.833 和 0.826）。 他建议，此类检查应自动运行，将警告视为调查提示而非自动修复，并根据自身数据调整阈值，同时验证集应模拟新数据实际到达的方式构建。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。