Towards Data Science· Himanshu Sharma·· 3 小时前AI 评分47
My Machine Learning Pipeline Cheated, and Cross-Validation Never Noticed
My Machine Learning Pipeline Cheated, and Cross-Validation Never Noticed
AI 导读
一个基于数据类型(dtype)的机器学习流水线在处理合成数据时未能检测到四个数据泄露陷阱,导致交叉验证得分(0.979)远高于新数据得分(0.564)。作者通过添加四个修复措施(将 region 作为分类变量、检测缺失值信号、解析日期字段、删除泄露的 customer_id 列)后,交叉验证与新数据得分最终达成一致(0.833 和 0.826)。
来源:Towards Data Science · towardsdatascience.com