量化验收标准被建议增加FAR和FRR阈值检测
热点事件持续更新
量化验收标准被建议增加FAR和FRR阈值检测
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
审计发现现有量化验收标准普遍缺失对假接受率和假拒绝率的检测,可能导致模型性能在量化后出现不可接受的下降。 审计者Maxim Podstrechnyy称,其审查的十份量化验收指南均只依赖准确率等阈值无关指标,未包含在继承阈值下测量的假接受率(FAR)和假拒绝率(FRR)。在人脸验证场景中,量化后FAR和FRR显著上升,但准确率指标仍显示通过。 作者建议在验收流程中增加两项检测:首先,在继承阈值下报告FAR和FRR作为诊断;其次,在量化模型上重新校准阈值后,再次测量FAR和FRR作为验收标准。
AI 根据报道生成 · 2 小时前更新
最新进展10月17日 22:00
量化验收标准缺失阈值漂移检测:建议补充FAR和FRR测量报道时间线
沿着报道,了解事件的不同侧面。
10月17日
- Towards Data Science精选量化验收标准缺失阈值漂移检测:建议补充FAR和FRR测量
作者审计了十份量化验收指南,发现所有标准均基于准确率等阈值无关指标,未包含在继承阈值下测量的假接受率(FAR)和假拒绝率(FRR)。在人脸验证场景中,int8量化后FAR从0.003升至0.0104,FRR从0.0582升至0.0745,而准确率指标仍显示通过。作者建议在验收流程中加入FAR和FRR在继承阈值下的测量,并在量化模型上重新校准阈值后再次测量,以确保决策边界未发生不可接受的偏移。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。