跳到正文
热点事件持续更新

量化验收标准被建议增加FAR和FRR阈值检测

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

审计发现现有量化验收标准普遍缺失对假接受率和假拒绝率的检测,可能导致模型性能在量化后出现不可接受的下降。 审计者Maxim Podstrechnyy称,其审查的十份量化验收指南均只依赖准确率等阈值无关指标,未包含在继承阈值下测量的假接受率(FAR)和假拒绝率(FRR)。在人脸验证场景中,量化后FAR和FRR显著上升,但准确率指标仍显示通过。 作者建议在验收流程中增加两项检测:首先,在继承阈值下报告FAR和FRR作为诊断;其次,在量化模型上重新校准阈值后,再次测量FAR和FRR作为验收标准。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月17日
  1. Towards Data Science精选
    量化验收标准缺失阈值漂移检测:建议补充FAR和FRR测量

    作者审计了十份量化验收指南,发现所有标准均基于准确率等阈值无关指标,未包含在继承阈值下测量的假接受率(FAR)和假拒绝率(FRR)。在人脸验证场景中,int8量化后FAR从0.003升至0.0104,FRR从0.0582升至0.0745,而准确率指标仍显示通过。作者建议在验收流程中加入FAR和FRR在继承阈值下的测量,并在量化模型上重新校准阈值后再次测量,以确保决策边界未发生不可接受的偏移。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。