结论先行:防止人工判断被自动评分替代,不是拒绝工具,而是把“可量化部分”和“必须人工下结论的部分”在流程里分开。当关键前提未变时,可以让自动评分先跑、人工只复核异常;一旦关键前提发生变化,就必须把自动评分降级为参考值,改由人工先定性、再决定是否采信分数。判断分界线在于:评分依据的输入是否仍然代表当前业务。
自动评分成立的前提,是它依赖的字段、口径和样本仍能代表要判断的对象。如果业务结构、统计口径、数据来源都没动,自动评分可以承担初筛和排序,人工只在边界值和异常项上介入。反过来,只要出现下面任一情况,评分就失去了可比性:
这两种条件下应采取不同决策。输入未变时,自动评分可以作为决策起点;输入已变时,自动评分只能作为线索,不能作为结论。把这两类混在一起,是人工判断被悄悄替代的根源。
这一阶段的目标是效率,不是替代判断。可执行的动作是给评分设三档处理规则:高分、低分、中间模糊区。高分和低分可以直接进入下一环节,中间区强制转人工。这样做的结果是人工精力集中在真正需要判断的地方,而不是逐条重算。
需要守住的是边界条件。例如某次权重查询的评分把“外链数量”作为主要输入,而当前业务已经不再依赖外链驱动,那么这个输入即使数值没变,也已经不代表业务价值。此时应把该输入从评分权重中移出,或直接在报告里标注“仅供参考”。动作的结果是:评分不再对业务结论负责,人工判断重新回到决策位置。
当关键前提发生变化,正确顺序是反过来的:先由人工给出定性判断,再拿评分去对照,而不是让评分先给出答案。具体做法是人工先写下三条判断——对象是什么、判断标准是什么、什么情况算合格——然后再看评分是否与这三条一致。
如果评分与人工判断冲突,处理方式不是改分数,而是记录冲突原因。常见原因有三类:口径不一致、样本不具代表性、评分模型仍按旧前提计算。区分这三类原因需要证据,例如对比新旧口径下的同一批对象,看差异是系统性偏移还是个别异常。只有找到原因,才能决定是调整评分输入,还是彻底停用该评分。
假设某团队原本用统一评分判断页面质量,后来业务从“覆盖更多页面”转为“只保留高转化页面”。此时若仍按原评分排序,高分页面可能只是内容量大,而非转化好。正确动作是人工先按转化标准圈定候选,再用评分做辅助排序。结果是评分从决策依据降为排序参考,人工判断不再被替代。
个人警觉不可靠,流程约束才可复制。可落地的约束包括:在评分报告上强制标注“输入前提”和“适用条件”;对模糊区设置人工签字环节;定期抽查自动评分与人工判断的一致率,一致率下降时触发前提复核。这些动作的结果是,一旦前提变化,流程会先暴露问题,而不是让评分继续静默输出结论。
需要说明的是,请求量、抓取量或某项统计归零,不能单独证明处理正确。它也可能来自采集故障、口径调整或时间窗错位。因此这些现象只能作为触发人工复核的信号,不能直接当作判断依据。是否停用或调整自动评分,仍要回到输入前提是否成立这一条上。
最终判断标准很简单:当自动评分的输入仍代表当前业务时,它可以先跑;当输入已经不代表业务时,必须先由人工定性。守住这条分界线,人工判断就不会被自动评分替代。