可判定的输出,核心是让答案能被第三方按同一份标准重复核对。做法是:先确定这道题要检验的动作,再给这个动作规定一个可观察的产物,最后规定判定这个产物的规则。产物可以是填好的表格、一段改后的文案、一张结构图或一份判断说明;判定规则要写清看哪几项、每项满足什么条件算过。缺少账户数据和后台权限时,仍然可以出题,只是把题面从“看数据做决定”改成“给定数据做判断”,并明确哪些结论不能从这道题推出。
这是最常见的一种条件。你手上只有文章,没有账户、没有消费数据、没有搜索词报告。此时不要出“请优化这个账户”这类题,因为学员无法执行,你也无法判定。改成给定一份材料,让他输出一个判断。
例如文章讲的是关键词匹配方式。可以给出一组假设的搜索词与关键词对应关系,要求学员逐个标注“该搜索词会被哪类匹配方式触发”,并写出判断依据。判定时只看两件事:标注结果是否与给定规则一致,依据是否指向规则本身而不是个人感觉。假设某道题给出十个搜索词,其中六个的归属是明确的,另外四个存在歧义——这四个恰好是这道题的价值所在,判定规则里应当允许“标注为不确定并说明缺少哪条信息”也算通过。
这个设计的关键在于,题面提供的信息必须足以支撑一个确定答案,或者足以支撑“无法确定”这个结论。如果题面信息既不足以确定,又不允许答“无法确定”,那这道题就不可判定。
如果你能接触账户,题面可以升级为操作题,但仍要限定范围。做法是:指定一个具体的改动对象、一个具体的改动动作、一个观察窗口,要求学员提交改动前后的对照记录和一句结论。
判定规则分三层。第一层看动作是否按要求执行,这是可核对的事实。第二层看记录是否完整,比如是否记录了改动时间、改动内容、观察期间的其他变动。第三层看结论是否与记录一致——如果数据显示某个指标变化了,但学员的结论是另一个方向,这属于不一致,应当判为未通过,而不是判为“观点不同”。
这里有一个容易出错的地方:指标变化本身不能直接证明是这次改动造成的。同一观察窗口内可能还有预算调整、时段变化、竞争对手动作或季节性波动。所以判定规则里应当要求学员写出“这次观察不能排除的其他解释”,把这一项作为通过条件之一。这不是为难人,而是让输出真正可判定——一个只写“改了之后变好了”的答案,无法被复核。
判断该用哪种出题方式,看一个标准就够了:给定题面后,是否存在一个不依赖学员额外信息的正确答案。存在,就出判断或计算题;不存在,就必须先补材料,或者把题目改成开放式的方案设计并单独规定判定维度。
举一个假设的例子说明这个分界。假设文章讲的是否定关键词的设置思路,你想检验学员是否理解。如果题面只写“请说明如何设置否定关键词”,那答案可以无限展开,判定只能靠主观打分,不同人给出的分数很难一致。如果题面给出一组假设的搜索词和对应的业务范围,要求学员挑出应当加入否定的词并说明理由,那么判定就可以落到“挑出的词是否落在业务范围之外”这一条上,通过与否有据可依。
补材料的动作本身也有结果。当你发现某道题缺少判定依据时,下一步不是降低判定标准,而是回到题面,补上那条缺失的信息,或者把该题拆成一道更小的题。这个动作会直接改变后续题目的设计方式:你会更早地检查题面信息是否闭合,而不是等学员交上来才发现无法判分。
很多实操题不可判定,不是因为题难,而是因为判定标准没有写出来。学员看到的是问题,出题人心里有一套答案,双方对“什么算对”的理解不一致。
把判定规则写进题面,至少包含三项:
这样做之后,学员在作答时就知道自己会被怎么检查,出题人在判分时也有统一口径。对于同一批学员,判定结果才具备可比性。
有些知识点本身就不适合转成有唯一答案的实操题,比如预算分配的取舍、创意方向的判断。这类内容可以出成“给定约束下的方案选择”,判定重点放在约束是否被满足、取舍理由是否与约束一致,而不是放在方案本身是否“最优”。
另外,当题面涉及平台规则时,只使用你手头材料中明确写出的规则,不要凭印象补充具体阈值或接口行为。如果材料没有写,就把这一条列为“题面未提供,不作为判定项”。这样处理虽然缩小了题目范围,但保证了判定结果站得住,也避免了把不确定的信息当成标准答案传下去。