bRavePy Cathy第 4 课 · 实操练习版
LESSON 04 · MEASUREMENT LAB

你来决定:
这份证据够不够?

6 个小实验。先预测,再操作,再解释。每一步留下一个可复核的判断,最后写出你的研究边界。

所有评论与计数均为教学虚构
YOUR CHECKLIST
0 / 6

写出自己的解释后再勾选,记下学习进度。

填写内容只在当前页面;离开或重置会清空。可在末尾导出练习记录。

MISSION 016–8 分钟

修订一份会误判的编码手册

任务目标找出至少两种词语命中规则的系统性错误。
控制实验先选“词语命中”,逐句预测;再改为“构念规则”,只改变规则,不改变文本。

研究目的:让编码规则处理主体、否定和转折,而非只命中词语。

  1. 点击“词语命中”,记下第 2、5、8 句的标签,并先写出你的判断。
  2. 只切换到“构念规则”,逐句比较这三条;找出改变标签的上下文证据。
  3. 点击“保守复核”,记录新增的复核案例;在下方写一条规则,再展开参考解释。

观察与比较:八条文本不变,只变编码规则。观察错误类型和复核负担;“需复核”不是新的真值,也不能由此估计真实准确率。

加做挑战 · 完成基本任务后再试

自己写一个与第 2 句只差一个否定词的句子。用你的手册分别编码,检验规则能否一致执行。

固定虚构句子上的规则玩具;没有调用语言模型,也不是训练得到的分类器。

写下一条能指导陌生编码者的规则

MISSION 026–8 分钟

让 95% 的一致率露出盲区

任务目标解释“高观察一致率”和“高 κ”为何不是同一件事。
控制实验先记录基准矩阵,再点击“高一致 / 低 κ”。最后分别测试全同类与空样本。

研究目的:解释一致率、类别边际与 κ 的关系。

  1. 点击“原始示例”,记四格计数和 pₒ、pₑ、κ;用工作区算式核对 N=200。
  2. 点击“高一致 / 低 κ”,记录同样数值,再比较类别分布。
  3. 依次点击“全部同类”“空样本”,区分未定义的原因;最后在记录框解释。

观察与比较:两组预设均为 200 条,但边际分布与分歧数同时改变;不能把 κ 的变化归因于单一变量。空样本另作边界检查。

加做挑战 · 完成基本任务后再试

在原始示例上,把左上和右下各设为 85,另两格设为 15。保持 N=200、pₒ=0.85,观察平衡边际后的 κ。

教学虚构计数;行 = 编码者 A,列 = 编码者 B
B:高支持B:其他
A:高支持
A:其他
κ = (pₒ − pₑ) / (1 − pₑ)
观察一致率 pₒ
边际期望 pₑ
Cohen’s κ

记录数字,也记录解释

MISSION 036–8 分钟

把五份证据放对位置

任务目标区分构念论证、标签复现与理论关系。
控制实验逐项选择,立即读理由;再为你最有信心的一项写出一个替代解释。

研究目的:区分标签复现、构念效度与理论关系的证据用途。

  1. 依次阅读五份证据,在各自下拉框选择它直接支持的类别。
  2. 读每题出现的理由;挑一题先不改证据,只修改你对它的结论。
  3. 在下方写出“仍无法排除的解释 + 一项补证方法”,再展开参考解释。

观察与比较:证据文本不变,比较不同结论是否越界。重点观察为什么高 F1 仍不能替代构念证据,以及相关为何不等于因果。

加做挑战 · 完成基本任务后再试

为“与支持感量表相关”增加一个相近构念作对照。说明怎样的结果会削弱原解释。

写下一条补证方案

MISSION 046–8 分钟

同为 100%,为什么不能同样有把握?

任务目标区分点估计、抽样不确定性和系统偏差。
控制实验对比 2/2 与 20/20:保持比例不变,只增加评论数。再查看 7/18 与零评论。

研究目的:在相同比例下比较信息量,并把无数据与低分分开。

  1. 依次点击“2 / 2”“20 / 20”,记录原始比例、收缩比例和 Wilson 区间。
  2. 点击“7 / 18”,再把“评论总数 n”设为 36、“高支持数 k”设为 14,比较相同比例。
  3. 点击“0 / 0”,核对无数据的显示;在下方写出分母和稀疏评论处理规则。

观察与比较:前两组都为 100%,后两组都为 7/18;每对只比较数量变化。收缩参数固定为 0.4 与 10;区间假设不修复选择偏差。

加做挑战 · 完成基本任务后再试

如果 20 条评论都来自同一员工,仍可按 20 个独立观测解释区间吗?写出需要补充的独立单位或去重规则。

2
2

分母是该企业—年份内所有符合纳入条件的评论;“不相关”保留在分母,“待复核”须按预先规则处理并报告。这里假设全部已复核。此值是高支持表达占比,不等于全体员工的平均支持感。

原始比例 k/n
演示性收缩后
评论数

p̃ = (k + 10 × 0.4) / (n + 10)

0.4 与 10 是教学预设,不是从真实数据估计的先验。收缩改变估计,不会创造信息。

写下一个可复核的汇总规则

MISSION 056–8 分钟

把越界结论改写成诚实结论

任务目标判断关联、预测与干预证据分别支持什么。
控制实验三种情境逐一判断;检查研究单位、干预对象和识别假设是否变化。

研究目的:让结论强度与证据类型匹配。

  1. 读第 1 / 3 个情境,先点“关联”“预测”或“因果”,再读反馈。
  2. 点击“换一个情境 →”,对余下两种情境重复判断;记录它新增了什么设计。
  3. 在下方改写原句,分别写证据支持的结论与仍缺的识别条件,再展开参考解释。

观察与比较:这里只比较三个证据情境,没有实际估计效应。观察研究设计改变了什么,不能把随机项目效应直接改称构念的一单位效应。

加做挑战 · 完成基本任务后再试

若项目随机分配后发生大量失访,因果解释还需要核对什么?提出一项可检查的偏差来源。

支持感与离职的混杂路径示意管理质量 / 行业景气组织支持感离职?

练习:改写这句话

“文本模型发现支持感与离职负相关,所以公司提高支持感就能降低离职。”

MISSION 068–10 分钟

审一份看起来很漂亮的研究提案

任务目标把前三课的时点、切分与评估接回文本测量。
控制实验每次只修复一个设计问题。所有答案对应同一个目标:预测未见过企业的未来离职。

研究目的:把时点、切分、测量和结论边界接成一份完整方案。

  1. 完成五个“修复方案”下拉选择;每题只修一个问题,并读对应反馈。
  2. 用“已判断 / 正确”汇总定位遗漏,修订错误,再写下方约 100 字结论。
  3. 展开参考解释核对边界;完成后自行勾选,最后用页末“导出我的练习记录”保留文字。

观察与比较:推广目标始终是未见企业的未来离职。回答五项问题后,还要结合具体数据与证据完善提案。

加做挑战 · 完成基本任务后再试

把目标改成“已有企业下一年离职”。指出哪条企业隔离要求需要重新解释,哪些时间和测量边界仍保留。

写下 100 字的结论与边界