你来决定:
这份证据够不够?
6 个小实验。先预测,再操作,再解释。每一步留下一个可复核的判断,最后写出你的研究边界。
所有评论与计数均为教学虚构写出自己的解释后再勾选,记下学习进度。
填写内容只在当前页面;离开或重置会清空。可在末尾导出练习记录。
修订一份会误判的编码手册
研究目的:让编码规则处理主体、否定和转折,而非只命中词语。
- 点击“词语命中”,记下第 2、5、8 句的标签,并先写出你的判断。
- 只切换到“构念规则”,逐句比较这三条;找出改变标签的上下文证据。
- 点击“保守复核”,记录新增的复核案例;在下方写一条规则,再展开参考解释。
观察与比较:八条文本不变,只变编码规则。观察错误类型和复核负担;“需复核”不是新的真值,也不能由此估计真实准确率。
加做挑战 · 完成基本任务后再试
自己写一个与第 2 句只差一个否定词的句子。用你的手册分别编码,检验规则能否一致执行。
固定虚构句子上的规则玩具;没有调用语言模型,也不是训练得到的分类器。
写下一条能指导陌生编码者的规则
“不关心”出现了“关心”但方向为低支持;“公司说关心,但没人帮忙”有口号与实际体验冲突;“同事照顾”缺少组织主体。可写:仅在组织或被明确归因于组织的主体表达关怀、重视员工的实际体验时编码为高支持;否定与转折需按作用范围解释;主体或方向不明时进入复核。
不能从这 8 条合成例句推断真实分类准确率。它们用于检验手册的边界,不是代表性测试集。
让 95% 的一致率露出盲区
研究目的:解释一致率、类别边际与 κ 的关系。
- 点击“原始示例”,记四格计数和 pₒ、pₑ、κ;用工作区算式核对 N=200。
- 点击“高一致 / 低 κ”,记录同样数值,再比较类别分布。
- 依次点击“全部同类”“空样本”,区分未定义的原因;最后在记录框解释。
观察与比较:两组预设均为 200 条,但边际分布与分歧数同时改变;不能把 κ 的变化归因于单一变量。空样本另作边界检查。
加做挑战 · 完成基本任务后再试
在原始示例上,把左上和右下各设为 85,另两格设为 15。保持 N=200、pₒ=0.85,观察平衡边际后的 κ。
| B:高支持 | B:其他 | |
|---|---|---|
| A:高支持 | ||
| A:其他 |
记录数字,也记录解释
基准:pₒ = 0.850,pₑ = 0.5312,κ ≈ 0.6800。高一致示例:pₒ = 0.950,pₑ = 0.95125,κ ≈ −0.02564。大多数评论都被判为“其他”,所以边际期望一致率也很高。
全同类:pₒ = pₑ = 1,κ 分母为零,未定义。空样本:三个统计量都未定义。两种情境不能混为“κ = 0”。
把五份证据放对位置
研究目的:区分标签复现、构念效度与理论关系的证据用途。
- 依次阅读五份证据,在各自下拉框选择它直接支持的类别。
- 读每题出现的理由;挑一题先不改证据,只修改你对它的结论。
- 在下方写出“仍无法排除的解释 + 一项补证方法”,再展开参考解释。
观察与比较:证据文本不变,比较不同结论是否越界。重点观察为什么高 F1 仍不能替代构念证据,以及相关为何不等于因果。
加做挑战 · 完成基本任务后再试
为“与支持感量表相关”增加一个相近构念作对照。说明怎样的结果会削弱原解释。
写下一条补证方案
专家审查 → 内容;与同构念量表相关 → 收敛;与相近构念比较 → 区分;与理论相关变量关联 → 理论关系;隔离测试 F1 → 分类评估。
补证示例:文本分数与离职意向的负相关可能反映总体负面情绪。可增加独立来源的支持感量表、相近构念测量,检查层级与时间匹配,并比较可区分的理论预期。单一检验不能涵盖所有效度问题。
同为 100%,为什么不能同样有把握?
研究目的:在相同比例下比较信息量,并把无数据与低分分开。
- 依次点击“2 / 2”“20 / 20”,记录原始比例、收缩比例和 Wilson 区间。
- 点击“7 / 18”,再把“评论总数 n”设为 36、“高支持数 k”设为 14,比较相同比例。
- 点击“0 / 0”,核对无数据的显示;在下方写出分母和稀疏评论处理规则。
观察与比较:前两组都为 100%,后两组都为 7/18;每对只比较数量变化。收缩参数固定为 0.4 与 10;区间假设不修复选择偏差。
加做挑战 · 完成基本任务后再试
如果 20 条评论都来自同一员工,仍可按 20 个独立观测解释区间吗?写出需要补充的独立单位或去重规则。
分母是该企业—年份内所有符合纳入条件的评论;“不相关”保留在分母,“待复核”须按预先规则处理并报告。这里假设全部已复核。此值是高支持表达占比,不等于全体员工的平均支持感。
p̃ = (k + 10 × 0.4) / (n + 10)
0.4 与 10 是教学预设,不是从真实数据估计的先验。收缩改变估计,不会创造信息。
写下一个可复核的汇总规则
2/2 和 20/20 原始比例都是 100%,但前者在独立二项假设下的区间更宽,且预设收缩更明显。增加数量可以减少这类抽样不确定性,却不能修复谁愿意写评论造成的选择偏差。
一个可行报告:以去重、已复核、时间可得且符合纳入标准的全部评论为分母;无评论记为缺失;预先设最少评论数并报告排除覆盖率;若收缩,说明总体值与强度来源并做敏感性分析。阈值 10 不是通用标准。
把越界结论改写成诚实结论
研究目的:让结论强度与证据类型匹配。
- 读第 1 / 3 个情境,先点“关联”“预测”或“因果”,再读反馈。
- 点击“换一个情境 →”,对余下两种情境重复判断;记录它新增了什么设计。
- 在下方改写原句,分别写证据支持的结论与仍缺的识别条件,再展开参考解释。
观察与比较:这里只比较三个证据情境,没有实际估计效应。观察研究设计改变了什么,不能把随机项目效应直接改称构念的一单位效应。
加做挑战 · 完成基本任务后再试
若项目随机分配后发生大量失访,因果解释还需要核对什么?提出一项可检查的偏差来源。
选择证据所直接支持的主张。
练习:改写这句话
“文本模型发现支持感与离职负相关,所以公司提高支持感就能降低离职。”
可改为:“在该样本和测量定义下,文本支持感分数与后续离职呈负向关联。这不能排除管理质量、行业景气或评论选择等替代解释。”
若有隔离测试和基线比较,可另报告预测增益。若要评估提高支持性管理的干预效果,需要明确干预、目标人群、结果窗口与可辩护识别设计;项目效应不能自动改称潜在构念的一单位因果效应。
审一份看起来很漂亮的研究提案
研究目的:把时点、切分、测量和结论边界接成一份完整方案。
- 完成五个“修复方案”下拉选择;每题只修一个问题,并读对应反馈。
- 用“已判断 / 正确”汇总定位遗漏,修订错误,再写下方约 100 字结论。
- 展开参考解释核对边界;完成后自行勾选,最后用页末“导出我的练习记录”保留文字。
观察与比较:推广目标始终是未见企业的未来离职。回答五项问题后,还要结合具体数据与证据完善提案。
加做挑战 · 完成基本任务后再试
把目标改成“已有企业下一年离职”。指出哪条企业隔离要求需要重新解释,哪些时间和测量边界仍保留。
写下 100 字的结论与边界
示例:“本研究评估评论支持感分数对新企业未来一年离职的预测增益。仅用 t₀ 前已可得文本,留出企业全部历史记录并进行时间外测试。先以独立标注、构念证据和分组误差检查测量,再与无文本基线比较,并报告企业层面的不确定性。结论限于目标群体的测量与预测,不能据此声称提升支持感会降低离职。”