文本测量效度与研究设计
研究问题：把员工评论变成一个数字之后，怎样判断它测到了什么，又能支持怎样的结论？本课从编码规则出发，把证据接回研究设计。
选择你的入口
- 零代码入门：依次完成六个任务。先判断、再切换规则或计数、最后写解释；完成后勾选，记下自己的学习进度。
- 有 Python / R 基础：核心任务仍在浏览器完成。可在自己的本地练习中用四格计数复算 κ 或汇总比例，但先写清边界和未定义情形；下载代码包不提供文本分类训练器，也不调用在线模型。
所有评论与计数均为教学虚构。八条例句用于检验规则边界，不能估计真实文本分类准确率。
实验 A：同一句话，只换规则会怎样？
- 步骤：任务 01 先用“词语命中”逐句预测，再切换“构念规则”和“保守复核”。记录至少两种系统性误判。
- 观察：出现“关心”是否就算高组织支持？否定、转折、组织口号和同事行为分别改变了什么？
- 受控比较：文本不变，只换编码规则。不要同时重写句子，否则无法判断差异来自哪一步。
- 思考：写出的规则能否告诉陌生编码者“主体是谁、否定作用在哪里、何时转人工复核”？
写下一条可执行的编码规则，再写一条目前规则仍难处理的边界例句。隐藏单元或关键词命中，都不能直接替代构念定义。
实验 B：95% 一致率为什么仍可能有问题？
- 步骤：任务 02 记录基准四格表、观察一致率 pₒ、边际期望 pₑ 和 κ；切换“高一致 / 低 κ”，最后测试“全部同类”与“空样本”。
- 观察：一致率提高时，期望一致率是否也改变？κ 的分母什么时候为零？
- 受控比较：这些预设矩阵用于比较不同类别比例下的统计含义，不是同一批编码者能力提高的因果实验。
- 思考：未定义能否写成 κ=0？两位编码者稳定地给出相同标签，是否已经证明标签正确测量了组织支持感？
一致性关注编码稳定性，效度关注拟议解释与用途的证据。在任务 03 区分内容、收敛、区分、理论关系和隔离测试分类表现，并为一项证据补上替代解释及补证方案。
实验 C：相同比例，能同样有把握吗？
- 步骤：任务 04 依次比较 2/2 与 20/20，再看 7/18 和 0/0；记录原始比例与演示性收缩结果。
- 观察：比例相同、评论数不同，哪些不确定性仍不同？没有评论与观察到零条高支持评论为什么不能合并？
- 受控比较：2/2 与 20/20 保持原始比例不变，只增加数量。收缩使用教学预设总体值与强度，不代表从真实数据得到的先验。
- 思考：增加评论数能否修复“谁愿意发表评论”的选择偏差？评论高支持表达占比能否直接称为全体员工平均支持感？
写下可复核的企业—年份汇总规则：分母、去重、时间边界、待复核处理、无评论与少评论处理。若设最低评论数或使用收缩，要预先说明依据并检查敏感性；某个教学阈值不是通用标准。
留下什么，怎样迁移到研究？
在任务 05 把“支持感与离职负相关，所以提高支持感能降低离职”改写为证据实际支持的结论。随后完成任务 06：围绕“未见过企业的未来离职”，每次只修复一个设计问题。
最后写下约 100 字的研究结论与边界，覆盖目标人群、预测时点、测量证据、评价方法和不能声称的内容。高 F1 可支持标签复现能力；样本外增益可支持预测贡献；若主张干预有效，还需明确干预及可辩护的识别设计。
可选加练约 10–15 分钟：让同伴只看你的规则、分母和结论，找出一个可替代解释，并写一条能区分解释的补证方案。离开前导出本页练习记录。
关联阅读：管理学文献导读。按第 4 课的阅读路线选文献，把实验观察与论文的研究主张作对照。