损失函数、基线与模型评估
研究问题：一个离职预测分数，在什么情况下才对研究和决策有用？本课分别检查概率、排序和名单，避免用一个“高准确率”回答所有问题。
选择你的入口
- 零代码入门：按页内提示先选预测，再点“开始验证”。先完成实验 01–05，读懂概率、损失、基线和混淆矩阵；再做 06–08 的排序、成本与容量。
- 有 Python / R 基础：完成网页后，在学生代码包比较常数基线、逻辑回归与神经网络，并用固定验证概率检查阈值。两处数据不同，比较方法而不核对相同数值。
每项记录保留“事前判断、参数、观察值、解释、局限”。先作判断，才能看见自己的直觉在哪里需要修正。
实验 A：概率更自信，损失会更小吗？
- 步骤：在实验 01 把分数 z 从 0 调到 2。在实验 02 保持 y=1，比较 p=0.9 与 p=0.1；然后固定 p，只改变真实标签。
- 观察：记录 Sigmoid 输出与单样本交叉熵。概率提高时，损失是否总是下降？
- 受控比较：一次只改变分数、预测概率或标签中的一项，说明哪些值保持不变。
- 思考：当真实标签为 1，为什么 −ln(p) 会惩罚接近零的概率？输出 0.8，能否直接证明现实中类似个体有 80% 发生事件？
Sigmoid 提供 0 与 1 之间的输出形式。校准还需要数据证据；“像概率”和“概率准确”不是同一个保证。
实验 B：88% 准确率够好吗？
先算再点：在 1,000 条教学记录中，只有 120 条离职。全部预测留任，会判对多少条，又漏掉多少事件？
- 步骤：完成实验 03 的基线；在实验 04 对比 t=0.50 与 0.20，记录 TP、FP、FN、TN、召回率和名单人数。
- 观察：阈值降低后，哪些人新增进入名单？召回与误报怎样变化？精确率是否必然一步步提高？
- 受控比较：固定样本、标签与模型分数，只改变阈值。阈值变化不代表模型重新学到了信息。
- 思考：在实验 05 把阈值设为 1.01，为什么空名单的精确率未定义？“没有误报”为什么不能写成“精确率 100%”？
88% 是这组虚构数据的朴素基线，不是现实员工离职率的估计。报告成绩前，先交代类别比例、分母和比较对象。
实验 C：排序、概率和行动是同一件事吗？
- 步骤：在实验 06 比较锐化系数 a=1 与 a=2 的 AUC 和交叉熵。在实验 07 设误报成本 1、漏报成本 20，比较理论阈值与样本内经验最优阈值。实验 08 固定 k=100，查看名单质量。
- 观察：排序不变时，概率损失是否仍可改变？相同模型在不同成本或容量下，选择是否相同？
- 受控比较：锐化实验保持样本排序不变；成本实验只改变成本假设；容量实验明确固定名单大小。不要把三个不同问题混成一组优劣排名。
- 思考：为什么 AUC 不能证明概率已经校准？为什么在这批数据上找到最优阈值，仍要用独立数据评估冻结后的方案？
C_FP / (C_FP + C_FN) 的简化公式要求二元行动、适当校准的概率、固定非负错误成本且不同时为零，以及正确决策成本为零；额外行动成本、干预收益差异和容量限制会改变问题。它不是通用管理规则。
留下什么，怎样迁移到研究？
完成一张评价卡：事件比例与基线、主要指标及理由、阈值或名单容量、误报与漏报的含义、选择规则所用的数据、最终评估边界。至少用一组实际操作数字支持结论。
可选加练约 10–15 分钟：假设每月只能复核 100 人，比较“固定阈值”和“固定名单”各回答什么问题，写出复核后的流程。高风险不等于高干预收益，教学名单不能用于真实员工决定。
关联阅读：管理学文献导读。按第 2 课的阅读路线选文献，把实验观察与论文的研究主张作对照。