损失函数、基线与模型评估

研究目的：区分线性分数、概率与几率的变化。

1. 在“先提交预测”中选择判断，点击“开始验证”。
2. 把“线性分数 z”依次设为 0、1、2；记录预测概率和几率。
3. 停在 z=2，点击“检查并记录”；需要时打开“练习提示”。

观察与比较：固定同一 Sigmoid 映射，只变 z。比较每次增加 1 时的概率增量，检查它是否恒定。

研究目的：用同一真实标签比较“自信地错”付出的损失。

1. 选择预测，点击“开始验证”；此时 y=1、p=0.90。记下起始损失。
2. 只把“预测概率 p”改为 0.50、0.10，记录每个损失；标签保持 1。
3. 停在 y=1、p=0.10，点击“检查并记录”，再核对 −ln(p)。

观察与比较：第一轮只变 p。损失刻画概率与标签的相容程度；数值越小越好，但一个样本不能证明泛化能力。

研究目的：为稀少事件建立必须超过的简单基线。

1. 先用 120 个正例、880 个负例手算全猜留任的准确率，再提交预测。
2. 点击“开始验证”，读出全猜留任的准确率，以及人人 p=0.12 的交叉熵。
3. 把常数概率基线与示例模型的交叉熵并排记录，点击“检查并记录”。

观察与比较：固定同一批 1000 条记录，比较基线与模型。88% 是硬分类准确率；p=0.12 是用于概率损失的另一个基线。

研究目的：把阈值选择连接到漏报与人工复核负担。

1. 选择预测并点击“开始验证”；在 t=0.50 时记录 TP、FP、FN、TN。
2. 只把“报警阈值 t”降到 0.20，再记录四格表；计算报警人数 TP+FP。
3. 比较精确率与召回率，在 t=0.20 点击“检查并记录”。

观察与比较：同一批标签与预测概率不变，只变阈值。总人数和实际正例数应不变；观察新增报警中有多少误报。

研究目的：遇到空名单时，先检查指标分母。

1. 选择预测并点击“开始验证”；先记录 t=0.50 的报警人数与精确率。
2. 把“报警阈值 t”移到最右端 1.01，确认报警人数为 0。
3. 区分精确率与召回率的显示，点击“检查并记录”。

观察与比较：固定标签与分数，只升高阈值。精确率的分母随名单变化，召回率的分母仍是 120；1.01 用来演示空名单。

研究目的：分开评价排序能力与概率质量。

1. 选择预测并点击“开始验证”；在 a=1 记录 AUC、交叉熵和 Brier 分数。
2. 只把“分数锐化系数 a”改为 2，再记录三项指标与校准图。
3. 在 a=2 点击“检查并记录”；结合对角线说明概率刻度发生了什么。

观察与比较：同一标签与记录不变，正单调变换保留排序。AUC 不变，不代表交叉熵、Brier 或箱内事件率也不变。

研究目的：检验成本公式的假设，并区分理论阈值与验证选择。

1. 选择预测并点击“开始验证”；记录 C_FP=1、C_FN=10 时的理论阈值。
2. 仅把“漏报成本 C_FN”设为 20；比较理论阈值与绿色样本最优阈值。
3. 在成本保持 1、20 时，将 t 从 0.50 调到约 0.048，比较当前总成本，再点击“检查并记录”。

观察与比较：先只变漏报成本，再固定成本只变 t。滑块步长为 0.001，0.048 是 1/21 的近似；经验最优值在实际分数切点及空名单情形中比较得到。

研究目的：在固定复核容量下，报告名单质量和覆盖范围。

1. 选择预测并点击“开始验证”；在 k=100 记录事件数、Precision@100 与召回率。
2. 只把“名单人数 k”改为 50、200，比较三种容量下的事件数与比例。
3. 回到 k=100，点击“检查并记录”；在自己的笔记中写下用途与局限。

观察与比较：排序、标签和同分规则不变，只变 k。事件总数仍为 120；较大的名单通常找回更多事件，但精确率不保证单调。