概念索引
从中文问题出发，也可以用英文术语搜索。每个概念都连回一个可以操作的实验。
泛化与数据泄漏 · Generalization & Leakage
泛化关注模型在目标范围内的未见数据上表现如何。数据泄漏是本不应该参与开发的信息进入了训练或选择流程，例如事后特征、跨边界的同一单位，或全数据预处理。
要问：这项信息在 t₀ 真的可得吗？测试独立单位与研究的推广对象一致吗？去第 1 课核对。
训练、验证、测试 · Train / Validation / Test
这是数据在研究流程中的职责。训练用于拟合，验证用于选方案，最终测试用于冻结后的独立评价。数据职责由实际使用决定，文件名不提供独立性保证。
交叉验证也不能免除时间、分组与预处理的边界要求。查看数据职责实验。
损失函数 · Loss function
损失把预测与观测之间的差异转成优化目标。训练算法沿着这个目标调整参数。用于训练的损失，与最后决定业务行动的指标和成本可以不同，但它们之间的关系需要说清。
二分类交叉熵特别惩罚自信的错误。操作概率与损失。
AUC、校准与阈值 · Ranking / Calibration / Threshold
排序好、概率准、行动合适，是相关但不同的问题。单调改变概率可能保留排序，却改变校准与阈值结果。阈值应围绕成本、资源和用途选择，且选择过程只使用开发数据。
梯度与学习率 · Gradient & Learning rate
梯度给出当前参数附近损失增长最快的方向；梯度下降沿反方向走。学习率决定每次更新的尺度。数值差分可以检查可微位置上的解析梯度，但需要留意数值精度与不可微点。
过拟合、正则化与早停 · Overfitting / Regularization / Early stopping
训练表现持续改善而验证表现恶化，是值得调查的过拟合信号。正则化限制拟合方式；早停通过验证信息选择训练位置。两者仍需要公平比较和独立最终评估。
信度与效度 · Reliability & Validity
稳定地得到相同结果，不代表得到了应有的测量。κ 是编码一致性的一个工具；效度则需要围绕构念、解释和用途组织多种证据。单一分数不能涵盖所有效度问题。
关联、预测与因果 · Association / Prediction / Causation
关联描述共同变化；预测检验对未见结果的预报；因果讨论改变某个因素会如何改变结果。预测准确率不能单独回答干预效果。研究结论必须与所使用的设计和假设相称。