四课时导学 · COURSE WIKI

研究任务与可信的数据切分

研究问题:如果要在某一天预测未来 12 个月的离职,哪些人、哪些字段和哪些记录可以进入分析?先把边界说清楚,再考虑模型。

打开第 1 课学生实验

选择你的入口

  • 零代码入门:先做实验 01 时点、02 切分、05 泄漏排查,再填写实验 06 设计卡。不会 Python 或 R 也能完成。
  • 继续探索:补做实验 03 拟合与 04 数据职责。重点观察“训练表现变好”和“评价更可信”为什么是两回事。
  • 有 Python / R 基础:完成网页后,到学生代码包核对训练与验证角色、数据字典和标准化来源。代码包是另一组固定开发数据,不是本页员工面板的代码复现。

实验 A:同一个人,移动时点会改变什么?

先预测:这名员工在 2025 年 6 月 15 日提交辞呈、7 月 10 日离职。7 月初仍在职,是否就应该进入“提前预警”的样本?

  • 步骤:在实验 01 先选预测,把 t₀ 从 4 月移到 2 月,再移到 7 月和 8 月;最后回到 4 月。
  • 观察:分别记录可用历史特征、样本是否纳入、排除原因和标签。不要只抄最后的 0 或 1。
  • 受控比较:员工及其真实经历不变,只改变预测时点。区分“字段不可用”“不属于风险集”“结果尚未完整观察”。
  • 思考:一项绩效虽然描述去年,但今年 3 月才发布,能否用于今年 2 月的预测?已提交辞呈与已离职,为什么可能有不同排除原因?

标签窗口严格为 (t₀, t₀ + 12 个月]。信息描述过去,不代表过去就能拿到;已知进入离职流程的人是否纳入,要由预先定义的研究用途决定。

实验 B:测试集究竟代表谁?

先预测:随机按行、按员工分组、按未来时间,哪一种能让两侧员工完全不重叠?哪一种回应“预测未来”?

  • 步骤:在实验 02 依次切换三种方案;记录训练数、测试数及两侧共有员工数,并追踪员工 E 的四条记录。
  • 观察:同一个人是否跨越两侧?训练记录是否来自测试时点之后?
  • 受控比较:固定 6 人 × 4 年的示意数据,只换切分方案。本实验计算分配与重叠,不训练分类器,也不生成 AUC。
  • 思考:按员工隔离是否已经证明未来有效?若目标是“未见过员工的未来”,还缺哪一道时间约束?

按行、按人、按时间回答不同推广问题。真实纵向数据还要检查:训练标签在验证或测试的预测时点之前是否已经成熟。

实验 C:训练更贴合,证据会更强吗?

  • 步骤:在实验 03 记录 α=0、0.5、1 的训练 MSE 与未见样本 MSE,再重置确认数值能复现。在实验 04 切换验证折,指出每轮谁拟合预处理、谁选择模型。
  • 观察:训练误差与未见误差是否同向?一个黄色验证折退出训练后,填补、标准化与特征筛选是否也要重做?
  • 受控比较:α 实验只改变固定合成拟合的混合程度;五折图只改变数据职责,两者都不能提供现实组织的效果证据。
  • 思考:若你看了未见点误差再选择 α,这些点已经承担什么角色?根据最终测试调阈值后,为什么不能继续称它为独立测试?

训练用于拟合,验证用于选择,最终测试用于冻结后的独立评估。换一个数据集名称,不能恢复已失去的独立性。

留下什么,怎样迁移到研究?

完成实验 05 的一个泄漏修复,再完成一张六字段设计卡:研究问题与用途、分析单位与风险集、t₀ 与标签窗口、特征可得边界、推广对象与切分、训练/验证/测试职责。

可选加练约 10–15 分钟:让同伴任选一条记录和一个字段,只凭设计卡判断“是否入样、何时可用、进入哪一侧”。若答案仍要靠口头解释,就把缺失的边界补进卡片。

继续阅读:损失函数与模型评估 · 数据泄漏与泛化概念

关联阅读:管理学文献导读。按第 1 课的阅读路线选文献,把实验观察与论文的研究主张作对照。