同一个人,为什么不总能进入样本?
先预测 → 移动时点 → 解释特征与样本资格的不同变化。
研究目的:把特征可得、风险集资格和未来标签分开判断。
- 先选择左侧预测。点击“重置”,记录 4 月的可用特征与风险集状态。
- 把“观察时点 t₀”依次移到 2、3、4 月;逐项核对测量日期与可得日期。
- 再移到 7、8 月,比较排除原因;点击“核对理由”,在下方写结论。
观察与比较:同一员工、同一离职事件,只变 t₀。记录每月可用特征数,以及标签是 1 还是空值;不要把“未纳入”写成 0。
加做挑战 · 完成基本任务后再试
如果绩效推迟到 5 月发布,4 月能否使用?只改可得日期,在结论中说明哪项判断会变。
思考:2 月与 4 月各有几个可用特征?
2 月只有薪酬档案可用;4 月薪酬、加班汇总和绩效均可用。辞呈状态始终作为目标后果排除。7 月仍在职但已进入离职流程,8 月则已经离职。
同一示意员工:2025.06.15 提交辞呈,2025.07.10 主动离职。窗口严格为 (t₀, t₀ + 12 个月];两种时间都必须早于 t₀。
文字只留在当前页面内存;刷新即清空,不上传、不自动保存。
你的测试集,真的有“新人”吗?
同一份 6 人 × 4 年数据,比较三个切分问题,不比较虚构的模型成绩。
研究目的:让测试边界对应“新员工”或“未来年份”的推广主张。
- 先选择预测。在“切分方法”中选“随机按行”,记下两项计数。
- 改选“按员工分组”,再选“按未来时间”;每次追踪员工 E 的四条记录。
- 点击“核对理由”;用下方结论框写出哪种方案支持哪个推广对象。
观察与比较:固定 24 条记录,只变切分方法。比较训练/测试数量、共有员工数,以及测试年份是否晚于训练年份。
加做挑战 · 完成基本任务后再试
要测试“新员工的未来”,请画出同时留人、留时间的方案,并注明哪些训练标签在测试预测前已成熟。
思考:三种切分的数量和边界对上了吗?
按行是 18/6 条、共有 6 名员工;按员工是 16/8 条、共有 0 名员工;按时间是 18/6 条、共有 6 名员工。无人重叠不等于已经验证未来时期。
6 人 × 4 年的固定示意记录。青色为训练,黄色为测试。此互动计算分配与重叠数量,不训练分类器,也不产生 AUC。
文字只留在当前页面内存;刷新即清空,不上传、不自动保存。
训练误差为零,能不能直接交卷?
先预测误差方向,再观察实时计算的训练点与未见点表现。
研究目的:检验更贴合训练点是否必然改善未见样本表现。
- 先选择预测。点击“重置”,记录 α=0 的训练 MSE 与未见样本 MSE。
- 拖动“拟合程度 α”,分别停在输出 0.50、1.00;各记录两项 MSE。
- 观察绿线如何穿过蓝圆点与黄菱形,再重置复算;点击“核对理由”。
观察与比较:固定训练点、未见点与误差定义,只变 α。把三个设置并排记录,比较两种误差,不只看曲线是否贴点。
加做挑战 · 完成基本任务后再试
若根据黄点误差挑选 α,这批点承担了什么职责?下一次最终评估需要什么新数据?
思考:贴满蓝点为何还不能交卷?
α=1 时训练 MSE 为 0,但未见样本 MSE 高于 α=0。证据限于这组固定点;看未见误差来选 α 后,这批点就承担验证职责。
蓝圆点 = 10 个训练点;黄菱形 = 9 个未见点。固定合成数据,误差由浏览器实时计算。α 是教学混合系数,未见样本用于演示,不用于选模型。
文字只留在当前页面内存;刷新即清空,不上传、不自动保存。
验证轮流换,测试要不要跟着换?
观察数据在每轮模型选择中的职责,说明哪些数据用于训练、验证和测试。
研究目的:追踪每轮能学习预处理规则的数据,守住独立测试边界。
- 先选择预测。在“本轮验证折”中选“第 1 折”,写出四个训练折。
- 依次切到第 2–5 折;每轮指出黄色验证折与不变的封存测试集。
- 点击“核对理由”;在结论框写出标准化的拟合位置和应用位置。
观察与比较:固定开发集与最终测试集,只轮换开发集角色。每轮验证折不同,预处理与模型都须在当轮训练部分重新拟合。
加做挑战 · 完成基本任务后再试
若同一员工跨多个年份,如何把此轮换图改为按员工分组或按时间向前验证?说明它对应的推广主张。
思考:换验证折时,哪些规则要重学?
每轮只从四个训练折重学填补、标准化与模型参数,再应用于黄色验证折。最终测试保持封存;看过测试来调阈值会改变它的职责。
这里演示数据职责的轮换。每一轮都要重新拟合模型及其预处理。普通随机五折不自动适合员工重复记录或未来预测。
文字只留在当前页面内存;刷新即清空,不上传、不自动保存。
给四个“漂亮结果”做设计体检
先判断主要问题,再展开修复建议。类别可以重叠,不必把名称当成唯一答案。
研究目的:把“可能泄漏”变成可以执行、可以审查的修复步骤。
- 先完成 A–D 四个选择,不急着看反馈;给每题写出泄漏信息从哪里进入。
- 逐题点击“核对理由”,检查是时间、预处理、分组还是目标边界出了问题。
- 选一题,在下方结论框写“先修哪一步 → 再做什么评估”,随后展开参考解释。
观察与比较:保留每题的预测目标,只改违规环节。比较修复前后信息能否进入训练;本页不计算分数,也不预设分数一定下降。
加做挑战 · 完成基本任务后再试
给 A 或 D 再指出一个可能重叠的问题。说明为什么泄漏类别可以重叠,而修复仍需具体。
思考:修复后,分数一定下降吗?
不能事先保证。修复依据是信息边界被破坏,不是预设的分数方向。保持目标和预先规定的评价流程,重新计算并报告变化与原因。
文字只留在当前页面内存;刷新即清空,不上传、不自动保存。
为自己的研究写一张设计卡
把“预测什么”写成别人可以据此重做切分的说明,再用具体记录检验方案。
研究目的:把研究设想写成他人能照着执行的数据与评估方案。
- 选择一个虚构或去标识的研究问题,按顺序填写六个字段。
- 点击“检查六个字段是否已填写”;补齐空项,再展开“研究设计提问”。
- 用一条假想记录走完“是否纳入 → 特征可用 → 标签成熟 → 切分归属”,修订有歧义的字段。
观察与比较:固定研究用途,先只检查一个边界条件。六项非空仅代表填完,不代表设计正确;用具体记录检验是否能重复执行。
加做挑战 · 完成基本任务后再试
把推广对象由“已有员工”改为“新企业”。只在卡片中修订受影响的单位、切分与不确定性方案。
研究设计提问
- 其他人能判断某一行是否符合风险集吗?
- 其他人能凭时间戳判断某一个字段当时是否可用吗?
- 切分的独立单位和研究声称的推广对象一致吗?
- 训练标签在验证 / 测试预测前已完整观察吗?
- 预处理和模型选择只使用开发数据吗?
- 结论是否越过预测证据,变成未经识别的因果主张?
填写完整后,请按以上问题和同伴或教师讨论设计。
所有输入只在当前页面中暂存。关闭或刷新前,请自行复制需要保留的文字。