神经网络与训练
研究问题：增加网络容量或训练时间，什么时候帮助预测，什么时候只让训练数据更好看？把网络拆成可以改变、观察和核对的计算。
选择你的入口
- 零代码入门：先做实验 01 单神经元、03 学习率、05 过拟合、06 正则化；看懂方向和比较条件后，再补 02 梯度与 04 容量。最后完成 07 冻结方案与研究迁移卡。
- 有 Python / R 基础：先完成网页的控制变量练习，再用学生代码包运行基线和单因素比较。网页是双输入、双隐藏层示例；代码包是七特征、单隐藏层示例，不能直接对照两者数值。
网页训练轨迹来自固定合成数据和预先计算结果；当前权重下的图形在浏览器计算。它不是在网页里实时重训大型模型。
实验 A：改一个权重，究竟改了什么？
- 步骤：在实验 01 固定 y=1，把 w₁ 从 0.8 调到 1.8，记录概率、损失与梯度；然后保持权重不变，只把 y 改为 0。
- 观察：预测概率会因为真实标签改变而改变吗？损失和梯度的方向呢？
- 受控比较：第一轮固定输入、w₂、偏置与标签，只改 w₁；第二轮固定模型，只改标签。
- 思考：为什么“概率变大”不能单独写成“模型变好”？一个隐藏单元为什么不自动对应一个管理学理论构念？
进阶核对：在实验 02，于同一参数位置比较解析梯度与中心差分，再点一次更新；将输出权重 v 改为负值，重做比较。不要用更新前的解析梯度对照更新后的差分。在 ReLU 折点处，不应期待差分等于程序约定导数。
实验 B：走得快，是否就收敛得好？
- 步骤：在实验 03 分别设 η=0.05、0.8、1.2，每次从相同初值开始走 10 步。
- 观察：记录第 10 步的 w 与 L；看距谷底的绝对距离是否缩小，而不只看有没有跨过谷底。
- 受控比较：固定 L(w)=(w−1)²、初值 w=−2 和步数，只改变学习率。
- 思考：为什么振荡仍可能收敛？用 |1−2η| 解释这个例子后，能否把同一个学习率阈值推广到所有网络？
在实验 04，再计算 2–8–8–1、2–16–16–1 与逻辑回归的参数数量。每层记得计入偏置；数量表示可调整多少参数，不能独自证明样本外表现更好。
实验 C：公平地比较早停与正则化
- 步骤：实验 05 先在 λ=0 时查看第 100 与 1000 轮，再点“恢复早停权重”。实验 06 分别把 λ=0 与 0.003 走到第 1000 轮，随后再比较各自早停模型。
- 观察：同时记录训练/验证交叉熵、最佳轮次、首次停止轮次。训练损失继续下降时，验证损失是否也下降？
- 受控比较：固定数据、初始化、网络、优化器与学习率。先比较相同轮次，再单独报告各自早停；不要把这两类结果混为一个结论。
- 思考：曲线显示的是不含惩罚项的交叉熵，能否与包含 L2 的训练目标混用？查看验证曲线选模型后，验证集是否仍是最终测试？
每 20 轮显示一个检查点，不表示早停只每 20 轮检查。这里使用 Adam + L2，不能将它称为 AdamW。
先锁定，再写研究结论
在实验 07 写下方案和评价标准后，再打开教学测试。报告损失差的方向、大小与区间；把初始化波动和目标人群抽样不确定性分开。区间包含零不能证明等效，反复重置网页也不能恢复已经看过的测试独立性。
完成研究迁移卡：推广对象、简单基线、特征可得边界、开发阶段选择规则、不确定性来源，以及理论主张的边界。请用至少一组受控比较数字解释“为什么值得或不值得增加网络复杂度”。
可选加练约 15–25 分钟：在代码包中只选隐藏单元、学习率或 L2 的一项比较，运行前写方向预测，运行后保留完整结果。结果不支持预测也应记录；开发数据上的提升不能直接写成现实组织收益。
关联阅读：管理学文献导读。按第 3 课的阅读路线选文献，把实验观察与论文的研究主张作对照。