问题一总结:
在“无限制”模式下,最优方法是通过梯度下降思想结合动态调整步长。具体步骤为:

1. 估计梯度方向:通过微小扰动参数,观察损失变化以确定下降方向(类似有限差分法)。

2. 沿负梯度方向移动:每次沿损失下降最快的方向更新参数。

3. 动态调整步长:初始使用较大步长快速接近目标,后期减小步长避免震荡,确保稳定收敛。
   此方法系统性逼近最低点,既避免随机试探的低效,又克服固定步长的局限性,最终将损失降至3以下。

问题二实践:
在“限制”模式(12次尝试)中,采用以下策略成功完成挑战:

1. 粗调+细调:前4次用较大步长快速定位到损失值接近3的区域,后8次逐步缩小步长精细调整。

2. 利用历史信息:若某次更新后损失反弹,则回退并减小步长(类似带回溯的梯度下降)。
   通过严格遵循梯度方向并合理分配尝试次数,成功在12次内将损失降至3以下。

问题三反思:

1. 成功率:连续多次使用该方法均能成功,说明其鲁棒性较强,尤其适合目标函数结构稳定的场景。

2. 与梯度下降的异同:

   • 相同点:核心思想均为“沿负梯度方向更新参数”。

   • 不同点:手动调整步长而非自动计算,且需通过扰动近似梯度(类似黑盒优化)。

3. 挑战感受:有限次数下需高度谨慎,既要大胆探索(大步长),又要精准收尾(小步长),对策略的平衡能力要求较高。这一过程加深了对优化算法中“探索-利用”权衡的理解。