企业官网建设流程全解析

课程摘要

本节学习如何在有限计算预算下选择模型超参数。课程首先区分模型参数与超参数，随后讲解搜索空间、验证目标、网格搜索、随机搜索和贝叶斯优化。通过悬臂梁位移代理模型及模拟误差面，展示高斯过程如何利用历史试验预测未知组合，并通过采集函数平衡“探索”与“利用”。学习者将掌握防止测试集泄露、控制调参成本和筛选稳定模型的基本方法。

一、本节学习目标

完成本节后，你应当能够：

1. 区分模型参数和超参数。
2. 为力学预测模型定义合理的超参数搜索空间。
3. 理解网格搜索与随机搜索的优缺点。
4. 解释贝叶斯优化中的代理模型与采集函数。
5. 使用高斯过程估计未知超参数组合的性能。
6. 使用验证集而不是测试集选择超参数。
7. 计算一次调参任务真正需要的训练次数。
8. 使用RandomizedSearchCV调优力学代理模型。
9. 综合误差、稳定性、训练成本和物理合理性选择模型。

二、什么是超参数

神经网络训练可以表示为：

\[ \boldsymbol{\theta}^{*} = \underset{\boldsym