网站备案 四川,公司行政负责做网站吗,怎样注册网站域名,上海网站建设公司 红威一、正规方程基本思想 正规方程是一种通过数学推导来求解线性回归参数的方法#xff0c;它通过最小化代价函数来找到最优参数。 代价函数 J(θ) 用于度量模型预测值与实际值之间的误差#xff0c;通常采用均方误差。 二、步骤 准备数据集#xff0c;包括特征矩阵 X 和目标…一、正规方程基本思想 正规方程是一种通过数学推导来求解线性回归参数的方法它通过最小化代价函数来找到最优参数。 代价函数 J(θ) 用于度量模型预测值与实际值之间的误差通常采用均方误差。 二、步骤 准备数据集包括特征矩阵 X 和目标向量 y。特征矩阵通常包括一个全为1的常数列截距项。 定义代价函数 J(θ)通常采用均方误差。 推导代价函数 J(θ) 对参数θ的梯度令梯度为零。 将梯度为零的方程组转化为矩阵形式X^T * X * θ X^T * y。 求解正规方程得到最优参数θθ (X^T * X)^(-1) * X^T * y。 三、正规方程的优点 不需要选择学习率α一次运算得出最优参数无需迭代。 在特征数量较小的情况下非常适用通常 n 10000。
四、正规方程的限制和适用情况 不适用于非线性模型仅适用于线性回归。 如果特征之间存在线性相关性或者特征数量多于样本数量正规方程可能不适用。 对于特征数量大的情况计算 (X^T * X)^(-1) 的逆矩阵可能会昂贵。 五、选择算法 根据问题的特点、数据集的大小和特征的独立性来选择使用梯度下降法或正规方程。 对于小型数据集和特征数量不多的情况正规方程是一个有效的选择。
六、正规方程在矩阵不可逆时的解决办法 使用伪逆函数 pinv() 在Octave等数值计算工具中可以使用伪逆函数 pinv() 来计算参数θ即使特征矩阵X^T * X是不可逆的。这是一种弥补不可逆性的方法它可以提供正确的解。 处理线性相关的特征 当存在线性相关的特征时如 x1 (3.28)^2 * x2矩阵X^T * X可能变得奇异或不可逆。此时可以考虑去除一个或多个相关特征以减少特征数量同时保持数据的信息内容。这将使X^T * X更容易求逆。 特征选择和正则化 如果特征数量n太多而训练样本数量m相对较少可能会导致X^T * X不可逆。在这种情况下可以考虑以下方法 删除一些不相关或冗余的特征以降低特征数量。 使用正则化方法如Lasso或Ridge回归来惩罚不必要的特征权重从而解决不可逆性问题。 参考资料
[中英字幕]吴恩达机器学习系列课程
黄海广博士 - 吴恩达机器学习个人笔记
