研究生课程：机器学习-第5章 回归分析
《机器学习》课程笔记：第5章 回归分析
第5章 回归分析
概述
回归问题：
根据给定的训练集
要求寻找
性能评价：
均方误差：
泛化误差可分解为偏差、方差和噪声之和
线性回归原理：使用线性函数来预测数据的分布
最小二乘估计
目标函数：最小误差平方和
求解：
最大似然估计
正态分布假设的似然函数
误差服从正态分布：
似然函数：
高斯误差的最大似然估计
优化学习：梯度下降方法
最大后验估计
正态分布的先验似然函数：
最大后验估计目标函数：
高斯分布的最大后验估计 = 正则化最小二乘估计
正则化最小二乘估计解：
正则项解决过拟合问题
扩展的非线性模型
线性基函数回归
线性回归：
扩展的非线性回归：
基函数形式：多项式函数、高斯分布函数、sigmoid类型的函数、tanh类型的函数
多项式回归：
误差分析
正则项对Bias和Variance的影响
参数估计
最小二乘估计是无偏估计
正则化最小二乘估计是有偏估计
使得参数估计更加稳定
相当于增加正则项
相当于加入白噪声
研究生课程：机器学习-第5章 回归分析
https://zhangzhao219.github.io/2022/09/22/UCAS/machine-learning/machine-learning-5/