sxyhetao 2019-12-26
一、机器学习是什么
机器学习是人类用数学的语言通过大量的数据训练"教会"计算机做出一系列的行为。
二、机器学习的主要算法
①线性回归算法
衍生的:正则化
②逻辑回归算法
③KNN算法
衍生的KD-tree
三、算法介绍
①线性回归算法
运用线性模型y=ax+b,去拟合数据集,进行数据集的预测。在算法中,X为特征向量,即y的影响因素,w与b为可调整的模型参数。为了方便记忆,W=(w1,w2,w3,…wn,b),X=(x(1),.....x(n)
待估参数的值可以用两种方法:极大似然估计,最小二乘法
关于最小二乘法的注意事项:
原理:
还有批量梯度下降法(BGD):使用所有样本的梯度值作为当前模型参数θ的更新
随机梯度下降算法(SGD):使用单个样本的梯度值作为当前模型参数θ的更新
优先选择SGD,因为速度快,但是很少情况下效果比BGD差一些,其他在此不作叙述
小批量梯度下降法(MBGD):
MBGD中丌是每拿一个样本就更新一次梯度,而且拿b个样本(b一般为10)的平均梯度作为更新方向
梯度下降法调优策略:
目标函数:
线性回归一般用于预测连续值变量,如房价预测问题。参数w是特征所占的权重,w的更新,一般可选用梯度下降等相关优化方法。因为预测值为连续变量且MSE对特征值范围变化比较敏感,所以一般情况下对会对特征进行归一化处理。
正则化/惩罚项
正则化的作用:
所谓稀疏模型就是模型中很多的参数是0,这就相当于进行了一次特征选择,只留下了一些比较重要的特征,提高模型的泛化能力,降低过拟合的可能。
使用L2的回归叫做岭回归,Ridge回归
使用L1的回归叫做Lasso回归
L1与L2同时使用的叫弹性网络(没什么卵用)
Ridge与LASSO的选择:
Ridge模型具有较高的准确性、鲁棒性以及稳定性(冗余特征已经被删除了);
LASSO模型具有较高的求解速度。
模型效果判断:
线性回归总结: