[机器学习]第三周记录

playoffs 2020-02-16


1.线性回归不适用于分类问题。

原因:1.单个样本对于线性回归可能会造成很大的影响。

 2.函数的输出值可能非常大,非常离谱。

2.逻辑回归(logistic regression):一种分类算法。是广义线性回归,$h(x)=g(\theta^{T}x)$,其中

$g(x)=\frac{1}{1+e^{-x}}$

被称为logistic函数,或sigmoid函数。

3.记号:$h_{\theta}(x)=P(y=1|x;\theta)$,即在theta参数和x的条件下,y等于1的概率。

4.决策边界(decision boundary):$h(x)=0$的解集,这是h函数、参数的属性,而不是数据集的属性。

5.逻辑回归可以像以前特征缩放一样使用多项式,这样就造成其可拟合很多类型的数据集。

6.逻辑回归问题:

h函数,$h_{\theta}{(x)}=\frac{1}{1+e^{-\theta^{T}x}}$

(x(i),y(i))第i样样本,输入为x,输出为y

最小化$\frac{1}{m}\sum{cost(h_{\theta}(x^{(i)}),y^{(i)})}$

可以发现,如果直接使用梯度下降法,非常容易会停留在局部最优值上,因此代价函数不能使用平方误差函数。

而我们的麻烦之处,正在于e次方上,我们便尝试使用对数函数来去掉它的影响。于是代价函数为:

$$cost(h_{\theta}(x),y)=\begin{cases}-log(h_{\theta}(x))if\quad y=1\\-log(1-h_{\theta}(x))if\quad y=0\end{cases}$$

条件不要搞反了。

为什么?

于是,$$J(\theta)=\frac{1}{m}\sum_{i=1}^{m}{-y-log(h_{\theta}(x))-(1-y)log(1-h_{\theta}(x))}$$

$$=J(\theta)=-\frac{1}{m}\sum_{i=1}^{m}{y+log(h_{\theta}(x))+(1-y)log(1-h_{\theta}(x))}$$

相关推荐