[机器学习]第三周记录

1.线性回归不适用于分类问题。

原因：1.单个样本对于线性回归可能会造成很大的影响。

　2.函数的输出值可能非常大，非常离谱。

2.逻辑回归(logistic regression)：一种分类算法。是广义线性回归，$h(x)=g(\theta^{T}x)$，其中

$g(x)=\frac{1}{1+e^{-x}}$

被称为logistic函数，或sigmoid函数。

3.记号：$h_{\theta}(x)=P(y=1|x;\theta)$，即在theta参数和x的条件下，y等于1的概率。

4.决策边界(decision boundary)：$h(x)=0$的解集，这是h函数、参数的属性，而不是数据集的属性。

5.逻辑回归可以像以前特征缩放一样使用多项式，这样就造成其可拟合很多类型的数据集。

6.逻辑回归问题：

h函数,$h_{\theta}{(x)}=\frac{1}{1+e^{-\theta^{T}x}}$

(x⁽ⁱ⁾,y⁽ⁱ⁾)第i样样本，输入为x，输出为y

最小化$\frac{1}{m}\sum{cost(h_{\theta}(x^{(i)}),y^{(i)})}$

可以发现，如果直接使用梯度下降法，非常容易会停留在局部最优值上，因此代价函数不能使用平方误差函数。

而我们的麻烦之处，正在于e次方上，我们便尝试使用对数函数来去掉它的影响。于是代价函数为：

$$cost(h_{\theta}(x),y)=\begin{cases}-log(h_{\theta}(x))if\quad y=1\\-log(1-h_{\theta}(x))if\quad y=0\end{cases}$$

条件不要搞反了。

为什么？

于是，$$J(\theta)=\frac{1}{m}\sum_{i=1}^{m}{-y-log(h_{\theta}(x))-(1-y)log(1-h_{\theta}(x))}$$

$$=J(\theta)=-\frac{1}{m}\sum_{i=1}^{m}{y+log(h_{\theta}(x))+(1-y)log(1-h_{\theta}(x))}$$