机器学习基本概念笔记

基本概念

神经网络：NN Neural Network

卷积神经网络：CNN Convolutional Neural Network

循环神经网络：RNN Recurrent Neural Networks

深度神经网络：DNN Deep Neural Networks

自然语言处理；NLP Natural Language Processing

神经语言程序学：NLP Neuro-Linguistic Programming)

多层神经网络：MLP Multi-Layer Perceptron (一个层叫线性回归，多个是MLP)

梯度下降法的三种形式：http://www.cnblogs.com/maybe2030/p/5089753.html

批量梯度下降法：BGD Batch Gradient Descent

随机梯度下降法：SGD Stochastic Gradient Descent

小批量梯度下降法：MBGD Mini-batch Gradient Descent

此外还有： Momentum, Nesterov Momentum, AdaGrad, RMSProp, Adam

http://blog.csdn.net/u014595019/article/details/52989301

BP算法：是由学习过程由信号的正向传播与误差的反向传播两个过程组成。由于多层前馈网络的训练经常采用误差反向传播算法，人们也常把将多层前馈网络直接称为BP网络。Error Back Propagation，误差反向传播。

数据集 Data Set

样本 Sample

属性 Attribute 特征 Feature

特征值 Feature Value

特征和样本所张成的空间：

特征空间 Feature Space 样本空间 Sample Space 标签空间 Label Space

模型是分类器时，类别空间

数据集：训练集Training Set 测试集 Test Set 交叉验证集 Cross-Validation Set （CV Set）

假设空间：模型在数学上的适用场景

泛化能力：模型在未知数据上的表现

数据集网站：http://archive.ics.uci.edu/ml/datasets.html

结构风险最小化：SRM Structural Risk Minization

传统为：经验风险最小化 ERM Empirical Risk Minization

三种交叉验证： S-fold Cross validation （S折交叉验证） 留一交叉验证 （Leave-one-out Cross Validation） 简单交叉验证

极大似然估计：ML估计 Maximum Likelihood Estimate

极大后验概率估计：MAP

贝叶斯决策论：Bayesian Decision Theory

朴素贝叶斯：Naive Bayes

离散型朴素贝叶斯：MultinomialNB

连续性朴素贝叶斯：GaussianNB

混合型朴素贝叶斯：MergedNB