【读书笔记】数学之美（下）

作者：LogM

文章中的数学公式若无法正确显示，请参见：正确显示数学公式的小技巧

本文为《数学之美》的读书笔记。

第19章 谈谈数学模型的重要性

• 数学很重要

第20章 谈谈最大熵模型

• 思想：对一个随机事件的概率分布进行预测时，我们的预测应当满足全部已知条件，而对未知的情况不要做任何主观假设。
• $$P(d|x_1,x_2,...,x_{20}) = \frac{1}{Z(x_1,x_2,...,x_{20})} e^{\lambda_1 (x_1,d)+ \lambda_2(x_2,d)+ ... + \lambda_{20}(x_{20},d)}$$
• 归一化因子：
  $$Z(x_1,x_2,...,x_{20}) = \sum{e^{\lambda_1 (x_1,d)+ \lambda_2(x_2,d)+ ... + \lambda_{20}(x_{20},d)}}$$

第21章 拼音输入法的数学原理

• 语言模型

第22章 自然语言处理的教父马库斯和他的优秀弟子们

• 人物传记

第23章 布隆过滤器

• 本质和哈希表一样，区别是映射函数精心设计过，在可接受的冲突率前提下，减少了内存的占用。

第24章 贝叶斯网络（信念网络）

• 马尔科夫链假设依赖关系是一维的，所以建立一维的链。但实际问题很复杂，很多依赖关系不能用链上的状态转移描述，需要用图描述。
• 为了计算方便，依旧保持马尔科夫假设成立，即每一个状态只与和它直接相连的状态有关。

第25章 条件随机场、文法分析及其它

• 条件随机场：在隐马尔科夫模型中，$x_1,x_2,...$ 为观测值，$y_1,y_2,...$ 为隐状态，$x_i$ 只与 $y_i$ 有关。而条件随机场中，$x_i$ 与 $y_i$、$y_{i-1}$、$y_{i+1}$ 都有关。
• 可以认为条件随机场是一种特殊的概率图模型。仍遵守马尔科夫假设。条件随机场是无向图。
• 条件随机场通常用最大熵模型建模：
  $$P(x_1,x_2,..,x_n,y_1,y_2,...,y_m) = \frac{e^{f_1+f_2+...+f_k}}{Z}$$

第26章 Viberti 算法

• 隐马尔科夫模型可以转换为篱笆网络。Viberti 使用动态规划思想在这个网络中求最短路径。

第27章 期望最大化算法

第28章 逻辑回归和搜索广告

• 搜索广告的发展：竞价排名 -> 预测用户点击 -> 全局优化
• 预测广告点击率一般用逻辑回归做

第29章 各个击破算法和 Google 云计算的基础

• MapReduce

第30章 Google 大脑和人工神经网络

• 人工神经网络

• 人工神经网络与贝叶斯网络的关系：

  • 有向图，且遵从马尔科夫假设
  • 训练方法相似
  • 对于很多模式分类问题，两种方法效果相近
• Google 大脑：分布式的人工神经网络

第31章 大数据的威力

• 数据很重要