【读书笔记】数学之美(下)

aqua0 2019-08-18

作者:LogM

文章中的数学公式若无法正确显示,请参见:正确显示数学公式的小技巧

本文为《数学之美》的读书笔记。


第19章 谈谈数学模型的重要性

  • 数学很重要

第20章 谈谈最大熵模型

  • 思想:对一个随机事件的概率分布进行预测时,我们的预测应当满足全部已知条件,而对未知的情况不要做任何主观假设。
  • $$P(d|x_1,x_2,...,x_{20}) = \frac{1}{Z(x_1,x_2,...,x_{20})} e^{\lambda_1 (x_1,d)+ \lambda_2(x_2,d)+ ... + \lambda_{20}(x_{20},d)}$$
  • 归一化因子:
    $$Z(x_1,x_2,...,x_{20}) = \sum{e^{\lambda_1 (x_1,d)+ \lambda_2(x_2,d)+ ... + \lambda_{20}(x_{20},d)}}$$

第21章 拼音输入法的数学原理

  • 语言模型

第22章 自然语言处理的教父马库斯和他的优秀弟子们

  • 人物传记

第23章 布隆过滤器

  • 本质和哈希表一样,区别是映射函数精心设计过,在可接受的冲突率前提下,减少了内存的占用。

第24章 贝叶斯网络(信念网络)

  • 马尔科夫链假设依赖关系是一维的,所以建立一维的链。但实际问题很复杂,很多依赖关系不能用链上的状态转移描述,需要用图描述。
  • 为了计算方便,依旧保持马尔科夫假设成立,即每一个状态只与和它直接相连的状态有关。

第25章 条件随机场、文法分析及其它

  • 条件随机场:在隐马尔科夫模型中,$x_1,x_2,...$ 为观测值,$y_1,y_2,...$ 为隐状态,$x_i$ 只与 $y_i$ 有关。而条件随机场中,$x_i$ 与 $y_i$、$y_{i-1}$、$y_{i+1}$ 都有关。
  • 可以认为条件随机场是一种特殊的概率图模型。仍遵守马尔科夫假设。条件随机场是无向图。
  • 条件随机场通常用最大熵模型建模:
    $$P(x_1,x_2,..,x_n,y_1,y_2,...,y_m) = \frac{e^{f_1+f_2+...+f_k}}{Z}$$

第26章 Viberti 算法

  • 隐马尔科夫模型可以转换为篱笆网络。Viberti 使用动态规划思想在这个网络中求最短路径。

第27章 期望最大化算法


第28章 逻辑回归和搜索广告

  • 搜索广告的发展:竞价排名 -> 预测用户点击 -> 全局优化
  • 预测广告点击率一般用逻辑回归做

第29章 各个击破算法和 Google 云计算的基础

  • MapReduce

第30章 Google 大脑和人工神经网络

  • 人工神经网络
  • 人工神经网络与贝叶斯网络的关系:

    • 有向图,且遵从马尔科夫假设
    • 训练方法相似
    • 对于很多模式分类问题,两种方法效果相近
  • Google 大脑:分布式的人工神经网络

第31章 大数据的威力

  • 数据很重要

相关推荐

seasongirl / 0评论 2020-06-05