程序员的数学 2 概率统计pdf

程序员的数学 2 概率统计 内容简介

《程序员的数学2：概率统计》沿袭《程序员的数学》平易近人的风格，用通俗的语言和具体的图表深入讲解程序员必须掌握的各类概率统计知识，例证丰富，讲解明晰，且提供了大量扩展内容，引导读者进一步深入学习。

《程序员的数学2：概率统计》涉及随机变量、贝叶斯公式、离散值和连续值的概率分布、协方差矩阵、多元正态分布、估计与检验理论、伪随机数以及概率论的各类应用，适合程序设计人员与数学爱好者阅读，也可作为高中或大学非数学专业学生的概率论入门读物。

程序员的数学 2 概率统计 目录

第1部分 聊聊概率这件事

第1章 概率的定义

1.1概率的数学定义

1.2三扇门（蒙提霍尔问题）——飞艇视角

1.2.1蒙提霍尔问题

1.2.2正确答案与常见错误

1.2.3以飞艇视角表述

1.3三元组（Ω，F，P）——上帝视角

1.4随机变量

1.5概率分布

1.6适于实际使用的简记方式

1.6.1随机变量的表示方法

1.6.2概率的表示方法

1.7 Ω是幕后角色

1.7.1不必在意Ω究竟是什么

1.7.2 Ω的习惯处理方式

1.7.3不含Ω（不含上帝视角）的概率论

1.8一些注意事项

1.8.1想做什么

1.8.2因为是面积⋯⋯

1.8.3解释

第2章 多个随机变量之间的关系

2.1各县的土地使用情况（面积计算的预热）

2.1.1不同县、不同用途的统计（联合概率与边缘概率的预热）

2.1.2特定县、特定用途的比例（条件概率的预热）

2.1.3倒推比例（贝叶斯公式的预热）

2.1.4比例相同的情况（独立性的预热）

2.1.5预热结束

2.2联合概率与边缘概率

2.2.1两个随机变量

2.2.2三个随机变量

2.3条件概率

2.3.1条件概率的定义

2.3.2联合分布、边缘分布与条件分布的关系

2.3.3即使条件中使用的不是等号也一样适用

2.3.4三个或更多的随机变量

2.4贝叶斯公式

2.4.1问题设置

2.4.2贝叶斯的作图曲

2.4.3贝叶斯公式

2.5独立性

2.5.1事件的独立性（定义）

2.5.2事件的独立性（等价表述）

2.5.3随机变量的独立性

2.5.4三个或更多随机变量的独立性（需多加注意）

第3章 离散值的概率分布

3.1一些简单的例子

3.2二项分布

3.2.1二项分布的推导

3.2.2补充：排列nPk、组合nCk

3.3期望值

3.3.1期望值的定义

3.3.2期望值的基本性质

3.3.3期望值乘法运算的注意事项

3.3.4期望值不存在的情况

3.4方差与标准差

3.4.1即使期望值相同

3.4.2方差即“期望值离散程度”的期望值

3.4.3标准差

3.4.4常量的加法、乘法及标准化

3.4.5各项独立时，和的方差等于方差的和

3.4.6平方的期望值与方差

3.5大数定律

3.5.1独立同分布

3.5.2平均值的期望值与平均值的方差

3.5.3大数定律

3.5.4大数定律的相关注意事项

3.6补充内容：条件期望与最小二乘法

3.6.1条件期望的定义

3.6.2最小二乘法

3.6.3上帝视角

3.6.4条件方差

第4章 连续值的概率分布

4.1渐变色打印问题（密度计算的预热）

4.1.1用图表描述油墨的消耗量（累积分布函数的预热）

4.1.2用图表描述油墨的打印浓度（概率密度函数预热）

4.1.3拉伸打印成品对油墨浓度的影响（变量变换的预热）

4.2概率为零的情况

4.2.1出现概率恰好为零的情况

4.2.2概率为零将带来什么问题

4.3概率密度函数

4.3.1概率密度函数

4.3.2均匀分布

4.3.3概率密度函数的变量变换

4.4联合分布·边缘分布·条件分布

4.4.1联合分布

4.4.2本小节之后的阅读方式

4.4.3边缘分布

4.4.4条件分布

4.4.5贝叶斯公式

4.4.6独立性

4.4.7任意区域的概率·均匀分布·变量变换

4.4.8实数值与离散值混合存在的情况

4.5期望值、方差与标准差

4.5.1期望值

4.5.2方差·标准差

4.6正态分布与中心极限定理

4.6.1标准正态分布

4.6.2一般正态分布

4.6.3中心极限定理

第5章 协方差矩阵、多元正态分布与椭圆

5.1协方差与相关系数

5.1.1协方差

5.1.2协方差的性质

5.1.3分布倾向的明显程度与相关系数

5.1.4协方差与相关系数的局限性

5.2协方差矩阵

5.2.1协方差矩阵=方差与协方差的一览表

5.2.2协方差矩阵的向量形式表述

5.2.3向量与矩阵的运算及期望值

5.2.4向量值随机变量的补充说明

5.2.5协方差矩阵的变量变换

5.2.6任意方向的发散程度

5.3多元正态分布

5.3.1多元标准正态分布

5.3.2多元一般正态分布

5.3.3多元正态分布的概率密度函数

5.3.4多元正态分布的性质

5.3.5截面与投影

5.3.6补充知识：卡方分布

5.4协方差矩阵与椭圆的关系

5.4.1（实例一）单位矩阵与圆

5.4.2（实例二）对角矩阵与椭圆

5.4.3（实例三）一般矩阵与倾斜的椭圆

5.4.4协方差矩阵的局限性

第2部分 探讨概率的应用

第6章 估计与检验

6.1估计理论

6.1.1描述统计与推断统计

6.1.2描述统计

6.1.3如何理解推断统计中的一些概念

6.1.4问题设定

6.1.5期望罚款金额

6.1.6多目标优化

6.1.7（策略一）减少候选项——最小方差无偏估计

6.1.8（策略二）弱化最优定义——最大似然估计

6.1.9（策略三）以单一数值作为评价基准——贝叶斯估计

6.1.10策略选择的相关注意事项

6.2检验理论

6.2.1检验理论中的逻辑

6.2.2检验理论概述

6.2.3简单假设

6.2.4复合假设

第7章 伪随机数

7.1伪随机数的基础知识

7.1.1随机数序列

7.1.2伪随机数序列

7.1.3典型应用：蒙特卡罗方法

7.1.4相关主题：密码理论中的伪随机数序列·低差异序列

7.2遵从特定分布的随机数的生成

7.2.1遵从离散值分布的随机数的生成

7.2.2遵从连续值分布的随机数的生成

7.2.3遵从正态分布的随机数的生成

7.2.4补充知识：三角形内及球面上的均匀分布

第8章 概率论的各类应用

8.1回归分析与多变量分析

8.1.1通过最小二乘法拟合直线

8.1.2主成分分析

8.2随机过程

8.2.1随机游走

8.2.2卡尔曼滤波器

8.2.3马尔可夫链

8.2.4关于随机过程的一些补充说明

8.3信息论

8.3.1熵

8.3.2二元熵

8.3.3信源编码

8.3.4信道编码

附录A本书涉及的数学基础知识

A.1希腊字母

A.2数

A.2.1自然数·整数

A.2.2有理数·实数

A.2.3复数

A.3集合

A.3.1集合的表述方式

A.3.2无限集的大小

A.3.3强化练习

A.4求和符号Σ

A.4.1定义与基本性质

A.4.2双重求和

A.4.3范围指定

A.4.4等比数列

A.5指数与对数

A.5.1指数函数

A.5.2高斯积分

A.5.3对数函数

A.6内积与长度

附录B近似公式与不等式

B.1斯特林公式

B.2琴生不等式

B.3吉布斯不等式

B.4马尔可夫不等式与切比雪夫不等式

B.5切尔诺夫界

B.6闵可夫斯基不等式与赫尔德不等式

B.7算术平均值≥几何平均值≥调和平均值

附录C概率论的补充知识

C.1随机变量的收敛

C.1.1依概率1收敛

C.1.2依概率收敛

C.1.3均方收敛

C.1.4依分布收敛

C.2特征函数

C.3 KL散度与大偏差原理

参考文献

程序员的数学 2 概率统计 精彩文摘

1.5为什么非要使用平行世界这样夸张的说法？会场与飞艇的比喻更加容易理解嘛

之所以这么做，是为了准备无限多的备选情况。例如，飞行距离与捕鱼量（重量）都是连续量，我们无法逐个数出这些值所有的可能情况。此时，无论我们准备多少会场，都无法对应所有的备选情况，因而无法模拟原本的概率。此外，如果概率是1／√2这样的无理数值（无法以整数／整数的形式表示的值），即使我们准备再多的会场，也不能准确表现这一概率。因此，我们必须改用更加通用的形式。

1.6我不太理解由所有平行世界组成的集合Q是什么概念。请再解释一下吧

读者只需暂且按照插图示例，将其理解为面积为1的正方形即可。

1.7节将作更详细的解答。

1.7感觉我们是不是把问题过分简化了？去除了一些关键的要素后，还有讨论的价值吗 　　这不正是数学常用的解决方式吗？

例如，行星探测器与星体的距离时刻都在变化，如果我们以时间为横轴，以距离为纵轴作图，就能通过一张静态图像表示探测器从过去到未来的运动情况。于是，时间这种特殊概念，也能转换为数学形式，借助普通的数字与函数表述。

本节的内容也是如此。概率存在多种可能，如果我们以（Ω，F，P）表述概率，就能以一种静态的方式呈现所有的可能情况。于是，概率这种特殊概念就像这样转换为了数学形式，能通过普通的集合、数字与函数表述。