Python机器学习算法pdf

Python机器学习算法 作者：赵志勇

Python机器学习算法 出版社：电子工业出版社

Python机器学习算法 内容简介

《Python机器学习算法》是一本机器学习入门读物，注重理论与实践的结合。全书主要包括6个部分，每个部分均以典型的机器学习算法为例，从算法原理出发，由浅入深，详细介绍算法的理论，并配合目前流行的Python语言，从零开始，实现每一个算法，以加强对机器学习算法理论的理解、增强实际的算法实践能力，最终达到熟练掌握每一个算法的目的。与其他机器学习类图书相比，《Python机器学习算法》同时包含算法理论的介绍和算法的实践，以理论支撑实践，同时，又将复杂、枯燥的理论用简单易懂的形式表达出来，促进对理论的理解。

Python机器学习算法 目录

前言

0 绪论

0.1 机器学习基础

0.2 监督学习

0.3 无监督学习

0.4 推荐系统和深度学习

0.5 Python和机器学习算法实践

参考文献

第一部分 分类算法

1 Logistic Regression

1.1 Logistic Regression模型

1.2 梯度下降法

1.3 梯度下降法的若干问题

1.4 Logistic Regression算法实践

参考文献

2 Softmax Regression

2.1 多分类问题

2.2 Softmax Regression算法模型

2.3 Softmax Regression算法的求解

2.4 Softmax Regression与Logistic Regression的关系

2.5 Softmax Regression算法实践

参考文献

3 Factorization Machine

3.1 Logistic Regression算法的不足

3.2 因子分解机FM的模型

3.3 FM算法中交叉项的处理

3.4 FM算法的求解

3.5 因子分解机FM算法实践

参考文献

4 支持向量机

4.1 二分类问题

4.2 函数间隔和几何间隔

4.3 支持向量机

4.4 支持向量机的训练

4.5 支持向量机SVM算法实践

参考文献

5 随机森林

5.1 决策树分类器

5.2 CART分类树算法

5.3 集成学习（Ensemble Learning）

5.4 随机森林（Random Forests）

5.5 随机森林RF算法实践

参考文献

6 BP神经网络

6.1 神经元概述

6.2 神经网络模型

6.3 神经网络中参数的求解

6.4 BP神经网络中参数的设置

6.5 BP神经网络算法实践

参考文献

第二部分 回归算法

7 线性回归

7.1 基本线性回归

7.2 线性回归的最小二乘解法

7.3 牛顿法

7.4 利用线性回归进行预测

7.5 局部加权线性回归

参考文献

8 岭回归和Lasso回归

8.1 线性回归存在的问题

8.2 岭回归模型

8.3 Lasso回归模型

8.4 拟牛顿法

8.5 L-BFGS求解岭回归模型

8.6 岭回归对数据的预测

参考文献

9 CART树回归

9.1 复杂的回归问题

9.2 CART回归树生成

9.3 CART回归树剪枝

9.4 CART回归树对数据预测

参考文献

第三部分 聚类算法

10 K-Means

10.1 相似性的度量

10.2 K-Means算法原理

10.3 K-Means算法实践

10.4 K-Means++算法

参考文献

11 Mean Shift

11.1 Mean Shift向量

11.2 核函数

11.3 Mean Shift算法原理

11.4 Mean Shift算法的解释

11.5 Mean Shift算法实践

参考文献

12 DBSCAN

12.1 基于密度的聚类

12.2 DBSCAN算法原理

12.3 DBSCAN算法实践

参考文献

13 Label Propagation

13.1 社区划分

13.2 Label Propagation算法原理

13.3 Label Propagation算法过程

13.4 Label Propagation算法实践

参考文献

第四部分 推荐算法

14 协同过滤算法

14.1 推荐系统的概述

14.2 基于协同过滤的推荐

14.3 相似度的度量方法

14.4 基于协同过滤的推荐算法

14.5 利用协同过滤算法进行推荐

参考文献

15 基于矩阵分解的推荐算法

15.1 矩阵分解

15.2 基于矩阵分解的推荐算法

15.3 利用矩阵分解进行推荐

15.4 非负矩阵分解

15.5 利用非负矩阵分解进行推荐

参考文献

16 基于图的推荐算法

16.1 二部图与推荐算法

16.2 PageRank算法

16.3 PersonalRank算法

16.4 利用PersonalRank算法进行推荐

参考文献

第五部分 深度学习

17 AutoEncoder

17.1 多层神经网络

17.2 AutoEncoder模型

17.3 降噪自编码器Denoising AutoEncoder

17.4 利用Denoising AutoEncoders构建深度网络

17.5 利用TensorFlow实现Stacked Denoising AutoEncoders

参考文献

18 卷积神经网络

18.1 传统神经网络模型存在的问题

18.2 卷积神经网络

18.3 卷积神经网络的求解

18.4 利用TensorFlow实现CNN

参考文献

第六部分 项目实践

19 微博精准推荐

19.1 精准推荐

19.2 基于用户行为的挖掘

19.3 基于相似用户的挖掘

19.4 点击率预估

19.5 各种数据技术的效果

参考文献

附录A

附录B

Python机器学习算法 精彩文摘

分类算法是典型的监督学习，其训练样本中包含样本的特征和标签信息。在二分类中，标签为离散值，如{+1，-1}，分别表示正类和负类。分类算法通过对训练样本的学习，得到从样本特征到样本的标签之间的映射关系，也被称为假设函数，之后可利用该假设函数对新数据进行分类。

Logistic Regression算法是一种被广泛使用的分类算法，通过训练数据中的正负样本，学习样本特征到样本标签之间的假设函数，Logistic Regression算法是典型的线性分类器，由于算法的复杂度低、容易实现等特点，在工业界得到了广泛的应用，如：利用Logistic Regression算法实现广告的点击率预估。

1.1 Logistic Regression模型

1.1.1 线性可分VS线性不可分

对于一个分类问题，通常可以分为线性可分与线性不可分两种。如果一个分类问题可以使用线性判别函数正确分类，则称该问题为线性可分，如图1.1所示；否则为线性不可分问题，如图1.2所示。

图1.1 线性可分

图1.2 线性不可分

1.1.2 Logistic Regression模型

Logistic Regression 模型是广义线性模型的一种，属于线性的分类模型。对于图1.1 所示的线性可分的问题，需要找到一条直线，能够将两个不同的类区分开，如图1.1所示，这条直线也称为超平面。

对于上述的超平面，可以使用如下的线性函数表示：

其中W 为权重，b为偏置。若在多维的情况下，权重W 和偏置b均为向量。在Logistic Regression算法中，通过对训练样本的学习，最终得到该超平面，将数据分成正负两个类别。此时，可以使用阈值函数，将样本映射到不同的类别中，常见的阈值函数有Sigmoid函数，其形式如下所示：

Sigmoid函数的图像如图1.3所示。

图1.3 Sigmoid函数

从Sigmoid函数的图像可以看出，其函数的值域为（0，1），在0附近的变化比较明显。其导函数 f′（x）为：

现在，让我们利用Python实现Sigmoid函数，为了能够使用numpy中的函数，我们首先需要导入numpy：

import numpy as np

Sigmoid函数的具体实现过程如程序清单1-1所示。

程序清单1-1 S igmoid函数

在程序清单1-1中，Sigmoid函数的输出为Simoid值。对于输入向量X，其属于正例的概率为：

其中，σ表示的是Sigmoid函数。那么，对于输入向量X，其属于负例的概率为：

对于Logistic Regression算法来说，需要求解的分隔超平面中的参数，即为权重矩阵W 和偏置向量b，那么，这些参数该如何求解呢？为了求解模型的两个参数，首先必须定义损失函数。