Python机器学习手册：从数据预处理到深度学习

第1 章　向量、矩阵和数组 ..................................................................... 1

1.0　简介 .....................................................................................................1

1.1　创建一个向量 ......................................................................................1

1.2　创建一个矩阵 ......................................................................................2

1.3　创建一个稀疏矩阵 ...............................................................................3

1.4　选择元素 ..............................................................................................5

1.5　展示一个矩阵的属性 ...........................................................................6

1.6　对多个元素同时应用某个操作 ............................................................7

1.7　找到最大值和最小值 ...........................................................................8

1.8　计算平均值、方差和标准差 ................................................................9

1.9　矩阵变形 ............................................................................................10

1.10 转置向量或矩阵 ............................................................... 11

1.11 展开一个矩阵 ....................................................................................12

1.12 计算矩阵的秩 ....................................................................................13

1.13 计算行列式 ........................................................................................14

1.14 获取矩阵的对角线元素 .....................................................................14

1.15 计算矩阵的迹 ....................................................................................15

1.16 计算特征值和特征向量 .....................................................................16

1.17 计算点积 ...........................................................................................17

1.18 矩阵的相加或相减 ............................................................................18

1.19 矩阵的乘法 ........................................................................................19

1.20 计算矩阵的逆 ....................................................................................20

1.21 生成随机数 ........................................................................................21

第2 章　加载数据 ................................................................................ 23

2.0　简介 ...................................................................................................23

2.1　加载样本数据集 ................................................................................23

2.2　创建仿真数据集 ................................................................................25

2.3　加载CSV 文件 ..................................................................................28

2.4　加载Excel 文件 .................................................................................29

2.5　加载JSON 文件 .................................................................................29

2.6　查询SQL 数据库 ...............................................................................31

第3 章　数据整理 ................................................................................ 33

3.0　简介 ...................................................................................................33

3.1　创建一个数据帧 ................................................................................34

3.2　描述数据 ............................................................................................35

3.3　浏览数据帧 ........................................................................................37

3.4　根据条件语句来选择行 .....................................................................39

3.5　替换值 ...............................................................................................40

3.6　重命名列 ............................................................................................41

3.7　计算最小值、最大值、总和、平均值与计数值 ................................43

3.8　查找唯一值 ........................................................................................44

3.9　处理缺失值 ........................................................................................45

3.10 删除一列 ...........................................................................................47

3.11 删除一行 ............................................................................................48

3.12 删除重复行 ........................................................................................49

3.13 根据值对行分组 ................................................................................51

3.14 按时间段对行分组 ............................................................................52

3.15 遍历一个列的数据 ............................................................................54

3.16 对一列的所有元素应用某个函数 ......................................................55

3.17 对所有分组应用一个函数 .................................................................56

3.18 连接多个数据帧 ................................................................................57

3.19 合并两个数据帧 ................................................................................59

第4 章　处理数值型数据 ...................................................................... 63

4.0　简介 ...................................................................................................63

4.1　特征的缩放 ........................................................................................63

4.2　特征的标准化 ....................................................................................65

4.3　归一化观察值 ....................................................................................66

4.4　生成多项式和交互特征 .....................................................................69

4.5　转换特征 ............................................................................................70

4.6　识别异常值 ........................................................................................71

4.7　处理异常值 ........................................................................................73

4.8　将特征离散化 ....................................................................................75

4.9　使用聚类的方式将观察值分组 ..........................................................77

4.10 删除带有缺失值的观察值 .................................................................79

4.11 填充缺失值 ........................................................................................81

第5 章　处理分类数据 ......................................................................... 83

5.0　简介 ...................................................................................................83

5.1　对nominal 型分类特征编码 ..............................................................84

5.2　对ordinal 分类特征编码 ....................................................................86

5.3　对特征字典编码 ................................................................................88

5.4　填充缺失的分类值 .............................................................................91

5.5　处理不均衡分类 ................................................................................93

第6 章　处理文本 ................................................................................ 97

6.0　简介 ...................................................................................................97

6.1　清洗文本 ............................................................................................97

6.2　解析并清洗HTML ............................................................................99

6.3　移除标点 .......................................................................................... 100

6.4　文本分词 .......................................................................................... 101

6.5　删除停止词（stop word）......................................... 102

6.6　提取词干 .......................................................................................... 103

6.7　标注词性 .......................................................................................... 104

6.8　将文本编码成词袋（Bag of Words）................................................ 107

6.9　按单词的重要性加权 ....................................... 109

第7 章　处理日期和时间 .................................................................... 113

7.0　简介 ................................................................................................. 113

7.1　把字符串转换成日期 ......................................................... 113

7.2　处理时区 .......................................................................................... 115

7.3　选择日期和时间 .............................................................................. 116

7.4　将日期数据切分成多个特征 ............................................................ 117

7.5　计算两个日期之间的时间差 ............................................................ 118

7.6　对一周内的各天进行编码 ............................................................... 119

7.7　创建一个滞后的特征 ....................................................... 120

7.8　使用滚动时间窗口 ........................................................................... 121

7.9　处理时间序列中的缺失值 ............................................................... 123

第8 章　图像处理 .............................................................................. 127

8.0　简介 ................................................................................................. 127

8.1　加载图像 .......................................................................................... 128

8.2　保存图像 .......................................................................................... 130

8.3　调整图像大小 .................................................................................. 131

8.4　裁剪图像 .......................................................................................... 132

8.5　平滑处理图像 .................................................................................. 133

8.6　图像锐化 .......................................................................................... 136

8.7　提升对比度 .................................................................. 138

8.8　颜色分离 .......................................................................................... 140

8.9　图像二值化 .......................................... 142

8.10 移除背景............................................. 144

8.11 边缘检测 .......................................................................................... 148

8.12 角点检测 ................................. 150

8.13 为机器学习创建特征 ................................................. 153

8.14 将颜色平均值编码成特征 ............................................................... 156

8.15 将色彩直方图编码成特征 ............................................................... 157

第9 章　利用特征提取进行特征降维 ................................................... 161

9.0　简介 ................................................................................................. 161

9.1　使用主成分进行特征降维 ............................................................... 161

9.2　对线性不可分数据进行特征降维 .................................................... 164

9.3　通过最大化类间可分性进行特征降维 ............................................. 166

9.4　使用矩阵分解法进行特征降维...................................... 169

9.5　对稀疏数据进行特征降维 ............................................................... 170

第10 章　使用特征选择进行降维 ........................................................ 173

10.0　简介........................................................... 173

10.1　数值型特征方差的阈值化...................................... 173

10.2　二值特征的方差阈值化............................................ 175

10.3　处理高度相关性的特征 .......................................... 176

10.4　删除与分类任务不相关的特征 ...................................................... 178

10.5　递归式特征消除 ............................................................................ 180

第11 章　模型评估 ............................................................................ 183

11.0　简介 ...................................................................... 183

11.1　交叉验证模型 .......................................... 183

11.2　创建一个基准回归模型........................................ 187

11.3　创建一个基准分类模型 .................................. 188

11.4　评估二元分类器 ................................................ 190

11.5　评估二元分类器的阈值 ..................................... 193

11.6　评估多元分类器 .......................................................... 197

11.7　分类器性能的可视化 ..................................................................... 198

11.8　评估回归模型 ............................................. 201

11.9　评估聚类模型 ............................................................ 203

11.10 创建自定义评估指标 ..................................................................... 204

11.11 可视化训练集规模的影响 ............................................................. 206

11.12 生成对评估指标的报告 .................................................... 208

11.13 可视化超参数值的效果 ................................................. 209

第12 章　模型选择 ............................................................................ 213

12.0　简介 .................................................... 213

12.1　使用穷举搜索选择最佳模型 .......................................................... 213

12.2　使用随机搜索选择最佳模型 .......................................................... 216

12.3　从多种学习算法中选择最佳模型.................. 218

12.4　将数据预处理加入模型选择过程 .............................. 220

12.5　用并行化加速模型选择 ................................. 221

12.6　使用针对特定算法的方法加速模型选择 ....................................... 223

12.7　模型选择后的性能评估 ............................ 224

第13 章　线性回归 ............................................................................ 227

13.0　简介 ........................................ 227

13.1　拟合一条直线 .......................................... 227

13.2　处理特征之间的影响 ..................................................................... 229

13.3　拟合非线性关系 ............................................................................ 231

13.4　通过正则化减少方差 ..................................................................... 233

13.5　使用套索回归减少特征 .............................................. 235

第14 章　树和森林 ............................................................................ 237

14.0　简介 ............................... 237

14.1　训练决策树分类器 ......................................................................... 237

14.2　训练决策树回归模型 ..................................................................... 239

14.3　可视化决策树模型 ......................................................................... 240

14.4　训练随机森林分类器 ..................................................................... 243

14.5　训练随机森林回归模型 ............................ 244

14.6　识别随机森林中的重要特征 .......................................................... 245

14.7　选择随机森林中的重要特征 .......................................................... 248

14.8　处理不均衡的分类 ......................................................................... 249

14.9　控制决策树的规模 ......................................................................... 250

14.10 通过boosting 提高性能 ................................................................ 252

14.11 使用袋外误差（Out-of-Bag Error）评估随机森林模型 ................ 253

第15 章　KNN ................................................................................... 255

15.0　简介 ................................................................... 255

15.1　找到一个观察值的最近邻 ................................................. 255

15.2　创建一个KNN 分类器................................................................... 258

15.3　确定最佳的邻域点集的大小 .......................................................... 260

15.4　创建一个基于半径的最近邻分类器 ......................... 261

第16 章　逻辑回归 ............................................................................ 263

16.0　简介 ............................................................... 263

16.1　训练二元分类器 ............................................................................ 263

16.2　训练多元分类器 ............................................................................ 265

16.3　通过正则化来减小方差 ............................................. 266

16.4　在超大数据集上训练分类器 .......................................................... 267

16.5　处理不均衡的分类 ......................................................................... 269

第17 章　支持向量机 ......................................................................... 271

17.0　简介 ..................................................................... 271

17.1　训练一个线性分类器 ..................................................................... 271

17.2　使用核函数处理线性不可分的数据 ..................................... 274

17.3　计算预测分类的概率 ..................................................................... 278

17.4　识别支持向量 ....................................................... 279

17.5　处理不均衡的分类 ......................................................................... 281

第18 章　朴素贝叶斯 ......................................................................... 283

18.0　简介 ............................................................. 283

18.1　为连续的数据训练分类器 ............................................. 284

18.2　为离散数据和计数数据训练分类器 ............................... 286

18.3　为具有二元特征的数据训练朴素贝叶斯分类器 ............................ 287

18.4　校准预测概率 ........................................ 288

第19 章　聚类 ................................................................................... 291

19.0　简介 ................................................................ 291

19.1　使用K-Means 聚类算法 ................................................................ 291

19.2　加速K-Means 聚类 ........................................................................ 294

19.3　使用Meanshift 聚类算法 ............................................................... 295

19.4　使用DBSCAN 聚类算法 ............................................................... 296

19.5　使用层次合并聚类算法 .......................................... 298

第20 章　神经网络 ............................................................................ 301

20.0　简介 ...................................................................... 301

20.1　为神经网络预处理数据 .................................................... 302

20.2　设计一个神经网络 ......................................................................... 304

20.3　训练一个二元分类器 ..................................................................... 307

20.4　训练一个多元分类器 ..................................................................... 309

20.5　训练一个回归模型 ......................................................................... 311

20.6　做预测 ........................................................................................... 313

20.7　可视化训练历史 ............................................................................ 315

20.8　通过权重调节减少过拟合 ..................................... 318

20.9　通过提前结束减少过拟合 ........................................ 320

20.10 通过Dropout 减少过拟合 ............................................................. 322

20.11 保存模型训练过程 ......................................................................... 324

20.12 使用k 折交叉验证评估神经网络 ................................................ 326

20.13 调校神经网络 ........................................................................ 328

20.14 可视化神经网络 ............................................................................ 331

20.15 图像分类 ....................................................................................... 333

20.16 通过图像增强来改善卷积神经网络的性能 .............................. 337

20.17 文本分类 ....................................................................................... 339

第21 章　保存和加载训练后的模型 ..................................................... 343

21.0　简介 ....................................................................................... 343

21.1　保存和加载scikit-learn 模型 ......................................................... 343

21.2　保存和加载Keras 模型 .................................................................. 345

......(更多)