社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  机器学习算法

新书免费读:机器学习必备的数学基础

连享会 • 1 年前 • 401 次点击  

🍓 课程推荐:连享会:2025CGE 专题:理论与实操·网络直播
嘉宾:贾智杰 (西安交通大学)
时间:2025 年 11月23日、30日, 12月7日
咨询:王老师 18903405450(微信)

温馨提示: 文中链接在微信中无法生效。请点击底部「阅读原文」。或直接长按/扫描如下二维码,直达原文:

作者:张弛 (中山大学)

邮箱:zhangch369@mail2.sysu.edu.cn


Source:
Deisenroth, Marc Peter, A. Aldo Faisal, and Cheng Soon Ong. Mathematics for machine learning. Cambridge University Press, 2020. PDF, Website, github

书籍网站:https://mml-book.github.io/
PDF 下载:https://mml-book.github.io/book/mml-book.pdf

20250928180029
20250928180029



1. 背景

机器学习是基于设计的,能够自动从数据中提取有价值信息的算法。随着机器学习方法的普及和其软件包的易用性提高,很多机器学习相对基础的技术细节会被掩盖或者过度抽象化。但这可能会带来风险,机器学习方法的使用者可能会对一些算法的局限性缺乏基本认知,无法正确理解机器学习的原理,从而无法正确使用机器学习的方法。

因此,作者团队期望通过这本书,向读者介绍机器学习背后的基本数学知识。本书会借助四种主要的机器学习方法,来对相关的数学知识进行辅助讲解。需要注意的是,作者团队在本书中并未介绍最前沿、最高级的机器学习方法,因为这些方法在其他机器学习相关的书中已经有所介绍。 


2. 关于本书

如果想要深入了解机器学习,读者需要对如下三方面的知识非常熟悉:

  1. 编程语言和数据分析工具
  2. 大规模计算及其相关框架
  3. 数学、统计学以及机器学习如何在此基础上构建

一般的大学教育都会覆盖这三方面的知识传授。但是,由于历史原因,机器学习的课程往往在计算机科学系讲授,计算机系的学生通常对编程领域的知识和大规模计算的知识更加熟悉,但对机器学习相关的数学和统计学知识理解不太深入。

并且,许多大学数学课程往往被学生诟病,因为高中到大学的数学课与具体的学科知识应用脱节严重。现有的机器学习课本,一般只有少量章节介绍机器学习的数学基础,这与完全精通机器学习所需要的数学知识仍有差距。因此,作者团队希望通过这本书,帮助想要深入学习机器学习的读者补足数学基础。

在本书中,作者团队主要深入分析了机器学习背后的核心数学概念,而对机器学习相关的专业术语介绍较少。读者如果掌握了本书中所呈现的基本概念,以及它们在机器学习整体知识框架中的位置,可以在本书的各章末尾提供的资源中找到进一步学习的资料。

2.1 作者简介

本书由三位在机器学习相关领域颇有建树的学者撰写,他们分别是:

  • Marc Deisenroth,伦敦大学学院 Google DeepMind 机器学习和人工智能系主任,伦敦大学学院联合国教科文组织的人工智能主任。
  • Aldo Faisal,伦敦帝国理工学院计算机系和生物工程系的教授。
  • Cheng Soon Ong,CSIRO Data61的副科学主任,Statistical Machine Learning Group 的首席高级研究科学家。
作者主要学术机构
主要研究领域和研究兴趣
Marc Deisenroth
伦敦大学学院
高效数据机器学习 (data-efficient machine learning),概率建模 (probabilistic modeling) 和自主决策 (autonomous decision) 在气候/天气科学,核聚变和机器人中的应用。
Aldo Faisal
帝国理工学院
神经科学,生物医学工程,临床科学,认知科学,生物化学和细胞生物学,医学生理学
Cheng Soon Ong
CSIRO Data61
机器学习统计方法的拓展与应用

2.2 配套资料

本书的官网中,可以免费下载到书籍的电子版本。并且,本书配有专门的 Github 仓库,Github 仓库中有部分习题的解答、代码操作演示和勘误。

书籍官网:https://mml-book.github.io/

通过官网,读者可以下载到本书的电子版本。如果读者购买了正版书籍,可以获得全书的习题和解答,三位作者为使用本书进行授课的老师提供了可以用来设计课程和考试的指南手册,但需要购买正版书后额外向出版社获取。

GitHub 仓库:https://github.com/mml-book/mml-book.github.io

本书的 Github 仓库中,提供了额外章节的 PDF 版本,一些课本勘误和部分代码和习题解答。Google Colab 和 Binder 可以直接在线运行这些代码。 


3.  内容介绍

20250928180232
20250928180232

3.1 基本框架

本书可以分为两大部分,共十二章节。第一部分是数学基础,主要包括线性代数、解析几何、矩阵、向量运算、概率论和连续优化的知识。第二部分是机器学习中的主要知识,主要包括线性回归、降维和主成分分析、高斯混合模型的密度估计和支持向量机分类。在部分章节,作者提供了思维导图,便于读者串联不同概念,以及将相关的数学底层知识关联到后续机器学习的知识。具体的目录如下:

Part I: Mathematical Foundations (数学基础)

  • Introduction and Motivation (简介)
  • Linear Algebra (线性代数)
  • Analytic Geometry (解析几何)
  • Matrix Decompositions (矩阵分解)
  • Vector Calculus (向量微积分)
  • Probability and Distribution  (概率和分布)
  • Continuous Optimization (连续优化)

Part II: Central Machine Learning Problems (机器学习的核心知识)

  • When Models Meet Data (模型与数据的拟合)
  • Linear Regression (线性回归)
  • Dimensionality Reduction with Principal Component Analysis (主成分分析和降维)
  • Density Estimation with Gaussian Mixture Models (高斯混合模型的密度估计)
  • Classification with Support Vector Machines (支持向量机分类)

3.2 第一部分:数学基础

第一章-简介:机器学习最重要的三个概念就是:数据、模型和学习。数据是机器学习的核心,模型是数据处理的工具,可以帮助我们从数据中提取想要的信息。学习指的是机器学习通过学习数据的特征从而改进模型。

作者在这部分介绍了阅读这本书的方法。作者认为,可以从底层概念往深入学习,也可以根据实践需要选择知识点学习。但是这两种方法各有优缺点,因此作者选择将这本书分为两大部分,第一部分是数学基础,第二部分是机器学习概念,以便读者使用。第一部分介绍的机器学习背后的数学知识,为回归、降维、密度估计和分类四大机器学习方法的学习奠定理论基础。

机器学习的底层基础为:线性代数、向量运算、概率和分布、解析几何,最优化、矩阵分解,作者各用了一个章节对相关的知识点进行讲解。

第二章-线性代数:线性代数是对向量和某些代数进行计算的规则。它包括几何向量和多项式向量。在这部分,作者通过介绍线性代数中的一些重要概念,为后续深入学习数学和机器学习打下基础。在这部分,作者介绍了线性方程组系统和求解、向量和矩阵运算、映射等相关概念和方法。

第三章-解析几何:本章中,作者将为在线性代数中的概念添加一些几何解释和直观理解。作者将研究几何向量,为后续的向量计算做好准备。本章核心思想是通过在向量空间中引入内积 (inner product) 来赋予其几何结构,从而可以计算向量的长度、向量间的距离和角度 。

第四章-矩阵分解: 本章探讨如何利用矩阵的一些特性,如行列式和特征值,来描述矩阵。并且,本章讲解了一些矩阵因式分解的知识,例如乔列斯基分解 (Cholesky decomposition)、对角化 (diagonalization) 和奇异值分解 (Singular Value Decomposition, SVD) 。这些方法旨在将矩阵表示为更简单、更易于解释的形式,并用于矩阵的近似。

第五章-向量微积分: 本章介绍了机器学习中优化算法所需的微积分基础。内容涵盖了单变量函数的微分、泰勒级数,并将其推广到多变量函数,介绍了偏导数、梯度、雅可比矩阵 (Jacobian) 和海森矩阵 (Hessian) 。

第六章-概率论和分布:  本章旨在为量化不确定性建立数学框架。首先,本章介绍了概率空间,区分了离散和连续概率 。接着介绍了概率论的两个基本规则——加法法则和乘法法则,并由此推导出贝叶斯定理 。最后讨论了期望、方差、协方差等汇总统计量,以及独立性、分布等基本概念等。

第七章-连续最优化: 机器学习中经常需要找到一组好的参数,因此需要最优化的知识,本章介绍了两种优化,无约束优化和有约束优化。对于无约束优化,作者介绍了梯度下降法。对于有约束优化,本章引入了拉格朗日乘子法。此外,作者还特别讨论了凸优化问题。

3.3 第二部分:机器学习

在第二部分,作者主要介绍了第一部分的数学知识如何被应用到机器学习的算法设计中。并且,作者介绍了机器学习中常用的模型及其基本原理,其中包括了数据与模型的拟合,不同类型的回归模型、降维、密度估计和分类的方法。

第八章-模型与数据结合: 本章为第二部分的介绍机器学习奠定了框架,在本章,作者重新介绍了机器学习的三大组成部分:数据、模型和学习 。本章将数据表示为向量,将模型定义为函数或概率分布,并将学习过程定义为参数寻找的过程 。重点介绍了经验风险最小化 (empirical risk minimization) 、最大似然估计和概率建模等核心原则。

第九章-线性回归: 本章应用前述数学概念解决曲线拟合 (curve fitting) 的问题,即寻找一个函数,将输入映射到连续的输出值。首先,作者介绍了如何对一个具体的问题进行数学化的构建,然后详细讨论了如何通过最大似然估计和最大后验概率估计来确定模型参数,并且,本章还介绍了贝叶斯线性回归等方法。

第十章-降维和主成分分析法: 图片等新形式的数据很难直接进行分析,因此我们需要对这类新数据降维,并且减少降维带来的数据损失。本章利用前面章节介绍的数学知识,详细介绍了主成分分析法 (PCA),这是一种旨在将高维数据压缩到低维空间,同时尽可能减少信息损失的线性降维技术。

第十一章-使用高斯混合模型进行密度估计: 使用高斯混合模型进行密度估计的核心思想是,使用多个高斯分布的加权和(即高斯混合模型,GMM)来逼近复杂的数据分布。并且,为了学习模型参数,本章也介绍了期望最大化的算法,并从潜变量的视角介绍了高斯混合模型。

第十二章-使用支持向量机进行分类: 本章聚焦于二元分类任务,即预测两种离散结果中的一种。本章主要介绍了一种强大的分类器——支持向量机 (SVM)。其核心思想是基于几何直觉,寻找一个能将两类数据分开并且间隔 (margin) 最大的超平面 。本章还讨论了处理非线性数据的“核技巧” (kernel trick) 。


4. 总结

这本书的核心目标是讲解机器学习背后的数学基础,这有助于填补高中数学、大学数学教学与机器学习教科书所需数学知识之间的差距。它并非一本传统的机器学习算法书籍,而是专注于讲解四种核心机器学习问题背后的数学原理,使读者能够更好地理解其他机器学习文献。
并且,每章背后都配有相关的习题,作者在网上也提供了相关的复现代码,以供教师教学和学生自学。本书不仅为初学者搭建了一座通往机器学习世界的坚实桥梁,也为有经验的从业者提供了回顾和深化数学基础的宝贵资源。 


5. 相关推文

Note:产生如下推文列表的 Stata 命令为:lianxh 机器学习 书籍 线性代数, ex(专题 暑期 寒假 课程 助教 列表 从文本到论文) nocat md2安装最新版  lianxh 命令:ssc install lianxh, replace

  • Drukker, 刘迪, 2020, Stata Blogs - An introduction to the lasso in Stata (拉索回归简介).
  • 万储诚, 2025, IV:形形色色的IV.
  • 仵荣鑫, 2022, 知乎热议:如何学习机器学习.
  • 全禹澄, 2021, 机器学习如何用?金融+能源经济学文献综述.
  • 关欣, 2022, 机器学习在经济学领域的应用前景.
  • 冯乔, 2023, Stata中的堆栈泛化和机器学习-pystacked.
  • 吕卓阳, 2021, MLRtime:如何在 Stata 调用 R 的机器学习包?.
  • 吴小齐, 2023, R语言:L2 Boosting 在经济学中的应用.
  • 吴欣洋, 2025, AI自动生成研究假设,靠谱吗?流程与挑战.
  • 吴欣洋, 2025, 分享!数百个金融类机器学习仓库:financial-ML.
  • 张弛, 2025, 大语言模型到底是个啥?通俗易懂教程.
  • 张梓瑶, 2021, 知乎高赞:17个高质量网站-让你拥有几乎所有的书籍.
  • 张瑞钰, 2021, 知乎热议:纠结-计量经济、时间序列和机器学习.
  • 李俊奇, 2025, Python-EconML包:快速上手动态双重机器学习.
  • 李占领, 2020, Semantic scholar:一款基于机器学习的学术搜索引擎.
  • 李坤在, 2022, 好书:相见恨晚的金融学或经济学书籍.
  • 李金桐, 2023, 因果推断:双重机器学习-ddml.
  • 李长生, 2025, EconML:因果机器学习的实现流程.
  • 樊嘉诚, 2021, Stata:机器学习分类器大全.
  • 浦进博, 2024, 合成控制法最新进展!机器学习+SCM!-qcm.
  • 王卓, 2023, Python:从随机实验到双重机器学习.
  • 王卓, 2023, 知乎热议:经济学入门必读书籍推荐.
  • 王烨文, 2025, 新书免费读:CausalMLBook-因果机器学习.
  • 田原, 2020, 支持向量机:Stata 和 Python 实现.
  • 米书颖, 2024, 机器学习:大佬建议的标准动作.
  • 罗宇恒, 2025, 美国生命末期健康照护预测建模.
  • 董洁妙, 2022, Stata:双重机器学习-多维聚类标准误的估计方法-crhdreg.
  • 赵俊, 2025, 静态面板数据下的双重机器学习模型(上)—— 理论基础.
  • 赵俊, 2025, 静态面板数据下的双重机器学习模型(下)——R代码实操.
  • 赵莹, 2022, 知乎热议:机器学习在经济学的应用前景.
  • 连享会, 2021, Stata-Python交互-7:在Stata中实现机器学习-支持向量机.
  • 连享会, 2024, 连享会公开课:经济学中的机器学习——7月3日-免费参与.
  • 连享会, 2025, 连享会:2025论文班.
  • 连小白, 2025, Kaggle-数据科学平台:找数据、搜代码一网打尽.
  • 连小白, 2025, Python常用包盘点:经济与金融领域的必备工具包.
  • 马丁, 刘梦真, 2021, 机器学习:随机森林算法的Stata实现.
  • 高瑜, 2025, 书籍推荐:用Python实现可复现的数据科学.



🍓 课程推荐:连享会:2025文本分析专题·网络直播
嘉宾:陈婷 (香港浸会大学)
时间:2025 年 11月22日、29日, 12月6日
咨询:王老师 18903405450(微信)

连享会微信小店上线啦!

Note:扫一扫进入“连享会微信小店”,你想学的课程在这里······

New! Stata 搜索神器:lianxh 和 songblGIF 动图介绍
搜: 推文、数据分享、期刊论文、重现代码 ……
👉 安装:
. ssc install lianxh
. ssc install songbl
👉  使用:
. lianxh DID 倍分法
. songbl all


🍏 关于我们

  • 连享会 ( www.lianxh.cn,推文列表) 由中山大学连玉君老师团队创办,定期分享实证分析经验。
  • 直通车: 👉【百度一下:连享会】即可直达连享会主页。亦可进一步添加 「知乎」,「b 站」,「面板数据」,「公开课」 等关键词细化搜索。

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/187545