数学拾遗

离散数学(Discrete Mathematics)

研究离散而非连续的数学结构，也是计算机科学的领域之一。

数理逻辑(Mathematical Logic)

见哲学杂记的数理逻辑。

集合论(Set Theory)

格奥尔格·康托尔(Georg Cantor)

德国数学家，现代集合论的创始人之一。

将一些确定的、可以区分的事物构成的整体称为集合(Set)，简称集。构成集合的每个对象称为元素(Element)，又称成员(Member)。两个集合相等当且仅当它们包含的元素相同。

不含任何元素的集合称为空集(Empty Set)，记作。在一定范围内，如果所有涉及的集合都是某一集合的子集，则称该集合为论域(Universe)，或译全集，一般记作。

数系的集合论定义

数系的集合论定义如下。

符号	名称	定义
(Zahlen)	整数(Integer)
	自然数(Natural Number) 非负整数(Non-Negative Integer)
	正整数(Positive Integer)
(Quotient)	有理数(Rational Number)
	实数(Real Number)	与数轴上的点相对应的数
	非负实数(Non-Negative Real Number)
	正实数(Positive Real Number)
	复数(Complex Number)

有限集(Finite Set)指集合的元素个数有限，反之则称无限集(Infinite Set)，无限集合的基数意义在于比较两个集合的大小。有限集有个元素，则称集合的基数(Cardinality)或势为，记为或。

可数集(Countable Set)指集合能从一个元素开始，将集合的所有元素按一定顺序排成一列，即与自然数集的某个子集具有相同基数，即与自然数集合是等势的(Equinumerous)，反之则称不可数集(Uncountable Set)。

阿列夫数(Aleph Number)用于衡量集合大小，自然数集的基数记为，而不可数集的基数用表示。康托尔提出的连续统假设(Continuum Hypothesis)认为，和之间没有其他基数存在。

若根据某法则，对于集合的每一个都有一个确定的实数与之对应，称为到的映射(Mapping)，记为。通常，变量称为变量的单值函数(Single-Valued Function)，记为。若每一个有多个与之对应，则是的多值函数(Multivalued Function)。

映射在不同的数学分支中有不同的名称，一些情形如下。

• 若，可称映射为变换(Transformation)；
• 若，可称映射为函数(Function)；
• 若，可称映射为泛函(Functional)。

容斥定理(Inclusion–Exclusion Principle)

又称包含排斥定理，使用子集元素个数对集合元素个数进行计算。两个有限集、的容斥定理公式如下。 三个有限集、和的容斥定理公式如下。 推广至个集合的容斥定理公式如下。

笛卡尔积(Cartesian Product)

有序对(Ordered Pair)又称序偶，由有次序的两个元素组成，记为。

笛卡尔积又称直积，是两集合的所有有序对的运算。笛卡尔积的符号化表示如下。

一般情况下，笛卡尔积不满足交换律和结合律，但对集合的并和交满足分配律。

二元关系(Binary Relation)

二元关系简称关系，本质上是序偶集合，如算数中的「大于」及「等于」。

时，有，上不同的关系有个。特殊的关系如空关系(Empty Relation)，全关系(Universal Relation)和恒等关系(Identity Relation)。

域的一些概念如下。

• 前域(Domain)：；
• 值域(Range)：；
• 全域(Field)：。

关系的一些基本运算如下。

• 逆关系(Inverse Relation)：；
• 复合关系(Composition of Relations)：；
• 关系的幂(Powers of Relations)：，。

关系的一些重要性质如下。

其中，反对称性不是对称性的否定，可以既对称又反对称。对称性的强形式否定为禁对称性(Asymmetric)，满足使得，即。

• 自反性(Reflexive)：使得，即；
• 反自反性(Irreflexive)：使得，即；
• 对称性(Symmetric)：使得，即；
• 反对称性(Antisymmetric)：使得，即；
• 传递性(Transitive)：使得，即。

特殊关系性质表

特殊关系具备的性质如下。

关系	自反性	反自反性	对称性	反对称性	传递性
空集上的空关系	✓	✓	✓	✓	✓
非空集上的空关系		✓	✓	✓	✓
	✓		✓	✓	✓
	✓		✓		✓

运算的关系性质稳定性表

运算的关系性质稳定性如下。

运算	自反性	反自反性	对称性	反对称性	传递性
	✓	✓	✓	✓	✓
	✓	✓	✓	✓	✓
	✓	✓	✓
		✓	✓	✓
	✓

设是集合上的关系，如果同时是自反的、对称的和传递的，则称是一个等价关系(Equivalence Relation)。

若是集合上的等价关系，，对定义等价类(Equivalence Class)为。等价类满足使得，且当且仅当。

若是集合上的等价关系，定义关于的商集(Quotient Set)为。商集就是的一个划分(Partition)，集合上的一个划分确定中元素间的一种等价关系。

设是非空集合上的关系，的自反(对称或传递)闭包(Closure)是上的关系也是自反(对称或传递)的，满足且对上任何包含的自反(对称或传递)关系有。

构造三种闭包的方法如下。

• 自反闭包(Reflexive Closure)：；
• 对称闭包(Symmetric Closure)：；
• 传递闭包(Transitive Closure)：，每执行一次并操作，验证一次传递关系。

偏序关系(Partially Ordered Relation)

满足自反、反对称和传递的关系称非严格偏序(Non-Strict Partial Order)，或简称偏序(Partial Order)，记为。满足反自反、禁对称和传递的关系称为严格偏序关系(Strict Partial Order)，记为。

偏序关系的相关概念

假设为集合上的偏序关系，且。

最小元(Least Element)定义为使得，最大元(Greatest Element)定义为使得，最小元和最大元不一定存在，但若存在必唯一。

极小元(Minimal Element)定义为使得，极大元(Maximal Element)定义为使得，极小元和极大元一定存在且可能有多个。

上界(Upper Bound)定义为使得，下界(Lower Bound)定义为使得，上界和下界不一定存在，且存在也不一定唯一。上确界(Supremum)记为即最小的上界，下确界(Infimum)记为即最大的下界，上确界和下确界不一定存在，但若存在必唯一。

既有上界又有下界的数集称为有界集(Bounded Set)，没有上界或下界的数集称为无界集(Unbounded Set)。

若且使得，则称覆盖(Cover)。

哈斯图(Hasse Diagram)根据覆盖关系绘制，若，将绘制于上方。

若是集合上的偏序关系，满足使得则称为全序关系(Total Order Relation)，哈斯图呈链状。若的任一非空子集都有最小元存在，则称为良序关系(Well-Order Relation)。良序关系必是全序关系，有限全序关系必是良序。

罗素悖论(Russell's Paradox)

罗素悖论可描述为「设论域是所有集合的集合，并定义，则是不以自身为元素的全体集合的集合，那么是否为自身的元素」。伯特兰·罗素用理发师悖论(Barber Paradox)来解释该悖论，即「镇上某位理发师宣布，他只给那些不给自己刮脸的人刮脸，那么理发师是否应给自己刮脸」。

图论(Graph Theory)

见数据结构和算法相关整理的图论。

数论(Number Theory)

见数据结构和算法相关整理的数论。

博弈论(Game Theory)

博弈(Game)至少有两名理性参与者(Rational Player)，每名参与者有多于一个的策略(Strategy)，博弈的结果(Outcome)或称收益(Payoff)取决于所有参与者的决策。博弈论考虑博弈中理性参与者的策略交互，并研究优化策略。所谓理性，即参与者在可能竞争的情况下使自己的收益最大化。博弈论是相互依存情况中的理性行为的数学建模。

静态博弈(Static Game)指在博弈中，参与者同时选择或虽非同时选择但后行动者并不知道先行动者采取何种具体策略。

若两名博弈参与者都完全知晓对方参与者的决策空间和收益函数，则称为完全信息博弈(Complete Information Game)。

纯策略(Pure Strategy)

在完全信息博弈中，理性参与者唯一能选择的特定策略称为纯策略。

无论对手采取何种策略，若参与者可选择的某个策略都可以得到比采取其他策略更好的结果，即收益高于其他策略，则称这个策略为严格支配性策略(Strictly Dominant Strategy)或称优势策略。收益不低于其他策略的情况，则称这个策略为弱支配性策略(Weakly Dominant Strategy)或称弱优势策略。

类似地，可以定义严格被支配策略(Strictly Dominated Strategy)或称严格劣势策略，以及弱被支配策略(Weakly Dominated Strategy)或称弱劣势策略。

正则形式博弈(Normal-Form Game)是使用矩阵来描述博弈的方式。严格劣势策略可以通过正则形式博弈被迭代剔除(Iterated Elimination)。

若两名博弈参与者的策略组合分别构成各自的严格支配性策略，则称这个策略组合为纳什均衡(NE; Nash Equilibrium)，或纯策略纳什均衡(PNE; Pure Strategy Nash Equilibrium)。假设每个参与者都知晓其他参与者的策略的情况下，没有参与者可以透过改变自身策略使自身受益时，就达到了纳什均衡。纯策略的纳什均衡是可能不存在的。

混合策略(Mixed Strategy)

若在给定信息下理性参与者以某种概率选择不同策略，则称为混合策略。通俗而言，混合策略即参与者可选策略的概率分布。

混合策略的纳什均衡称为混合纳什均衡(MNE; Mixed Strategy Nash Equilibrium)。纳什指出，有限的静态博弈中，一定存在混合策略纳什均衡。

动态博弈(Dynamic Game)

又称扩展式博弈(Extensive Game)或序贯博弈(Sequential Game)，即参与者的策略有先后顺序，且后行动者能够观察到先行动者所选择的策略。

动态博弈中，参与者轮流决策，因此动态博弈可以使用博弈树(Game Tree)表示。其中，非叶子结点代表博弈参与者，叶子结点代表收益，而边则代表参与者的决策。博弈树的子树称为子博弈(Subgame)。

若动态博弈的博弈序列在每个子博弈上都构成纳什均衡，则称为子博弈完美纳什均衡(Subgame Perfect Nash Equilibrium)。库恩定理(Kuhn Theorem)指出，每一个完全信息的有限动态博弈至少存在一个纯策略纳什均衡。

博弈论研究者一般相信序惯理性(Sequential Rationality)，即不论过去发生的事件，参与者都应该在博弈树的每个结点上最优化自己的策略。因此，子博弈完美纳什均衡可由如下的反向归纳(Backward Induction)方式寻找：从最末端的非叶子结点开始寻找纳什均衡，即寻找最优收益；用最优收益，替代该子博弈的根结点；如此重复，直至博弈的根结点。

线性代数(Linear Algebra)

研究矩阵和线性空间的数学分支。

向量(Vector)

向量又称矢量，如二维空间中的向量可记为，三维空间中的向量可记为。从物理专业的角度看，向量是空间中具有长度和方向的箭头；从计算机专业的角度看，向量是有序的数据列表。这两种观点通过「箭头以原点作为起点，终点即列表」的方式达成统一。

所有元素为0的向量称为零向量(Zero Vector)，记为。

如果向量的全部个元素都属于，那么该向量属于的次笛卡尔积构成的集合，记为，其中是第维的元素。通常向量可被视为的矩阵，此时称为列向量(Column Vector)，而列向量的转置就是行向量(Row Vector)。

向量组的线性相关性

考虑一组向量和一组实数，则向量组的线性组合(Linear Combination)记为如下数学形式。 向量组的所有线性组合即向量组张成的空间(Span)。

如果向量组的某个向量能用向量组的其他向量的线性组合表示，即这个向量落在其他向量张成的空间中，则称这组向量线性相关(Linearly Dependent)；如果向量组的所有向量都不能用其他向量的线性组合表示，即任意一个向量都为其他向量张成的空间增添了新的维度，则称线性无关(Linearly Independent)。向量组的秩(Rank)即其包含线性无关向量的最大数目。

张成空间的一个线性无关向量的集合称为该空间的一组基(Basis)，该集合包含的线性无关向量的数量即该空间的维数(Dimension)，记为。若，称是有限维的(Finite-Dimensional)，否则称之为无限维的(Infinite-Dimensional)。此时，线性组合的系数称为坐标(Coordinate)或分量(Component)。如二维空间中最常见的一组基为和，二维空间的向量亦可记为。

若空间满足如下运算规律，则称为线性空间(Linear Space)。

• ；
• ；
• ；
• ；
• ；
• ；
• ；
• 。

设是线性空间的非空子集，若对上的线性运算封闭，即都有，则称是的线性子空间(Linear Subspace)，简称子空间(Subspace)。

设是线性空间的非空子集，若是的子空间，且对的任一包含的子空间，都有，则称为的线性生成空间(Linear Span)或的线性包(Linear Hull)，记为。

范数(Norm)

距离(Distance)的严格定义为满足如下性质的函数，其中，被称为以为距离的度量空间(Metric Space)，记为。

• 正定性：；
• 次可加性：满足三角不等式(Triangle Inequality)，即；
• 对称性：。

欧几里得距离(Euclidean Distance)定义如下。 此时称为维欧几里得空间(Euclidean -Space)。

范数也称为模，用于衡量向量的大小，是将向量映射到非负值的函数。范数的严格定义为满足如下性质的函数，其中，被称为赋范线性空间(Normed Linear Space)。

• 正定性：；
• 次可加性：；
• 绝对一次齐次性：。

范数是范数的一种，对应明可夫斯基距离(Minkowski Distance)，定义如下。 单位向量(Unit Vector)是具有单位范数(Unit Norm)的向量，具有如下性质。 范数对应欧几里得距离。平方范数可简单地通过点积计算，比范数本身更方便，经常用于衡量向量的大小。

平方范数在原点附近增长缓慢，有时转而使用范数，对应曼哈顿距离(Manhattan Distance)。

最大范数(Maximum Norm)表示向量中具有最大幅值的元素的绝对值，对应切比雪夫距离(Chebyshev Distance)，定义如下。 相对的有最小范数(Minimum Norm)，定义如下。

矩阵范数

衡量矩阵的大小通常使用弗罗贝尼乌斯范数(Frobenius Norm)，定义如下。

诱导的矩阵范数定义如下。 当时，求矩阵最大绝对值列和，称为矩阵的列范数，即下式。 当时，求矩阵最大绝对值行和，称为矩阵的行范数，即下式。 当时，称为矩阵的谱范数(Spectral Norm)，即下式。

其中，计算矩阵特征值绝对值的最大值。

常用的矩阵范数还有范数，定义如下。 矩阵的核范数(Nuclear Norm)定义如下。

点积(Dot Product)

又称内积(Inner Product)或数量积(Scalar Product)，其数学定义和几何定义如下。

其中，为两向量的夹角，即点积可使用投影的方式理解。

向量可视为只有一列的矩阵，则向量的转置即只有一行的矩阵。两个向量的可使用矩阵乘积的形式表示，即点积的代数定义如下。 两个向量点积的结果是标量，而标量的转置即自身，可知点积满足交换律，即下式。

若两向量点积为0，则称这两个向量垂直(Perpendicular)即正交(Orthogonal)。若两向量正交且范数都为1，则称标准正交(Orthonormal)。

两个同型矩阵和的内积又称弗罗贝尼乌斯内积(Frobenius Inner Product)，定义如下。

叉积(Cross Product)

又称向量积(Vector Product)。

二维空间向量和的叉积数学形式如下。 三维空间向量和的叉积数学形式如下。 三维空间向量叉积的结果垂直于两向量确定的平面，方向可使用「右手法则」确定，长度为两向量确定的平行四边形面积，即。

外积(Outer Product)

又称张量积(Tensor Product)，数学定义如下。

线性变换(Linear Transformation)

变换(Transformation)可理解为函数，即接收向量作为输入并输出向量，使用「变换」而非「函数」暗示以运动的方式理解。直线在变换后仍为直线，且原点保持固定的变换称为线性变换，亦可视为「保持网格线平行且等距分布」的变换。线性变换的的严格定义为满足如下性质的函数。

• 可加性：；
• 齐次性：。

假设和为线性变换后的二维空间的一组基，基变换矩阵(可被视为一种描述线性变换的语言)由和构成，记为方阵，则的线性变换可记为。

基变换矩阵亦可视为「由变换后的基表示的」坐标转换至「由变换前的基表示的」坐标，此时称基变换或坐标变换。若「由基变换后的基表示的」向量，经过「由基变换前的基表示的」线性变换，则得到「由基变换后的基表示的」向量。该过程首先应用基变换，而后应用线性变换，最后应用基变换的逆。

线性变换后成为零向量的向量的集合，称为该线性变换或该方阵的零空间(Null Space)或核(Kernel)。

仿射变换(Affine Transformation)又称仿射映射(Affine Mapping)，在线性变换的基础上进行平移，即改变了原点的位置。

柯西-施瓦兹不等式(Cauchy-Schwarz Inequality)

赫尔曼·阿曼杜斯·施瓦茨(Hermann Amandus Schwarz)

德国数学家。

以奥古斯丁-路易·柯西和赫尔曼·阿曼杜斯·施瓦茨命名，是最重要的数学不等式之一。根据余弦函数的性质，可知，同时乘以，得下式。

格拉姆-施密特正交化(Gram–Schmidt Orthogonalisation)

格拉姆-施密特正交化利用投影原理在已有正交基的基础上构造新的正交基。

假设为一组标准正交基，则与其于子空间上的投影之差如下。

将标准化，即下式。

格拉姆-施密特正交化反复执行上述计算过程。

矩阵(Matrix)

向量并排构成矩阵，又称「向量的向量」。矩阵用粗体字母表示，一个的矩阵记为如下数学形式。

下式又可简记为。

所有元素全为0的矩阵称为零矩阵，记为。

矩阵的运算

两个矩阵都为矩阵时称为同型矩阵。矩阵的加减法即两个矩阵对应位置的元素相加减，只适用于同型矩阵。

若是一个矩阵，是一个矩阵，定义矩阵和的矩阵乘积(Matrix Product)为矩阵，且满足下式。

其中：；。

可知只有当左矩阵的列数等于右矩阵的行数时，两个矩阵才能相乘。同时还可知，矩阵又可理解为对向量的一种操作，即将一个向量组变为另一向量组。

矩阵乘积服从分配律和结合律，而不一定满足交换律。满足交换律的两矩阵称为可交换矩阵(Commuting Matrices)。

同型矩阵和的元素对应乘积称为哈达玛乘积(Hadamard Product)，记为。

矩阵的内积又称弗洛贝尼乌斯内积。

矩阵和的克罗内克乘积(Kronecker Product)记为，可定义为如下的分块矩阵。

将矩阵的行换成同序数的列得到的新矩阵，称为转置(Transpose)，记为。矩阵的转置是以从左上角到右下角的主对角线(Main Diagonal)为轴的镜像。

矩阵乘积的转置如下式。

矩阵的秩即对应向量组的秩，即矩阵包含线性无关列(行)向量的最大数目，亦可用于描述线性变换后空间的维度，的秩记为。秩达到最大值即与矩阵的列(行)数相等，称满秩(Full Rank)。矩阵的迹(Trace)是行号列号相同元素之和，的迹记为。

迹运算的常见性质

迹运算的常见性质如下。

• ；
• ；
• 。

多个矩阵相乘得到的矩阵的迹，和将这些矩阵中的最后一个挪到最前面之后相乘的迹是相同的(即使这般循环置换后矩阵乘积得到的矩阵形状有变，前提是矩阵乘积依然定义良好)，即下式。

迹运算的导数公式

迹运算的导数公式如下。

记复数域矩阵的元素的共轭复数为元素的矩阵为，则称为的共轭转置(Conjugate Transpose)。

共轭转置的性质

共轭转置的一些性质如下。

• ；
• ；
• ；
• ；
• ；
• 如果可逆，则。

若则称为正规矩阵(Normal Matrix)。

对矩阵进行的如下三种操作称为初等行变换(Elementary Row Operation)。

• 对换两行，记为；
• 第行乘以，记为；
• 第行加上第行乘以，记为。

上述定义若对列进行操作则称为初等列变换(Elementary Column Operation)，记号替换为。矩阵经过有限次初等变换变成矩阵，记为，初等行变换记为，初等列变换记为。

方阵可逆的充分必要条件为。

若矩阵可以经过一系列初等行变换和初等列变换变成矩阵，即如下数学形式，则两个矩阵等价(Equivalent)或称相抵。

由经过一次初等变换得到的矩阵称为初等矩阵(Elementary Matrix)。对进行一次初等行变换，相当于在的左边乘对应的初等矩阵，初等列变换则相当于右乘对应的初等矩阵。更一般形式的初等矩阵具有如下数学形式。

其中：；为复数。

记，三类初等行变换用表示的方式如下。

• 即，；
• 即，；
• 即，，。

记，，，则称如下数学形式的矩阵为初等下三角矩阵(Elementary Lower Triangular Matrix)。

以为列的矩阵称为阶排列矩阵(Permutation Matrix)。可知：排列矩阵的转置是排列矩阵；排列矩阵是正交矩阵；排列矩阵的逆是排列矩阵。

多项式矩阵(Polynomial Matrix)

又称-矩阵(-Matrix)。

以为未知元符号的一元多项式定义如下。

以上式形式的一元多项式为元素的矩阵即-矩阵，多项式中的最高次数称为该矩阵的次数。显然数字矩阵是-矩阵的特例，数字矩阵的特征矩阵就是一次-矩阵。

-矩阵的初等变换

对-矩阵进行的如下三种操作称为-矩阵的初等行变换。

• 对换两行，记为；
• 第行乘以，记为；
• 第行加上第行的倍，其中是的多项式，记为。

上述定义若对列进行操作则称为-矩阵的初等列变换，记号替换为。变换的记法与矩阵的初等变换类似。

-方阵可逆的充分必要条件为与单位矩阵相抵。

-矩阵和相抵的充分必要条件是存在两个可逆-方阵和使得成立。

两个相抵的-方阵的行列式只能相差一个非零常数。

秩为的-矩阵可相抵于如下矩阵，称为-矩阵在相抵下的标准形或史密斯标准形(SNF; Smith Normal Form)。

其中，称为的不变因子(Invariant Factor)，是首项系数为1的多项式，且能被整除。

秩为的-矩阵的全部阶子式的最大公因式称为的阶行列式因子(Determinant Factor)，记为。相抵的-矩阵具有相同的秩和相同的各行列式因子。因此易得行列式因子与不变因子的关系如下。

从而可知，-矩阵的史密斯标准形是惟一的。

将-矩阵的不变因子在复数域分解为一次因式的幂的乘积，即下式。 > 其中：是互异的复数；是非负整数。

所有不变因子的分解中，所有指数大于零的因子称为-矩阵的初等因子(Elementary Divisor)。由不变因子间的整除关系，各满足如下关系。

同一个一次因式的幂作成的初等因子中，方次最高的必在的分解中，方次次高的必在的分解中，因此由-矩阵的初等因子可惟一确定其不变因子。

两行列式矩阵相抵的充分必要条件如下：它们有相同的行列式因子；它们有相同的不变因子；它们有相同的秩和相同的初等因子。

块对角矩阵中，的初等因子的全体是的全部初等因子。但是，不能从的不变因子求得的不变因子。

的特征矩阵的行列式因子、不变因子和初等因子分别称为的行列式因子、不变因子和初等因子。和相似的充分必要条件如下：它们有相同的行列式因子；它们有相同的不变因子；它们有相同的初等因子。

如下数学形式称为若尔当块(Jordan Block)。

其中，为复数。

阶若尔当块具有一个重特征值，对应于特征值仅有一个线性无关的特征向量。的不变因子具有如下特性。

由若干个若尔当块组成的块对角矩阵称为若尔当矩阵(Jordan Matrix)，通常记为。复数域方阵与一个若尔当矩阵相似，并且若尔当矩阵除去其中若尔当块的排列次序外是被惟一确定的，该若尔当矩阵称为的若尔当标准形(Jordan Normal Form)，且存在阶可逆矩阵使得。

阶方阵的特征多项式(Characteristic Polynomial)数学形式如下。

凯莱-哈密尔顿定理(Cayley-Hamilton Theorem)指出。

若存在多项式使得，则称为的化零多项式(Annihilating Polynomial)。的化零多项式有无穷多个，其中次数最低且首项系数为1的称为的最小多项式(Minimal Polynomial)，记为，最小多项式惟一，且能整除的任一化零多项式。相似的矩阵有相同的最小多项式，且化零多项式的集合相同。

块对角矩阵的最小多项式等于其诸对角块的最小多项式的最小公倍式。若尔当块的最小多项式为。因此，阶复数域方阵的最小多项式为的第个不变因子。

阶方阵相似于对角矩阵的充分必要条件是的最小多项式没有重零点，即没有重根。

满秩分解(Full Rank Decomposition)

若的秩则存在和使得，这称为矩阵的满秩分解。

矩阵的满秩分解是不唯一的。

QR分解(QR Decomposition)

若是阶可逆矩阵，则存在酉矩阵和可逆上三角矩阵使得，这称为矩阵的QR分解。

应用格拉姆-施密特正交化可将线性无关向量组化为标准正交向量组，其中和具有如下数学形式的关系。

此时矩阵的QR分解如下。

奇异值分解(SVD; Singular Value Decomposition)

奇异值分解将矩阵分解为奇异向量(Singular Vector)和奇异值(Singular Value)。

若存在非负实数和非零向量和使得且，则称为的奇异值，和分别称为对应奇异值的右奇异向量(Right-Singular Vector)和左奇异向量(Left-Singular Vector)。

易得且。

奇异值分解的数学形式如下。

其中：，满足，且其他位置的元素均为0，即奇异值为非负实数且满足；；。

摩尔-彭若斯广义逆(Moore-Penrose Pseudoinverse)

又称摩尔-彭若斯伪逆，定义如下。 实际计算方式使用下式。

其中，是的非零元素取倒数再经转置得到的。

若矩阵的满秩分解为，计算方式又可使用下式。

方阵(Square Matrix)

方阵即长宽相等的矩阵，或称阶矩阵。对角线下方元素全为0的方阵称为上三角方阵；对角线上方元素全为0的方阵称为下三角方阵。

非对角线的元素全为零的矩阵称为对角矩阵(Diagonal Matrix)，即如下数学形式。

下式又可简记为。

对角线上的元素全为1的对角矩阵称为单位矩阵(Identity Matrix)，记为或。单位矩阵作为线性变换是恒等变换。

对称矩阵(Symmetric Matrix)即满足的方阵，每一个元素都为实数的对称矩阵称为实对称矩阵(Real Symmetric Matrix)。

正交矩阵(Orthogonal Matrix)即行(列)向量皆互为正交的单位向量的方阵，因而满足即，每一个元素都为实数的正交矩阵称为实正交矩阵(Real Orthogonal Matrix)。

酉矩阵(Unitary Matrix)或称幺正矩阵是正交矩阵在复数的推广，即满足。

正定矩阵(Positive Definite Matrix)即对所有非零向量都有的方阵，等价于所有特征值都是正数的方阵，记为；半正定矩阵(PSD Matrix; Positive Semi-Definite Matrix)即对所有非零向量都有的方阵，等价于所有特征值都是非负数的方阵，记为。

逆矩阵(Inverse Matrix)

设是阶矩阵，若存在阶矩阵使，那么称为的逆矩阵，记为。矩阵的逆亦可理解为对矩阵所作的线性变换的还原。

阶矩阵可逆的充分必要条件为。

阶矩阵的伴随矩阵(Adjugate Matrix)定义为如下数学形式。

其中，是个元素的代数余子式。

阶矩阵与其伴随矩阵满足下式。 由上式可得逆矩阵的计算公式如下。

矩阵乘积的逆如下式。

由可得下式，即逆运算和转置的可交换性。

相似矩阵(Similar Matrix)

设和都是阶矩阵，若有可逆矩阵使下式成立，则称是的相似矩阵，而称为相似变换矩阵。

和相似的充分必要条件是它们的特征矩阵和相抵。

若两矩阵相似，则它们的特征值相同。

若相似变换将矩阵变为对角矩阵，则称这一过程为对角化(Diagonalization)，即如下数学形式。 若能对角化，则能对角化，且有下式。 阶矩阵能对角化的充分必要条件是其有个线性无关的特征向量。

对于实对称矩阵，必有实正交矩阵使下式成立。

厄米特矩阵(Hermite Matrix)

若则称为厄米特矩阵；若则称为厄米特矩阵。

厄米特矩阵的简单性质

厄米特矩阵的简单性质如下。

• 若是厄米特矩阵，则对正整数有也是厄米特矩阵；
• 若是可逆厄米特矩阵，则也是厄米特矩阵；
• 若和是厄米特矩阵，则对实数和有也是厄米特矩阵；
• 若和是厄米特矩阵，则是厄米特矩阵的充分必要条件是；
• 是厄米特矩阵的充分必要条件是对任意方阵有是厄米特矩阵。

矩阵是厄米特矩阵的等价命题

矩阵是厄米特矩阵的等价命题如下。

• 是正定矩阵；
• 对任意阶可逆矩阵，都是厄米特矩阵；
• 的个特征值均为正数；
• 存在阶可逆矩阵，使；
• 存在阶可逆矩阵，使；
• 存在阶可逆厄米特矩阵使；
• 存在阶正定厄米特矩阵使；
• 存在阶非奇异下三角矩阵使。

若是阶厄米特矩阵，则存在阶酉矩阵使得，其中是由的实特征值组成的对角矩阵，即厄米特矩阵的特征分解。

三角分解(Triangular Decomposition)

记为阶下三角矩阵，为阶上三角矩阵，则阶方阵的三角分解即如下数学形式。

主对角线元素全为1的三角矩阵称为单位三角矩阵(Unitriangular Matrix)。若阶方阵可逆且所有顺序主子式均非零，存在惟一的阶单位下三角矩阵和阶上三角矩阵，使得。与此同时，存在惟一的阶单位下三角矩阵，阶对角矩阵和阶单位上三角矩阵使得。

若阶方阵可逆，则存在排列矩阵使得下式成立。

特征分解(Eigendecomposition)

又称谱分解(Spectral Decomposition)。设是阶方阵，如果数和维非零列向量使下式成立，则称为的特征值(Eigenvalue)或本征值，而称为的对应于特征值的特征向量(Eigenvector)或本征向量。 由上式可知特征向量即不受矩阵变换改变方向的向量，特征值即特征向量在变换中缩放的比例。求解即所谓特征方程可得特征值，代入上式可得特征向量。阶矩阵在复数范围内有个特征值；奇异矩阵(Singular Matrix)满足，即含零特征值；对角矩阵的特征值即。

特征分解是使用最广的矩阵分解之一，即将矩阵分解为一组特征向量和特征值，记为如下形式。

其中：每一列都是一个特征向量；是特征值连接成的向量。

方阵中互不相等的特征值，对应的特征向量线性无关；对应于两个不同特征值的线性无关特征向量组，合起来仍是线性无关的。若阶矩阵的特征方程有重根，就不一定有个线性无关的特征向量。

可将视作基变换矩阵，则将线性变换应用于「由基变换后的基表示的」向量即的结果为对角矩阵，可大幅简化计算量。

由实对称矩阵的性质可知，每个实对称矩阵都可分解为实特征向量和实特征值，但特征分解可能并不唯一。实对称矩阵的分解可视作沿方向延展倍的空间。

设阶矩阵的特征值为，则有如下结论：；。

易知对于二阶方阵，若存在特征值则可通过下式求解。

行列式(Determinant)

行列式即在方阵上计算得到的标量，计算式如下。

其中：为的一个排列，规定由小至大为标准次序；若前比大的数有个，则称的逆序数为；排列中所有逆序数的总数称为这个排列的逆序数，记为。

行列式亦可表示线性变换改变有向面积或体积的缩放比例，行列式为零即线性变换将空间压缩至更低的维度。

行列式的性质

行列式的一些性质如下。

• ；
• 对换行列式的两行(列)，行列式变号，推论为若有两行(列)完全相同，则；
• 行列式中某一行(列)有公因子，可提取至行列式之外；
• 若中有不同的两行(列)成比例，则；
• 行列式可按某一行(列)进行拆解，即设，若某一行(列)有，而其他行(列)时，则；
• 将行列式第行(列)的倍加到第行(列)上，行列式的值不变；
• ，但未必有；
• 若可逆，则；
• ；
• ；
• 。

余子式(Minor)

行列式的余子式定义为中除去第行和第列后剩余元素按照相对位置排成的新矩阵的行列式，代数余子式(Cofactor)定义为如下数学形式。 阶行列式的展开法则即下式，利用这一法则并结合行列式的性质，可简化行列式的计算。

其中：；。

克拉默法则(Cramer's Rule)

加百列·克拉默(Gabriel Cramer)

瑞士数学家，克拉默法则因他的卓越使用而命名。

设含个未知数的个线性方程的方程组如下。 若，即线性变换降低了空间维度而形成子空间，若处于子空间，则线性方程组一定有无穷多解，否则无解，易得齐次线性方程即时一定有无穷多解；若，则方程组的解为，或如下数学形式的唯一解。

其中，是将中第列的元素用方程组右端的常数项代替后得到的阶矩阵。

张量(Tensor)

张量是向量的推广，来源于物理学中的张力(Tension)。向固体施加张力时，会在固体的截面产生力的作用，称为应力(Stress)。张量使用基和分量的组合表示物理量，且其所描述的物理量不随参考系而变化。

第0阶张量为标量，第1阶张量为向量，第2阶张量为矩阵。

微积分(Calculus)

微积分又称初等数学分析(Elementary Mathematical Analysis)，是研究极限、微分、积分和无穷级数等的数学分支。

戈特弗里德·莱布尼兹(Gottfried Leibniz)

德国哲学家兼数学家，和艾萨克·牛顿先后独立发明微积分。

牛顿最先将微积分应用到普通物理当中；莱布尼兹则从几何出发引进微积分概念，他所创设的微积分符号远远优于牛顿的符号。

然而由于过去英国学者对牛顿的盲目崇拜，英国皇家学会认定牛顿是微积分的「第一发明人」，以致莱布尼兹直至去世后的几年都受到了冷遇。目前微积分领域使用的符号仍是莱布尼兹所提出的。

极限(Limit)

数列极限(Limit of a Sequence)

数列极限的定义，即「数列的柯西收敛准则」，为如下数学形式。 不是所有的数列都有极限。如果一个数列有极限，则称这个数列收敛(Convergent)，否则称其为发散(Divergent)。

数列极限的性质如下。

• 唯一性：如果一个数列收敛，那么它有且仅有一个极限；
• 有界性：；
• 保序性：若则。

如果数列单调且有界，则数列收敛，称为单调收敛定理(MCT; Monotone Convergence Theorem)。

数列极限的基本定理

数列极限的一些运算法则如下。

• 若，则；
• ；
• ；
• 若，则。

满足下式的称为柯西数列(Cauchy Sequence)或基本列(Fundamental Sequence)。 收敛数列一定是柯西数列且在上有极限，上的柯西数列一定收敛。

若空间中的任何柯西数列都收敛至该空间之内，则称该空间为完备度量空间(Complete Metric Space)或柯西空间(Cauchy Space)。具有完备性，而则不具有完备性。

函数极限(Limit of a Function)

函数极限的定义，即「函数的柯西收敛准则」，为如下数学形式。即使在点没有定义，下式仍然成立。

函数极限的性质如下。

• 唯一性：如果一个函数收敛，那么它有且仅有一个极限；
• 局部有界性：；
• 局部保序性：若则。

对于，满足下式则称函数在连续(Continuous)，记为。 若函数在的每个点都连续，则称函数在连续。

对于，满足下式则称函数在上一致连续(Uniformly Continuous)。 一致连续中的选择只依赖于，而不依赖于定义域上点的位置。开区间上的连续函数不一定一致连续，而闭区间上的连续函数是一致连续的。

常用极限

常用的极限如下。

左极限定义为，右极限定义为。若考虑分段函数在分界点处的极限，需要分左、右求极限。由函数极限的唯一性，有如下定理。 对于分子和分母为多项式的分式，其极限的求解如下式。

海涅定理(Heine's Definition of Limit)

爱德华·海涅(Eduard Heine)

德国数学家。

又称「海涅的极限定义」或「归结原则」，数学形式如下。 海涅定理将函数极限和数列极限相联系。

无穷小(Infinitesimal)

对函数有，则称为当趋近于时的无穷小。

相反的概念是无穷大，一般又称无穷(Infinity)。当趋近于时无穷大的函数的极限是不存在的，但为了便于叙述，一般也称「函数的极限是无穷大」。

在自变量的同一变化过程中，如果无穷大，那么无穷小，反之亦然。

有限个无穷小之和也是无穷小；有界函数与无穷小的乘积时无穷小。各类无穷小的定义如下。

• 高阶无穷小：如果，称是的高阶无穷小，记为；
• 低阶无穷小：如果，称是的低阶无穷小；
• 同阶无穷小：如果，称是的同阶无穷小；
• 阶无穷小：如果，称是关于的阶无穷小；
• 等价无穷小：如果，称是的等价无穷小，记作。

设，且存在，则有下式。 上式表明，求两个无穷小的极限时，分子和分母都可用等价无穷小来替代，使用得当可简化计算。

常用等价无穷小

常用的等价无穷小如下。

夹逼定理(Squeeze Theorem)

又称夹挤定理，是求解极限的常用方法。找到两个简单易求的极限将复杂难求的极限夹住，两边极限相同就可以推得中间表达式的极限也和两边极限相同。

对于数列极限的情况，有如下数学表示。 对于函数极限的情况，有如下数学表示。

导数(Derivative)

又称导函数，描述函数在某点附近的变化率，数学形式可如下。

其中，形如的为拉格朗日的记法；形如和的为莱布尼兹的记法。

记法符号作为微分算子(Differential Operator)，即以一个函数为输入，以这个函数的导数为输出。

若极限不存在，则说明在处不可导，通常也称「函数在处的导数无穷大」。函数在某点可导则一定在该点连续，但连续不一定意味着可导。

当函数定义域和值域都在实数域中，导数可以表示函数曲线上某点切线的斜率(Slope)，这称为导数的几何意义。

常用导数公式

常数的导数公式如下。 多项式的导数公式如下。 指数函数和对数函数的导数公式如下。 三角函数的导数公式如下。 反三角函数的导数公式如下。

函数的求导法则

设及都在某点具有导数，对于四则运算有如下求导法则。

对于复合函数有如下的链式法则(Chain Rule)。 反函数(Inverse Function)即能实现逆运算的函数，若存在反函数，则。

设在区间内单调、可导且，那么它的反函数也可导且有下式。

高阶导数(Higher Order Derivatives)

如果函数的导数在处可导，则称为的二阶导数(Second Derivative)，数学形式可如下。 类似地有三阶导数等，二阶及二阶以上的导数统称为高阶导数。阶导数记为。

偏导数(Partial Derivative)

偏导数指对一个多元函数的其中一个变量求导，而保持其他变量恒定。多元函数在处对和的偏导数定义如下。

其中，偏导数符号是导数符号的变体。

类似导数，如果偏导数的偏导数也存在，则称之为二阶偏导数。按照对变量求导次序的不同有如下的四个二阶偏导数。

其中，第二、三两个偏导数称为混合偏导数。

亚历克西·克莱罗(Alexis Clairault)

法国数学家兼天文学家。

如果的两个二阶混合偏导数连续，那么这两个二阶混合偏导数必然相等，即与求导的次序无关，这称为二阶导数的对称性，又称克莱罗定理(Clairaut's Theorem)。

二阶及二阶以上的偏导数统称为高阶偏导数。

多元复合函数的求导法则

多元复合函数的求导即将计算分解并表示为一个无环图。

若和均在可导，多元函数在处有连续偏导数，则复合函数在可导，其导数又称全导数(Total Derivative)，数学形式如下。 若多元函数和均在具有对以及对的偏导数，多元函数在具有连续偏导数，则复合函数在的两个偏导数均存在，且其数学形式如下。

上述公式均可推广至三个及以上变量的多元函数的情形。

显函数(Explicit Function)即等号左端是因变量符号的形式，不采用这种形式的称隐函数(Implicit Function)。将一个隐函数化成显函数称为隐函数的显化。隐函数的显化有时是困难的，甚至是不可能的。

对隐函数，有如下求导公式。

海森矩阵(Hessian Matrix)

奥托·海森(Otto Hesse)

德国数学家。

多元函数的所有二阶偏导数都存在并在定义域内连续，则其海森矩阵定义如下。 若有次连续性，则的海森矩阵是对称矩阵。

微分(Differential)

若函数的增量可表示为，是不依赖于的常数，则称函数在是可微的。在关于自变量增量的微分记作。

多元函数在的全微分(Total Differential)定义如下。

近似计算

由导数的定义式可得如下约等式。 如果和都容易计算，而不然，可以考虑用上式求近似值。实际上，上式也就是泰勒展开式的前两项。

多元函数的近似计算式如下。 如果、和都容易计算，而不然，可以考虑用上式求近似值。实际上，上式也就是多元函数泰勒展开式的前三项。

牛顿-拉弗森方法(Newton-Raphson Method)

艾萨克·牛顿(Isaac Newton)

英国物理学家兼数学家，阐述了万有引力和三大运动定律。

又称牛顿迭代法。若求的根，首先选择接近零点的，并计算和，以求过点的切线，再计算该切线与横轴交点的横坐标，利用开始下一轮迭代，整个过程即如下迭代公式。 牛顿法也被用于求函数的极值。由于函数取极值的点处的导数值为零，故可用牛顿法求导函数的零点，即如下迭代公式。

多元函数的情况则使用海森矩阵，求多元函数极值的迭代公式如下。

拟牛顿法(Quasi-Newton Method)

多元函数的情况下的牛顿-拉弗森方法中，求海森矩阵的逆是复杂的，拟牛顿法应运而生。求在第次迭代下邻域的二阶泰勒展开，得到下式。

上式对求偏导，得到下式。

上式即的一阶偏导数近似，代入，得到下式。

记，，并改写为如下的等式。

上式称为拟牛顿条件(Quasi-Newton Condition)。拟牛顿法即寻找或寻找。

DFP算法(Davidon-Fletcher-Powell Algorithm)假设是由加上两个附加项构成的，即。该式两端同时乘以，即下式。

为使满足拟牛顿条件，令，。取和为如下数学形式。

可知DFP算法的迭代公式如下。

BFGS算法(Broyden-Fletcher-Goldfarb-Shanno Algorithm)是最流行的拟牛顿算法，其假设。该式两端同时乘以，即下式。

为使满足拟牛顿条件，令，。取和为如下数学形式。

可知BFGS算法的迭代公式如下。

洛必达法则(L'Hôpital's Rule)

纪尧姆·德·洛必达(Guillaume de L'Hôpital)

法国数学家，导师为约翰·伯努利。

洛必达法则以纪尧姆·德·洛必达的名字命名，但实际上由约翰·伯努利发现。

约翰·伯努利(Johann Bernoulli)

瑞士数学家，雅各布·伯努利的弟弟。

若和皆为或，则为洛必达法则能够直接处理的未定式。

未定式的转换

其他未定式如、、、和可转化为洛必达法则能够直接处理的未定式。

若，则可通过下式转换。 若，则可通过下式转换。 若，则可通过下式转换。 若，则可通过下式转换。

洛必达法则表明，对于未定式而言有下式成立。

泰勒展开式(Taylor's Expansion)

布鲁克·泰勒(Brook Taylor)

英国数学家，主要以泰勒展开式和泰勒级数闻名。

泰勒展开式构建多项式以近似函数在某点领域中的值，其数学形式如下。

其中，为泰勒展开式的余项(Remainder)，即这个多项式和实际的函数值之间的偏差。

当时，称为麦克劳林展开式(Maclaurin's Expansion)。

余项的表达形式有如下几种。

• 皮亚诺型余项(Peano Form of the Remainder)：；
• 拉格朗日型余项(Lagrange Form of the Remainder)：，其中，随的增大，的值会越来越接近，带有拉格朗日型余项的泰勒展开式可以视为拉格朗日中值定理的推广。

常见函数的带皮亚诺余项的麦克劳林展开式

泰勒展开式的证明

令如下式。 可知且，由罗尔定理可知存在使。

对求导得如下结果。 将代入上式，由，可求得余项如下。 由余项可间接证明泰勒展开式的模式。

二元函数的泰勒展开式如下。

其中，引入记号，，为二元函数泰勒展开式的余项。

多元函数的泰勒展开式如下。

拉格朗日乘数法(The Method of Lagrange Multipliers)

拉格朗日乘数法以约瑟夫·拉格朗日命名，是一种寻找多元函数在其变量受到一个或多个条件的约束时的极值的方法。如求在等式约束(Equality Constraint)时的极值的问题，可通过引入拉格朗日乘数(Lagrange Multiplier)或称对偶变量(Dual Variable)，转换为求如下拉格朗日函数(Lagrangian)的极值的问题。 更一般地，对含个变量和个等式约束的情况如下。

其中：；。

令对其各参数的偏导皆为零，解出其各参数的值，代入原方程即可求函数极值。

定义增广拉格朗日函数(Augmented Lagrangian)如下。

其中，。

增广拉格朗日函数即在拉格朗日函数的基础上增加等式约束的二次惩罚函数。

现引入个不等式约束(Inequality Constraint)。相应的广义拉格朗日函数定义为如下数学形式。 设问题的定义域非空。拉格朗日对偶函数(Lagrange Dual Function)定义如下。 拉格朗日对偶函数是凹函数，即使优化非凸也是如此。令优化问题的最优值为，有。称为优化问题的拉格朗日对偶问题(Lagrange Dual Problem)。

令拉格朗日对偶问题的最优值为，则被称为优化问题的弱对偶性(Weak Duality)，即弱对偶性对任何优化问题都成立。当，则强对偶性(Strong Duality)成立。

使用广义拉格朗日函数的结果是引入KKT条件(Karush-Kuhn-Tucker Conditions)，其数学形式如下。

对于关于矩阵的等式约束，可引入拉格朗日乘数矩阵，对应的拉格朗日函数如下。

罗尔定理(Rolle's Theorem)

米歇尔·罗尔(Michel Rolle)

法国数学家，以罗尔定理闻名。

罗尔是微积分的早期批评者，认为它基于不稳固的推论，但后来改变立场。罗尔定理的内容如下。

若在闭区间上连续，在开区间内可微分，且，那么内至少存在一点，使下式成立。

拉格朗日中值定理(Lagrange's Mean Value Theorem)

约瑟夫·拉格朗日(Joseph Lagrange)

法国籍意大利裔数学家和天文学家。

拉格朗日中值定理又称有限增量定理。若在闭区间上连续，在开区间内可微分，那么内至少存在一点，使下式成立。 拉格朗日中值定理是罗尔定理的推广，同时也是柯西中值定理的特殊情形。当提到中值定理(MVT; Mean Value Theorem)时在没有特别说明下一般指拉格朗日中值定理。

柯西中值定理(Cauchy's Mean Value Theorem)

奥古斯丁-路易·柯西(Augustin-Louis Cauchy)

法国数学家，对同时代人和后世产生巨大影响。

柯西中值定理又称扩展中值定理。若和在闭区间上连续，在开区间内可微分，对任意且在内至少存在一点，使下式成立。

罗尔定理、拉格朗日中值定理和柯西中值定理合称三大微分中值定理。

不定积分(Indefinite Integral)

可导函数的导数为，则称为的一个反导数(Antiderivative)或原函数，则称为的不定积分，又称为积分常数。不定积分记为下式，可表示的任意一个反导数。 微分运算与积分运算是互逆的，即有下式。

不定积分技巧

设，第一类换元法如下式。 设，第二类换元法如下式。 第二类换元法的常见情况如下。

• 被积函数中含有，可令或；
• 被积函数中含有，可令；
• 被积函数中含有，可令。

分部积分法(Integration by Parts)将不易求得结果的积分式，转化为等价的且易于求出结果的积分式，其公式如下。

常用不定积分公式

含指数函数和对数函数的常用积分公式如下。 含三角函数的常用积分公式如下。 含反三角函数的常用积分公式如下。 其他常用积分公式如下。

定积分(Definite Integral)

伯恩哈德·黎曼(Bernhard Riemann)

德国数学家，首次对函数在给定区间上的积分提出精确定义。

设在上有界，在中任意插入若干分点，即如下描述。 分点将区间分成如下的个小区间。 各小区间的长度如下。 在每个小区间上任取一点，作函数值与小区间长度的乘积并求总和，这个总和又称黎曼和(Riemann Sum)，数学形式如下。 记，如果当趋近于时，的极限总存在，且与闭区间的分法与的取法无关，那么称这个极限为函数在上的黎曼积分(Riemann Integral)，数学形式如下。 达布大和(Upper Darboux Sum)定义如下。 达布小和(Lower Darboux Sum)定义如下。 达布积分(Darboux Integral)可记作如下数学形式。 黎曼积分和达布积分是等价的。

定积分在数值上可以理解为曲线，直线，直线和坐标轴横轴围成的图形的面积值，是一种确定的实数值，这称之为定积分的几何意义。若上的取值有正也有负，则定积分的值为坐标轴横轴上方图形的面积减去下方图形面积的差。

对定积分的两则补充规定如下。

定积分中值定理(Mean Value Theorem for Definite Integral)表明，如果在上连续，那么在上至少存在一点使下式成立。

定积分技巧

若的积分区间为，可通过下式利用函数的奇偶性求解定积分。 若是以为周期的连续函数，则对任意数都有下式。

定积分的几何应用

曲线以小区间的窄曲边梯形绕坐标轴横轴旋转而成的薄片体积，即体积元素如下。 进而可求曲线在闭区间上的旋转体体积如下。 曲线在小区间上的小弧段长度，即弧长元素如下。 进而可求曲线在闭区间上的弧长如下。

牛顿-莱布尼兹公式(Newton-Leibniz Formula)

积分上限的函数表示为如下数学形式。 并且在上可导，其导数如下。 由此可知，积分上限函数就是的一个原函数，又称微积分第一基本定理(The First Fundamental Theorem of Calculus)。已知也是的一个原函数，那么这两个原函数之差必定是某一个常数，即下式。 令，易知，得，将其带入上式，又将式代入上式，可得下式。 令且更换记号，得牛顿-莱布尼兹公式如下，又称微积分第二基本定理(The Second Fundamental Theorem of Calculus)。

多重积分(Multiple Integral)

二重积分的定义可由定积分的定义推广，其数学形式如下。

其中，闭区域任意分成个面积分别记为的小闭区域，各小闭区域任取一点记为，各小闭区域的直径中的最大值记为。

二重积分在数值上可以理解为以闭区域为底，以曲面为顶的曲顶柱体的体积值，是一种确定的实数值，这称之为二重积分的几何意义。

二重积分的计算法

若积分区域为X型区域，即可以用下式表示。 则二重积分可转化为先对后对的二次积分，数学形式如下。 若积分区域为Y型区域，即可以用下式表示。 则二重积分可转化为先对后对的二次积分，数学形式如下。

曲面表面积的计算法

设有曲面即，在需要求表面积的曲面上取面积为的小片曲面，其在闭区域的投影为小闭区域，记夹角为，取的法向量如下。 取的法向量如下。 则的计算式如下。 进而可求小片曲面的面积，即曲面的面积元素如下。 进而可求曲面表面积如下。

同理可推广概念至三重积分，又称体积分，即如下数学形式。

其中，空间有界闭区域任意分成个体积分别记为的小闭区域，各小闭区域任取一点记为，各小闭区域的直径中的最大值记为。

二重及二重以上的积分，即扩展到多元函数的积分，统称为多重积分。

反常积分(Improper Integral)

又称广义积分，是对普通定积分的推广。反常积分可分为如下两类。

• 第一类反常积分(Improper Integral of Type 1)；

  又称无穷积分，指区间的上限或下限中含无穷的积分。如上限含无穷的积分为如下数学形式。 第一类反常积分的定义可推广至上限及下限皆为无穷的积分，即如下数学形式。

• 第二类反常积分(Improper Integral of Type 2)。

  又称瑕积分，指积分区间的上限或下限是被积函数的不连续点，又称瑕点。设在上连续且可积，但在点上不连续，定义第二类反常积分如下。 第二类反常积分的定义可推广至上限及下限皆为不连续点，或上限及下限之间含有不连续点的积分。设在和上连续且可积，但在点上不连续，推广的第二类反常积分如下。

上述反常积分的定义式中，若等号右端的极限皆存在，则称该积分收敛；若极限至少有一个不存在，则称积分发散。

托里拆利小号(Torricelli's Trumpet)

又称加百利号角(Gabriel's Horn)，一个表面积无限大但体积有限的三维形状。

埃万杰利斯塔·托里切利(Evangelista Torricelli)

意大利物理学家兼数学家，以发明气压计而闻名。

托里拆利小号由的曲线沿坐标轴横轴旋转而成，其表面积和体积的计算如下。

Γ函数(Gamma Function)

函数是阶乘在实数域上的扩展。的定义如下。 函数的重要性质如下。

• 递推公式：时，有；

  递归出口如下。

• 余元公式：时，有。

  可得特殊值如下。

B函数(Beta Function)

的定义如下。 函数具有对称性质，即等式成立。

函数与函数的关系如下。

微分方程(Differential Equation)

微分方程即描述函数与其导数关系的方程，在物理学等交叉学科应用广泛。

若微分方程中没有出现应变量及其微分的乘积，则此微分方程为线性(Linear)微分方程，否则即为非线性微分方程。若线性微分方程的系数均为常数，则为常系数线性微分方程。

一阶微分方程的解法

一阶微分方程可记为如下形式。 若一阶微分方程可化为如下形式，则称为可分离变量的微分方程，将下式两端积分即得通解。 若一阶微分方程可化为如下形式，则称为齐次(Homogeneous)微分方程。

令即，有，将其代入上式后，分离变量并对等式两端积分，可得下式。求出下式的积分后，再以代替，即得通解。 下式称为一阶线性微分方程。 上式对应的齐次方程如下。 分离变量并对等式两端积分，得到对应的齐次方程的通解如下。 使用所谓常数变易法可求一阶非齐次线性微分方程的通解，即将上式的常数换为关于的未知函数，并代入非齐次方程原式，求得，从而得到通解如下。 上式等号右端的第一项为对应的齐次线性方程的通解，第二项为非齐次线性方程在时的一个特解，由此可知一阶非齐次线性方程的通解等于对应的齐次方程的通解与非齐次方程的一个特解之和。

二阶常系数微分方程的解法

下式称为二阶常系数齐次线性微分方程。 使用尝试是否满足方程，得下式。 由于，可得下式，又称微分方程的特征方程(Characteristic Equation)。 根据特征方程的根的不同情形，可得出微分方程的通解，其对应关系如下。

• 若，则；
• 若，则；
• 若是共轭复数根的情况即，则。

下式称为二阶常系数非齐次线性微分方程。

根据的不同情况，有不同的特解形式。

• 若为型(为多项式的最高次数)，则其特解形式如下；

  其中，根据「是方程对应的齐次方程的特征方程的重根」这一规则取值。

• 若为型，则其特解形式如下。

  其中，注意和为两个不同多项式且，若是方程对应的齐次方程的特征方程的根，则，否则。

将代回原方程可求出多项式系数，即得方程的特解，方程的通解即其特解加上对应的齐次方程的通解。

对于某些高阶微分方程，可通过令的方式降阶以求解。

无穷级数(Infinite Series)

数列的和称为无穷级数，简称级数(Series)，记为如下数学形式。 上式中，若等号右端的极限存在，则称该级数收敛；反之则称级数发散。

级数收敛的必要条件如下。

注意下式不是级数收敛的充分条件，如调和级数的一般项趋于零，但仍然发散。

比较审敛法(Comparison Test)

设，有如下推理成立：若收敛，则收敛；若发散，则发散。

比较审敛法的极限形式为，设且，若有下式。 则有如下推理成立：若，则与敛散相同；若，则收敛收敛；若极限趋于无穷，则发散发散。

比值审敛法(Ratio Test)

让·勒朗·达朗贝尔(Jean le Rond D'Alembert)

法国物理学家兼数学家。

又称达朗贝尔判别法(D'Alembert's Test)，设，若有下式。 则有如下推理成立：若，则收敛；若，则发散；若，则的敛散性无法通过该方法判断。

积分审敛法(Integral Test)

设为正项非递增函数，在连续，则级数的敛散性与下式相同。

向量分析(Vector Analysis)

关注向量场的微分和积分，又称向量微积分(Vector Calculus)，是微积分的分支学科。

标量场(Scalar Field)

三维空间上各点对应具体的值而没有方向，即各点的属性都可以用一个标量代表，这样的多元函数称为标量函数(Scalar Function)，又称标量场。

标量场如温度场、密度场等，可以通过等值曲面(Isotimic Surface)来描述。

方向导数(Directional Derivative)

多元函数在沿单位向量的方向导数定义为如下数学形式。 如果函数在点可微分，那么函数沿单位向量的方向导数如下。

梯度(Gradient)

引入向量微分算子或称Nabla算子，记为，读作/del/，其数学形式如下。 则梯度可定义为如下数学形式。 前述方向导数的数学形式可如下表示。

其中，，即梯度与单位向量的夹角。

上式表明了函数在某点的梯度与函数在该点的方向导数间的关系。

• 当时，函数在这个方向的方向导数达到最大值，同时可得，函数在该点的梯度的方向是函数在该点的方向导数取得最大值时的方向；
• 当时，函数在这个方向的方向导数有最小值；
• 当时，函数的变化率为零。

可见，梯度即标量场于场中某点增加率最大的速率与方向。

标量场的曲线积分(Line Integral of Scalar Field)

又称「对弧长的曲线积分」或「第一类曲线积分」，定义如下。

其中，光滑曲线弧任意分成分成个长度分别为的小弧段，各小弧段任取一点记为，各小弧段的长度中的最大值记为。

曲线积分计算公式如下。

其中，定积分的下限一定要小于上限，因为长度总是正的。

若积分路径为封闭曲线，曲线积分可记为如下数学形式。

标量场的曲面积分(Surface Integral of Scalar Field)

又称「对面积的曲面积分」或「第一类曲面积分」，定义如下。

其中，光滑曲面任意分成分成个面积分别为的小曲面，各小曲面任取一点记为，各小曲面的面积中的最大值记为。

设积分曲面由方程确定，曲面积分转换为二重积分的计算公式如下。

其中，闭区域是的投影区域。

若积分曲面为封闭曲面，曲面积分可记为如下数学形式。

向量场(Vector Field)

有别于标量场，三维空间上各点对应的是由向量值函数(Vector-Valued Function)确定的向量，则称之为向量场，可记为如下数学形式。

其中，、和称为的分量函数(Component Function)，是关于点标量函数。

若向量场是某个标量函数的梯度，则称是的一个势函数(Potential Function)，并称向量场为势场(Potential Field)。任意一个向量场并不一定都是势场，因为它不一定是某个标量函数的梯度。

散度(Divergence)

三维空间中，散度的定义如下。 散度描述向量场的点是宿点(Sink)还是源点(Source)，即单位体积「流出量」的程度。

皮埃尔-西蒙·拉普拉斯(Pierre-Simon Laplace)

法国天文学家兼数学家，对天体力学和统计学的发展举足轻重。

对标量场作梯度运算后，再作散度运算的算子称为拉普拉斯算子(Laplace Operator)，即如下数学形式。

旋度(Curl)

三维空间中，旋度的定义如下。 旋度描述此向量场在点的旋转程度。

向量场的曲线积分(Line Integral of a Vector Field)

又称「对坐标的曲线积分」或「第二类曲线积分」，记为如下数学形式。

其中，为一条光滑曲线，。

曲线积分计算公式如下。

其中，下限对应的起点，上限对应的终点，不要求小于。

保守向量场(Conservative Vector Field)

简称保守场，指曲线积分与路径无关，仅与积分的起点与终点有关。

梯度定理(Gradient Theorem)或称曲线积分基本定理表明，若向量场为势场，则下式成立。

其中，是区域内起点为，终点为的一条光滑曲线。

上式表明，势场属于保守场。若积分路径为封闭曲线，易得下式成立。 此外，任意保守场都是无旋场，即旋度为零。

格林定理(Green's Theorem)

乔治·格林(George Green)

英国数学家兼物理学家，格林定理以其命名。

二维空间上的平滑封闭曲线围成闭区域，若函数与在上且具有一阶连续偏导数，则下式成立。

向量场的曲面积分(Surface Integral of Vector Field)

向量场的曲面积分的几何意义为单位时间内「流向曲面一侧的流量」即通量(Flux)，只有平行于曲面法向量的分量会对通量作出贡献，要计算通量则需要取向量与曲面上每点单位法向量的点积，即投影。通常约定法向量是从里朝外的。

向量场的曲面积分又称「对坐标的曲面积分」或「第二类曲面积分」，记为如下数学形式。

卡尔·高斯(Carl Gauss)

德国数学家兼物理学家，享有「数学王子」的美誉。

高斯通量定理(Gauss's Flux Theorem)又称高斯散度定理(Gauss's Divergence Theorem)。若闭区域由光滑闭曲面围成，且向量场在上具有一阶连续偏导数，则下式成立。

矩阵微积分(Matrix Calculus)

矩阵微积分是多元微积分的特殊表达。

向量求导(Derivatives with Vectors)

向量关于标量的导数称为向量的切向量(Tangent Vector)，数学形式如下。 标量关于向量的导数如下。

标量对向量的求导法则

其中，和都不是关于的函数。

卡尔·雅可比(Carl Jacobi)

普鲁士数学家。

向量关于向量的导数称为雅可比矩阵(Jacobian Matrix)，数学形式如下。

对于标量函数，其梯度的雅可比矩阵等于它的海森矩阵，即下式。 当雅可比矩阵为方阵时，其行列式称为雅可比行列式(Jacobi Determinant)。

矩阵求导(Derivatives with Matrices)

矩阵对标量的导数称为切矩阵(Tangent Matrix)，数学形式如下。 标量函数对矩阵的导数如下。

矩阵梯度运算的性质

矩阵梯度运算具有如下性质。

• ；
• ；
• ；
• 。

统计学(Statistics)

见统计学杂记。

测度论(Measure Theory)

设集合为有界集，下式为的外测度(Outer Measure)。 若外测度满足可加性，即且使得，称为可测集(Measurable Set)，并记为的勒贝格测度(Lebesgue Measure)，简称测度(Measure)。

对于无界集，若都有可测，称为可测集，其测度为如下数学形式。 实数集的开集和闭集都是可测集。可数个可测集的交集和并集都是可测集。

设集合，若使得，称是零测集(Null Set)，记为。可数集是零测集，但测度为零并不一定可数。

若可测集上的广义实值函数对于都有为可测集，则为上的可测函数(Measurable Function)。

设是可测集上的可测函数，，的值域为，在中任意插入若干分点，即如下描述。 分点将区间分成如下的个小区间。 记，其中。显然有。

勒贝格大和(Upper Lebesgue Sum)定义如下。 勒贝格小和(Lower Lebesgue Sum)定义如下。 勒贝格积分(Lebesgue Integral)可记作如下数学形式。

泛函分析(Functional Analysis)

泛函分析的研究对象是函数构成的函数空间。