数值分析（Numerical Analysis）是数学的一个重要分支，研究如何设计和分析用于求解连续数学问题的数值算法。它架起了数学理论与计算机科学之间的桥梁，使许多无法解析求解的数学问题可以通过计算机获得近似解。数值分析广泛应用于科学计算、工程模拟、金融建模、数据科学和人工智能等领域。
本文为数学知识库的组成部分，系统介绍数值分析的核心方法、理论基础与实用技巧。
数值分析关注的是如何用数值方法（而非解析方法）求解数学问题。现实世界中，许多数学问题（如求解高次方程、计算复杂积分、求解偏微分方程）没有解析解或解析解过于复杂，无法手工计算。数值分析提供了一系列算法，利用计算机在可接受的误差范围内求得近似解。
数值分析包含三个核心要素：
数值计算中，误差是不可回避的固有属性。理解误差来源是有效使用数值方法的前提。
截断误差（Truncation Error）：使用有限步骤近似无限过程产生的误差。例如，用泰勒多项式的前 n 项近似函数时，丢弃的高阶项就是截断误差。泰勒定理定量描述了截断误差的大小：
最后一项即为截断误差的估计。
舍入误差（Round-off Error）：计算机用有限位数表示实数，将无限小数截断为有限精度导致的误差。IEEE 754 双精度浮点数约提供 15-17 位十进制有效数字。
算法稳定性：一个好的算法应能控制误差的传播，不因中间步骤的小误差而导致最终结果严重失真。如果一个算法在计算过程中误差被不断放大，则称其为不稳定的算法。
条件数（Condition Number）：衡量问题本身对输入误差敏感程度的指标。条件数越大，问题越病态（ill-conditioned），即使使用精确算法也难以获得可靠结果。条件数定义为：
插值是用简单函数（通常是多项式）近似复杂函数的核心方法，是数值分析中最古老也最基础的工具之一。
拉格朗日插值（Lagrange Interpolation）：通过 n+1 个数据点构造 n 次多项式。拉格朗日插值基函数定义为：
插值多项式为：
牛顿插值（Newton Interpolation）：使用差商（divided differences）逐步构造插值多项式。其优势在于当增加新数据点时，不需要重新计算整个多项式：
其中 为 k 阶差商。
龙格现象（Runge's Phenomenon）：使用等距节点对光滑函数（如 ）做高次多项式插值时，区间端点附近会出现剧烈震荡。这是高次多项式插值的主要缺陷，提示我们需要另寻他法。
分段线性插值：将区间分成小段，每段用线性函数插值。简单稳定，但光滑性差。
三次样条插值（Cubic Spline Interpolation）：在相邻节点间用三次多项式连接，且保证节点处一阶、二阶导数连续。它的自然边界条件 使其在实际应用中表现优异，兼具光滑性和稳定性。三次样条优于高次多项式插值，因为它能有效避免龙格现象。
切比雪夫逼近（Chebyshev Approximation）：使用切比雪夫多项式的最优一致逼近性质，在给定次数下最小化最大误差。切比雪夫确定的插值节点为：
使用切比雪夫节点可显著减轻龙格现象。
最小二乘逼近（Least Squares Approximation）：在数据点数量远多于参数数量时，求使得残差平方和最小的拟合曲线。这是数据分析和机器学习的基础方法。
正交多项式逼近：勒让德多项式、切比雪夫多项式等正交多项式在函数逼近中有独特的优势，它们的正交性简化了计算，且收敛性良好。
牛顿-柯特斯（Newton-Cotes）公式是用等距节点上的插值多项式近似被积函数来构造的数值积分公式。
梯形法则（Trapezoidal Rule）：
误差项为 。
辛普森法则（Simpson's Rule）：
其中 。误差项为 。辛普森法则对三次以下多项式是精确的。
复合公式（Composite Rules）：将被积区间分成若干子区间，在每个子区间上应用简单公式后求和。这是提高精度的实用方法，也是最常用的实现方式之一。
龙贝格积分（Romberg Integration）：基于梯形法则外推，利用理查森外推技术从粗粒度的梯形值序列逐步提高精度。其收敛速度远快于单纯复合梯形公式。
高斯求积（Gaussian Quadrature）通过精心选择求积节点（通常是正交多项式的根），使得 n 个节点的公式对 2n-1 次多项式精确成立。这是数值积分中最强大的方法之一。
高斯-勒让德求积（Gauss-Legendre）：节点为勒让德多项式的根，积分区间为 。一般区间可通过变量代换：
高斯-切比雪夫求积（Gauss-Chebyshev）：处理带有权函数 的积分。
数值微分通过有限差分公式近似导数，是微分方程数值解的基础。
前向差分：
中心差分：
中心差分比前向/后向差分精度高一阶，在相同步长下更精确。但数值微分对步长选择敏感——步长太大会引入截断误差，步长太小则会因舍入误差导致结果不稳定。
理查森外推（Richardson Extrapolation）：通过两个不同步长的差分结果按最佳比例组合，消除低阶误差项，大幅提高精度。
二分法（Bisection Method）：基于介值定理，在包含根区间 [a,b] 中反复对分。保证收敛但速度较慢（线性收敛），收敛因子为 1/2。
牛顿法（Newton's Method）：
在单根附近平方收敛，但需要计算导数。牛顿法是实际中最常用的根求解算法之一。
割线法（Secant Method）：用差商替代导数：
收敛阶约为 1.618（黄金分割数），不需要导数。
混合方法（Hybrid Methods）：许多实用的求解器（如 Brent-Dekker 法）结合了二分法的可靠性、割线法的速度和反二次插值的精度，是现代软件实现的标准选择。Matlab 的 fzero 和 SciPy 的 root_scalar 就采用此类方法。
在工程和物理中，求解非线性方程组比单个方程复杂得多：
牛顿法（Newton's Method for Systems）：
其中 为雅可比矩阵。每次迭代都需要求解线性系统。
拟牛顿法（Quasi-Newton Methods）：如 Broyden 方法，用近似雅可比更新替代每次精确计算雅可比矩阵，减少计算量。
最速下降法（Steepest Descent）：对于优化问题背景下的方程求解，梯度下降法虽然收敛慢但稳定性好，常用于牛顿法的初始阶段。
多项式求根是特殊的一类问题。多项式的根对系数的微小变化可能极为敏感（Wilkinson 多项式现象——一个著名的病态多项式例子）。
实用方法包括：
高斯消去法（Gaussian Elimination）：通过行变换将矩阵转化为上三角形式，再回代求解。标准实现中必须包含列主元（partial pivoting），以防止小主元导致数值不稳定。行交换的代价远低于计算结果完全不可信的风险。
LU 分解（LU Decomposition）：将矩阵分解为下三角 L 和上三角 U 的乘积：。一次分解后求解多个右端项的效率极高。带有行置换的变体记为 。
Cholesky 分解：对称正定矩阵可分解为 ，计算量和存储量均为 LU 分解的一半。这是求解正定系统的最优选方法。
求解三对角系统的托马斯算法（Thomas Algorithm）：三对角矩阵的高斯消去简化版，O(n) 复杂度，广泛应用于偏微分方程离散化后的求解。
直接法对于大规模稀疏矩阵效率低下，迭代法通过逐次逼近的方式在大规模问题中更具优势。
雅可比迭代（Jacobi Iteration）：每次迭代使用上一轮的所有分量同时更新。收敛条件为矩阵严格对角占优或对称正定。收敛速度通常较慢。
高斯-赛德尔迭代（Gauss-Seidel Iteration）：利用最新的分量值更新，通常比雅可比快一倍。其中一种重要变体是逐次超松弛（SOR）：
最优松弛因子 可大幅加速收敛。
共轭梯度法（Conjugate Gradient Method）：对对称正定矩阵最有效的迭代法，理论上最多 n 步精确收敛（实际中由于舍入误差会更多）。预条件共轭梯度法（PCG）是现代科学计算求解大型稀疏系统的标配方法。
当矩阵的条件数很大时，直接法也会给出不可靠的解。处理病态问题的策略包括：
幂法（Power Method）：通过反复乘以矩阵来逼近模最大的特征值，是获取极端特征值的简单有效手段。收敛速度取决于模最大特征值与次大特征值的比值。
逆幂法（Inverse Iteration）：对 应用幂法，收敛到最接近 的特征值。配合瑞利商加速，收敛速度可达立方收敛。
QR 算法是计算所有特征值的最重要方法。基本原理是反复做 QR 分解和重乘：
最终 收敛到拟上三角形式（舒尔形式），对角元给出特征值。
实用技巧：
SVD 将任意矩阵分解为 ，是数值线性代数中最强大的工具，广泛应用于：
SVD 的计算通常基于 Golub-Kahan 双对角化，再对双对角矩阵执行隐式 QR 算法。
欧拉方法（Euler's Method）：最简单的一步法，局部截断误差 O(h²)，全局误差 O(h)。过于粗糙，实际应用有限。
龙格-库塔方法（Runge-Kutta Methods）：最常用的 ODE 求解器族。RK4（经典四阶龙格-库塔法）是最流行的选择，局部截断误差 O(h⁵)：
自适应步长方法：如 Dormand-Prince（RK45）对，同时计算四阶和五阶解，利用差异自动调整步长。这是现代 ODE 求解器的标准做法（如 Matlab 的 ode45）。
刚性方程（Stiff Equations）：当系统的时间常数差异极大时，显式方法需要极小的步长才能稳定。处理刚性问题的对策是使用隐式方法，如隐式龙格-库塔或 BDF（向后微分公式）方法。ode15s 等刚性求解器的背后正是这类方法。
打靶法（Shooting Method）：将边值问题转化为初值问题的迭代求解。通过调整初始条件使解在另一端满足边界条件，本质上是求解一个非线性方程。
有限差分法（Finite Difference Method）：将微分算子用差分近似替代，离散化为线性方程组。简单直接，适合规则区域。
有限元法（Finite Element Method）：将区域划分为小单元，在每个单元上使用形函数（shape function）构造近似解。适用于不规则几何形状和复杂边界条件，是工程计算的主流方法。
椭圆型方程（如泊松方程）：通常使用五点差分格式离散化后求解大规模线性系统。多重网格法是求解此类问题的最快方法之一，收敛速度与网格大小无关。
抛物型方程（如热传导方程）：时间上需满足 CFL 条件保证稳定。使用 Crank-Nicolson 格式（半隐式）可在保持无条件稳定的同时获得二阶精度。
双曲型方程（如波动方程）：信息沿特征线传播。需要使用守恒型差分格式，并注意抑制数值震荡。Lax-Wendroff 格式和 TVD（总变差递减）格式是常见选择。
离散傅里叶变换（DFT）将时域信号转换为频域表示，但其直接计算的复杂度为 O(n²)。快速傅里叶变换（FFT）利用对称性和分治策略将复杂度降至 O(n log n)，是 20 世纪最重要的数值算法之一。
Cooley-Tukey 算法：当 n = 2ᵏ 时最为高效。将 DFT 分解为偶数点 DFT 和奇数点 DFT 的组合：
递归应用上述分解，复杂度降为 O(n log n)。
FFT 的广泛应用包括光谱分析、滤波器设计、图像压缩（JPEG）、卷积神经网络中的卷积加速（通过频域乘积实现）、以及各种科学计算中的频谱分析。
对于对称正定线性系统，共轭梯度（CG）法是最佳选择。预条件共轭梯度法（PCG）通过引入预条件子 M 来改善条件数：
理想的预条件子应在降低条件数的同时易于求逆。常见的预条件子包括雅可比（对角）、不完全 Cholesky 分解、SSOR 等。对于 PDE 离散化系统，多重网格本身就是一种极佳的预条件子。
多重网格法（Multigrid）：利用"平滑-粗化-校正"迭代，在不同网格层级上交替进行迭代和误差修正。光滑分量在细网格上不易衰减，但转换到粗网格后反而能快速收敛。V-cycle 和 W-cycle 是两种典型的遍历策略。
多重网格法最重要的性质是网格无关收敛性——收敛速度不随网格加密而降低，这是它成为 PDE 问题最优求解器的根本原因。
蒙特卡罗（Monte Carlo）方法利用随机采样估计数学量，在处理高维问题时具有独特优势。
随机数生成：高质量的伪随机数是蒙特卡罗模拟的基础。线性同余生成器（LCG）虽然简单，但在高维空间中存在关联问题。梅森旋转算法（Mersenne Twister）和现代的 xoroshiro128++ 是更可靠的选择。对于加密和安全场景，应使用密码学安全的随机数生成器（如 ChaCha20）。
方差缩减技术：
马尔可夫链蒙特卡罗（MCMC）：如 Metropolis-Hastings 算法和 Gibbs 采样，用于从复杂的后验分布中采样，是贝叶斯统计和机器学习推断的核心工具。
| 库/工具 | 语言 | 特点 |
|---|---|---|
| SciPy | Python | 最全面的科学计算生态，涵盖上述所有模块，社区活跃 |
| NumPy | Python | 高性能数组操作，底层调用 BLAS/LAPACK |
| LAPACK | Fortran | 线性代数计算的标准参考实现 |
| ARPACK | Fortran | 大规模特征值求解 \ |
| SUNDIALS | C | ODE/DAE 求解器套件，支持大规模并行 |
| PETSc | C++ | 大规模偏微分方程求解框架，支持分布式计算 |
| FFTW | C | 最快的 FFT 库之一 |
| Eigen | C++ | 模板化的线性代数库，兼顾性能与易用性 |
选择合适的误差容限：不是所有问题都需要高精度。在工程实践中，1% 的相对误差往往已经足够。在机器学习训练中，32 位浮点精度通常是足够的。
先验证算法正确性：在应用到真实数据前，先用已知解析解的问题测试。这一步骤能快速排查大部分编程错误。
监控收敛行为：良好的收敛应该是单调的、渐进的。如果残差反复震荡甚至发散，应检查算法选择是否合理、问题条件数是否过大。
理解问题结构：矩阵是稠密还是稀疏？对称还是非对称？正定还是不定？选择合适的算法可使效率提升数个数量级。
复现性考虑：由于浮点运算的交换律不严格成立，不同编译器、不同并行架构可能给出略微不同的结果。在需要精确复现的场景下，应固定计算顺序和并行策略。
在实际工程中，我归纳了几条规则：
不要自己造线性代数库：BLAS、LAPACK 已经过数十年的优化（包括 CPU 级别的指令流水线和缓存优化），直接调用比自己实现快 10-100 倍。NumPy 和 SciPy 是最好的老师。
迭代法的收敛性总是需要检验：很多资料说共轭梯度法对正定矩阵一定收敛，但实际中由于矩阵的病态性和舍入误差，它可能非常慢。画收敛曲线是我 Debug 数值代码的第一件事。
有限差分中用中心差分别用前向差分：除非你明确需要只有前向/后向数据。中心差分的精度高一阶，同样的步长结果明显更好。
SVD 是万能备选：当高斯消去和最小二乘都给出让人疑惑的结果时，用 numpy.linalg.svd 看看奇异值分布，往往能一眼发现问题（如矩阵几乎奇异、线性相关列等）。
多元方程组的初值选择是关键：牛顿法在初始猜测靠近解时收敛极快，但"靠近"需要领域知识。一种实用策略是先用粗网格或低精度的简单算法得到一个粗略解，再用牛顿法精化。
FFT 大小选择 2 的幂：Cooley-Tukey 对长度为 2ᵏ 的序列最高效。当数据长度不是 2 的幂时，补零到下一个 2 的幂通常是最简单有效的做法。
在 GPU 上处理大规模并行数值计算：对于矩阵乘法、FFT 等可以大规模并行的数值计算任务，使用 CuPy（GPU 版 NumPy）或 PyTorch 可以比 CPU 版本快数十倍。
数值分析在当下依然在快速发展，以下几个方向值得关注：
深度学习和数值方法的融合正在创造新的范式。物理信息神经网络（PINN）将微分方程嵌入神经网络的损失函数，无需网格即可求解 PDE。算子学习（Operator Learning，如 DeepONet 和 Fourier Neural Operator）学习的是函数空间之间的映射，训练后可在毫秒级求解参数化的 PDE 家族。
现代深度学习框架（PyTorch、JAX、TensorFlow）的核心技术。自动微分（Automatic Differentiation）通过对计算图应用链式法则精确计算导数，既避免了符号微分的表达式膨胀，也避免了数值微分的截断误差。在数值优化、灵敏度分析和 PDE 反问题中有着日益广泛的应用。
低精度计算在 AI 推理中越来越普及（FP16、BF16、FP8 甚至更低的 4-bit 量化），但在科学计算中，高精度需求依然存在。任意精度计算库（如 MPFR）和新的数值格式（如 posits）正在探索精度与效率的新平衡点。
随机化正在改变数值线性代数。随机化 SVD（Randomized SVD）通过对矩阵应用随机投影来降维，在大规模低秩近似中比传统方法快数倍。随机化矩阵乘法、随机化最小二乘等新方法正在被主流科学计算库采纳。
数值分析不是一个可以"学一次就够"的领域。随着硬件架构演进和问题规模增长，新的数值方法和旧的妥协不断重新洗牌。掌握核心原理、熟悉主流工具、理解误差行为——有了这三样，面对任何具体数值问题时都能找到可靠的切入路径。