§向量范数
§定义
设V是数域K(R/C)上的线性空间，对于V中的任一元素(向量)$x \in V$，如果有一个唯一的实函数$N(x)$与之对应，记为$\|x\|$，它满足：
1、非负性：$\|x\| \ge 0$，且当且仅当$x=0$时，$N(x)=\|x\|=0$；
2、齐次性：$\|ax\| = |a|\|x\|$，其中$a \in K, x \in V$；
3、三角不等式：$\|x+y\| \le \|x\| + \|y\|$；
则称实函数$N(x)=\|x\|$为线性空间V上的范数。如果线性空间V上规定了范数，则称V为赋范线性空间。
§几个常用的范数
1、$l_1$-范数(1-范数)：$\|x\|_1=\sum_{i=1}^n |x_i|$；
2、$l_2$-范数(2-范数)：$\|x\|_2=(\sum_{i=1}^n |x_i|^2)^{1/2}$；
3、$l_\infty$-范数($\infty$-范数)：$\|x\|_\infty=\max_{i=1,2,\dots,n} |x_i|$；
4、更一般的$l_p$范数($p \ge 1$)：$\|x\|_p=(\sum_{i=1}^n |x_i|^p)^\frac{1}{p}$；
定理一：$\|x\|_\infty=\lim_{p \rightarrow \infty} \|x\|_p$。
证明：设$|x_m| = \max_{i=1,2,\dots,n} |x_i|$，则 $$ |x_m|^p \le \|x\|_p^p = \sum_{i=1}^n |x_i|^p \le n|x_m|^p $$ 所以 $$ |x_m| \le \|x\|_p \le n^{1/p}|x_m| $$ 又 $$ \lim_{p \rightarrow \infty} n^{1/p}=1 $$ 由夹逼定理： $$ \lim_{p \rightarrow \infty} \|x\|_p = |x_m| =\|x\|_\infty $$
§矩阵范数
§定义
设$A \in C^{m \times n}$，对于每一个A，如果对应着一个实函数$N(A)$，记为$\|A\|$，它满足以下条件：
1、非负性：$\|A\| \ge 0$，且$\|A\|=0$当且仅当A=0；
2、齐次性：$\|\alpha A\|=|\alpha|\|A\|$，$\alpha \in C$；
3、三角不等式：$\|A+B\| \le \|A\| + \|B\|$；
则称$N(A)=\|A\|$为A的广义矩阵范数。进一步，如果对$C^{m \times n},C^{n \times l},C^{m \times l}$上的同类广义矩阵范数，有
4、相容性：$\|AB\| \le \|A\| \|B\|$；
则称$N(A)=\|A\|$为A的矩阵范数。
§矩阵算子范数
设$C^m,C^n$上同类向量范数为$\|*\|$，$A \in C^{m \times n}$，定义在$C^{m \times n}$上由向量范数诱导给出的矩阵范数为 $$ \|A\|=\max_{x \ne 0} \frac{\|Ax\|}{\|x\|}=\max_{\|x\| = 1}\|Ax\| $$ 容易验证它满足矩阵范数定义的第1到3个条件，对于第4个： $$ \|AB\|=\max_{\|x\|=1}\|ABx\| $$ 当$Bx=0$时，$\|ABx\|=0=\|A\|\|Bx\|$；当$Bx \ne 0$时， $$ \|AB\|=\max_{\|x\|=1}\|ABx\| \le \max_{\|x\|=1} \max_{\|Bx\| \ne 0}\frac{\|A(Bx)\|}{\|Bx\|}\|Bx\|=\max_{\|x\|=1} \|A\|\|Bx\|=\|A\|\|B\| $$ 这一类矩阵范数称为诱导范数或者算子范数。
§常用诱导矩阵范数
设$A \in C^{m \times n}$，则常用的诱导矩阵范数有：
§1范数
矩阵的1范数由向量的1范数诱导而来，结果为$\|A\| = \max_{1 \le j \le n} \sum_{i=1}^m |a_{ij}|$。
证明：将A列分块：$A=[a_1,a_2,\dots,a_n]$。设$x=(x_1,x_2,\dots,x_n) \in C^n$，且$\|x\|_1=1$，则 $$ \begin{aligned} \|Ax\|_1 &= \sum_{i=1}^m \left|\sum_{j=1}^n a_{ij}x_j \right| \le \sum_{i=1}^m\sum_{j=1}^n |a_{ij}||x_j| = \sum_{j=1}^n |x_j|(\sum_{i=1}^m |a_{ij}|) \\ & \le \sum_{j=1}^n |x_j|(\max_j \sum_{i=1}^m |a_{ij}|) = (\max_j \sum_{i=1}^m |a_{ij}|) \sum_{j=1}^n |x_j| = \max_j \sum_{i=1}^m |a_{ij}| \end{aligned} $$ 所以$\|A\|_1=\max_{\|x\|_1=1} \|Ax\|_1 \le \max_j \sum_{i=1}^m |a_{ij}|$。
另外，选取k使得 $$ \sum_{i=1}^m |a_{ik}|=\max_j \sum_{i=1}^m |a_{ij}| $$ 令$e_k=[0,\dots,0,1,0,\dots,0]^T \in R^n$，则$Ae_k=[a_{1k},a_{2k},\dots,a_{mk}]^T$，
所以 $$ \|A\|_1 = \max_{\|x\|_1=1} \|Ax\|_1 \ge \|Ae_k\|_1 = \sum_{i=1}^m |a_{ik}|=\max_j \sum_{i=1}^m |a_{ij}| $$ 所以$\|A\|_1==\max_j \sum_{i=1}^m |a_{ij}|$。
§无穷范数
$\infty$范数由向量的$\infty$范数诱导而来，结果为$\|A\|_\infty=\max_{1 \le i \le m} \sum_{j=1}^n |a_{ij}|$。
证明：设$x=(x_1,x_2,\dots,x_n)^T$，且$\|x\|_\infty=1$，即$\max_i |x_i|=1$。则 $$ \begin{aligned} \|Ax\|_\infty &= \max_{1 \le i \le m} \left| \sum_{j=1}^n a_{ij}x_j \right| \le \max_i\sum_{j=1}^n |a_{ij}||x_j| \\ & \le \max_i \sum_{j=1}^n |a_{ij}| \max_j |x_j| \le \max_i \sum_{j=1}^n |a_{ij}| \end{aligned} $$ 所以 $$ \|A\|_\infty = \max_{\|x\|_\infty = 1} \|Ax\|_\infty \le \max_i \sum_{j=1}^n |a_{ij}| $$ 另外，选取k使得 $$ \sum_{j=1}^n |a_{kj}|=\max_i \sum_{j=1}^n |a_{ij}| $$ 令$y=[y_1,y_2,\dots,y_n]^T$，其中 $$ y_i = \begin{cases} 1, \qquad a_{kj}=0 \\ \cfrac{|a_{kj}|}{a_{kj}}, \qquad a_{kj} \ne 0 \end{cases} $$ 则$\|y\|_\infty=1$，所以 $$ Ay=[*,\dots,*,\sum_{j=1}^n |a_{kj}|,*,\dots,*]^T $$ 所以 $$ \|A\|_\infty=\max_{\|x\|_\infty=1}\|Ax\|_\infty \ge \|Ay\| \ge \sum_{j=1}^n |a_{kj}|=\max_i \sum_{j=1}^n |a_{ij}| $$ 所以 $$ \|A\|_\infty=\max_i \sum_{j=1}^n |a_{ij}| $$