Ax = b A(x_p + x_n) = b, x_p \in C(A), x_n in N(A)

18.06 SI115 线性代数笔记 前言

大二的第一门数学课——线性代数落下了帷幕。授课的袁晓军教授采用了Gilbert Strang的《Introduction to Linear Algebra》这本教材,作业很多也是来源于MIT的Problem Set和书上原题。这学期这门课的成绩不尽理想,但是这本教材和这门课所涉及到的领域的确是十分重要和有趣的。

糟糕的心态和时间安排使得这学期无论是电路基础还是线性代数还是数据结构,三门专业课的表现都让自己十分无语。时至寒假,该是时候对这些课程一一进行一些梳理。也方便今后修读这门课程的学弟进行学习。同时,由于这门课的公开课十分流行,希望这些笔记对网友们也能有所裨益。不过,这些笔记主要还是写给自己的。

这门课的一些有用资源:

  • http://blog.csdn.net/suqier1314520/article/category/1571247
  • http://web.mit.edu/18.06/www/

书的封面上是一幅有关四个基本子空间与线性方程组解之间关系的图,这张图,基本涵盖了整本书第一章到第三章所有讲到的内容。整个关系可以用Ax=b \Leftrightarrow A \left( x_p + x_n \right), x_p = b \in C(A), x_n = 0 \in N(A)来表示。最重要的计算方法是消元,最基本的概念是向量、单个矩阵的四个基本向量子空间的性质(秩、维度、……)和空间的正交性。

Ax = b <=> A(x_p + x_n) = b, x_p \in C(A), x_n in N(A)
这张图描绘了线性方程组 Ax = b 的解的各个分量是如何分布在矩阵 A 的4个基本子空间中的。 This figure displays how the components of the solution to the linear system Ax = b lies in 4 fundamental subspaces of the matrix A.

到第四章,通过子空间的正交性,我们发现有些系统无法得到精确解,而只能得到近似解。那么,最好的近似解该从何而来?教材开始引入投影这个基本概念,并带着读者一步步解决最小二乘问题,完成线性拟合。教材在第四章末尾介绍了Gram-Schmidt的正交化算法,通过这一算法,即可将矩阵正交归一化(ortho-normalize)。

第五章主要介绍的是行列式及其应用。基本性质、代数余子式、克莱姆法则、体积与面积的表示的论述与其他教材几无二致。教材并没有明确伴随矩阵这一概念,但是在代数余子式一节中介绍了其表达式。同时课上介绍了一些较为零碎的知识点,如Jacobian矩阵以及Sherman-Morrison公式、叉乘和镜像(reflection)矩阵。

变换矩阵[2 1; 1 2]保留了所有与其特征向量(1, 1)、(1, -1)平行的向量的方向信息。(by Lucas V. Barbosa, via Wikipedia)
变换矩阵[2 1; 1 2]保留了所有与其特征向量(1, 1)、(1, -1)平行的向量的方向信息。(by Lucas V. Barbosa, via Wikipedia)
第六章将焦点放在了特征值上。特征值亦可被理解为一个方阵与其特征向量相对应的缩放因子。通过计算特征值,我们还可以得出信息量最大的一种矩阵分解形式:对角化分解。教材随后介绍了利用特征值和特征向量解微分方程的方法,对称矩阵、正定矩阵和相似矩阵的定义与性质。最后,对于非方阵该如何进行对角化分解呢?于是教材介绍了奇异值分解,也就是机器学习领域为了处理非方阵形式的信息而常常不得不用到的SVD。

第七章介绍了线性变换,并且告诉大家使用矩阵可以描述所有的线性变换。这一章也终于阐清了矩阵乘法运算法则其实与线性变换中的换基有深厚的渊源。通过投影和SVD的铺垫,这章终于介绍了伪逆这一概念。

第八章讲述了线性代数的不少应用,在视频公开课中提及的,主要有Markov矩阵、图的矩阵表示、典型的A^TAx=y问题,以及图像压缩方面的应用。

第九章适用于线性代数方面的“a second course”,公开课与SI115均未涉及。

第十章简单介绍了复数域下的矩阵,以及与实数域下转置矩阵相对应的Hermitian矩阵(自共轭矩阵)和正交矩阵相对应的Unitary矩阵(酉矩阵)。SI115由于课程进度关系没有涉及FFT,而这一部分于公开课中有所涉及。

在书的封底,明确了线性代数的“四个中心问题”,分别是线性系统Ax=b、最小二乘A\hat{x}=Pb、特征值Ax=\lambda x和奇异值Ax=\sigma x

整本书的内容含量远在同济版《线性代数》之上,但与李炯生、查建国的《线性代数》,以及李尚志的《线性代数》、丘维声的《高等代数》等比起来就有些科普读物的感觉了。这本书的中文版据说将在近期(16年1月)由高等教育出版社出版,在中文版出版之前,丘维声的《高等代数(课程改革创新教材)》是不错的参考资料,这个版本把学习指南做进正文了。

不论如何,这门课结束了,但数学的学习是没有止境的。在此向刘神致敬。

final_email

整理愉快!