为理解机器学习的高级话题，需要了解一些线性代数的知识。如果想把算法从学术论文上搬下来用代码实现，或者研究本书之外的算法，很可能需要对线性代数有基本的理解。假设读者有过这方面的知识，但是由于过去一段时间需要回顾这方面的知识，那么本附录可以提供线性代数的简单入门或者补习。如果读者没有学过线性代数，那么我建议在大学选修这门课，或者读完一本自学教材，或者通过视频来学习。互联网上有很多免费辅导视频1，还有很多一学期课程的免费录像可供学习2。读者可能听说过“数学不是一种仅供观赏的学科”这一说法，事实确实如此。只有自己亲身通过例子求解才能强化基于书本或视频的学习效果。
1. Gilbert Strang有些报告可以免费观看，地址为http://www.youtube.com/watch?v=ZK3O402wf1c。也可以通过地址http://ocw.mit.edu/courses/mathematics/18-06-linear-algebraspring-2010/获得相关课程材料。他的报告给出了线性代数的重点内容，理解起来也不难。另外，他的计算科学的研究生课程也非常不错，地址为http://www.youtube.com/watch?v=CgfkEUOFAj0。
2. 据说Kahn Academy的网站上给出了很多线性代数的学习视频，地址为http://www.khanacademy.org/#linear-algebra。
接下来首先讨论线性代数中矩阵这一基本构件。然后介绍矩阵上的一些基本运算，包括矩阵求逆。再接着介绍机器学习中常用的向量范数概念。最后介绍矩阵求导运算。