范数是一个机器学习领域常用的概念。矩阵的范数通常写成在矩阵的两边分别加上两条竖杠，例如||A||。下面先介绍向量的范数。
向量的范数运算会给向量赋予一个正标量值。可以把向量范数看成是向量的长度，这在很多机器学习算法比如k近邻中都非常有用。对于向量z=[3,4]，其长度为√(3^2+4^2 )=5。这也常常称为向量的2范式，写作||z||或||z||2。
在某些机器学习算法当中，比如lasso回归，采用其他的范数计算方法可能效果更好。其中L1范数也很流行，它的另一个名称是曼哈顿距离(Manhattan distance)。向量z的L1范数为3+4=7，写作||z||1。可以定义任意阶范数，其形式化定义如下：
向量范数主要用于确定向量作为输入时的大小。除了上述定义外，用户可以采用任意方式来定义自己的向量范数，只要其可以将向量转换为标量值。