3Blue1Brown_线代本质第七章:点积与对偶性

  • 我开始了3蓝1棕线性代数本质的学习,我没什么基础所以在此做了笔记,这里是第七章打卡,学习永远不怕晚哈!如有问题请各位大佬及时指正!
  • 在b站它的链接在此
  • 官方一共将此系列分为12节,所以我也会分开写。
  • 我会把相关的这一系列笔记链接在每一篇的最下面,写完就会更新,有需要的朋友可以自行跳转!
  • 这就是普通的记录,比较基础,没什么有新意的地方。厉害的大佬或相关专业的大佬可以自行跳过此笔记!

✏️点积(dot product):

✍️点积的标准观点:

点积的标准观点

  • 如果有两个维数相同的向量,或是两个长度相同的数组,求它的点积,就是将相应的坐标配对,求出每一对坐标的乘积,然后结果相加。

✍️几何计算:

  • 这个计算有一个优美的几何解释:
    • 如果要求两个向量v和w的点积,想象向量w朝着过原点和向量v终点的直线上投影(这里指正交投影),将投影的长度与向量v的长度相乘,就得到了他们的点积,v点乘w。 所以当两个向量的指向大致相同时,他们的点积为正。(方向为正)
    • 点乘几何计算
    • 除非w的投影与v的方向相反,这种情况下点积为负。 (指向方向相反)
    • 负数情况下点乘几何计算
    • 当他们互相垂直的时候,意味着一个向量在另一个向量上的投影为零向量。
    • 零向量情况下点乘几何计算

✍️点积与顺序无关:

  • 你可以将v投影到w上,将v投影长度与w长度相乘;或者将w投影到v上,与将w投影长度与v相乘;他们的结果是一样的。
  • 上面的话可以这么理解:
    • 可以先想想v与w长度相等,我们可以利用对称性,来知道他们的结果是相等的。
      点积顺序
    • 如果我们此时将v放大两倍(现在成为2v),使得他们长度不同,那么现在对称性就被破坏了;但是我们可以这样理解2v和w的点积:
      • 如果认为w向v上投影,那么2v点乘w就应该恰好是v点乘w的两倍,现在就是(2v)·w=2(v·w);这是因为,将v放大为原来的两倍并不改变w的投影长度,但是被投影的向量长度变为原来的两倍。
      • 另一方面,如果将v投影到w上,将v变为原来的两倍(2v),那么这次的是投影长度就变为原来的两倍(2v),但是被投影的向量w长度保持不变;所以总体效果任然是点积变为两倍。
    • 在两种理解方式下,缩放向量对点积结果的影响是相同的。

✍️对偶性(duality):

  • 有不少函数能够接收二维向量并输出一个数,同样是二维输入与一维输出,和一般函数相比,线性变换的要求更加严格。
  • 如果你有一些列等距分布于一条直线上的点,然后应用变换,线性变换会保持这些点等距分布在输出空间中(也就是数轴上);否则,如果这些点没有等距分布,那么这个变换就不是线性的。
  • 这些线性变换完全由他对i帽和j帽的变换决定,但是这一次,这些基向量只落在一个数上。所以当我们将他们变换后的位置记录为矩阵的列时,矩阵的每列只是一个单独的数。
  • 假设有一个线性变换,它将i帽和j帽分别变换到1和-2,要跟踪一个向量,比如向量(4,3),在变换后的去向;将这个向量分解为4乘以i帽加上3乘以j帽。由于线性性质,在变换后,这个向量的位置是4乘以变换后的i帽也就是1(4 * 1),加上3乘以变换后的j帽也就是-2(3 * -2);那么他最终结果落在-2上。如下图所示。
    变换示例
  • 上图展示的就是1x2矩阵于向量相乘这一数值运算过程,感觉上就和两个向量的点积是一样的。那这个1x2矩阵正像是一个倾倒的向量。
  • 1x2矩阵与二维向量之间有着微妙的联系;这种关系在于:将向量放倒从而得到与之相关的矩阵,获奖矩阵直立,从而得到与之相关向量。
  • 因为我们现在只是从数值表达上来看待这个联系,所以向量和1x2矩阵来回之间转换看起来毫无意义。
  • 几何上,将向量转换为数的线性变换和这个向量本身有着某种关系。

假设我们还不知道点积与投影有关:

u帽

  • 现在将数轴复制一份,然后保持0在原点;考虑一个二维向量,它的终点落在这条数轴上,我们现在管他叫“u帽”。
  • 如果将二维向量直接投影到这条数轴上,实际上我们这样定义了一个从二维向量到数的函数;这个函数是线性的,它在直线上等距分布的点在投影到数轴上后依然等距分布。它输出的结果是数,而不是二维向量。
  • 我们应该把它看作一个接收两个坐标并输出一个坐标的函数。
  • 不过,u帽是二维空间中的一个向量,而它碰巧又落在这条数轴上,根据这个投影,我们定义了一个从二维向量到数的线性变换。所以我们就能找到描述这个变换的1x2矩阵。

u帽与i帽的投影
u帽与i帽的投影示意

  • 上图我们可以来看u帽和i帽之间的投影,因为u帽和i帽都是向量单位,那么将i帽向u帽所在的直线投影与u帽向x轴投影看上去完全对称。根据对称性,u帽向x轴的投影得到的数就是u帽的横坐标(ux)。
  • j帽的推理与x帽的一致,那么u帽的纵坐标就是(uy)。
  • 所以描述投影变换的1x2矩阵的两列,就分别是u帽的两个坐标。
  • 而空间中任意向量经过投影的变换结果,也就是投影矩阵与这个向量相乘;和这个向量与u帽的点积在计算上完全相同。
    矩阵向量相乘与点积
  • 这就是为什么单位向量的点积可以解读为将向量投影到单位向量所在的直线上所得到的投影长度。

非单位向量

  • 只要变换是线性的,那么新矩阵就可以看作基向量向着数轴投影并乘以新矩阵的变换倍数。这就素为什么向量与给定非向量的点积可以解读为:首先给向量投影,然后将投影的值于给定向量长度相乘。

总结对偶性:

  • 你在任何时候看见一个线性变换,它的输出空间是一维数轴;无论它是如何定义的,空间中会存在唯一的向量v与之相关。就这一意义而言,应用变换和于向量v做点积是一样的。
  • 它是数学中“对偶性”的一个实例。
  • 对偶性贯穿数学始终,在多个方面均有体现。粗略地说,它是指:两种数学事物之间自然而又出乎意料的对应关系
  • 犹如刚刚的实例,我们可以说一个向量的对偶是由它定义的线性变换。
  • 一个多维空间到一个一维空间的线性变换的对偶是多维空间中的某个特定向量。
  • 表面上看,点积是理解投影的有利几何工具,并且方便检验两个向量的指向是否相同(指向相同为正,指向相反为负,垂直为0)
  • 两个向量点乘,就是将其中一个向量转化为线性变换。