关于矩阵的求导

来源:1-2 课程学习的更多补充说明

code_bean

2022-06-09

老师,请问您有没有讲过这方面的内容呀?感觉深度学习里面这方面的应用比较多。
而我对矩阵求导一点感觉都没有。

写回答

1回答

liuyubobobo

2022-06-09

我的课程暂时没有涉及矩阵微积分的内容。


==========


矩阵求导通常不是线性代数的内容,而是高等数学的内容,更准确地说,是多元微积分相关的内容。


不过通常,对于高等数学的学习,多元微积分部分,会更偏向“函数侧”的分析(处理多元函数),而非“矩阵侧”的分析(处理多元变量)。但这类多元微积分的内容依然是基础,比如 MIT 的多元微积分的大纲,你可以简单浏览一下其中涉及的内容:https://ocw.mit.edu/courses/18-02-multivariable-calculus-fall-2007/pages/lecture-notes/


在这个基础上,因为深度学习的火热,现在已经有了非常多的教程,直接介绍深度学习中专门是用的多元微积分(矩阵微积分)的内容。在这里我推荐两份:


1)fast.ai 的一份文档,专门介绍深度学习中使用的矩阵微积分的内容。

传送门:https://explained.ai/matrix-calculus/


2)MIT 的一分矩阵微积分的课程相关的资料:

传送门:https://github.com/mitmath/matrixcalc 


继续加油!:)

1
9
liuyubobobo
回复
手机用户曾小乱
我研究生的课题做的就是图形学相关的研究,和动作控制相关,在我的研究范围里,完全使用不到矩阵求导。但是,隔壁组也是做图形学研究,他们是做流体模拟,大量使用矩阵求导。 矩阵的本质是对一组数据做同时的处理。理论上所有的问题没有矩阵这个工具都可以解决。但是矩阵提供了一个更加简洁的表达方式。(比如对一个事物的线性模拟,哪怕有 100 个方程,都是 AX = b 就表达了。在 A 和 b 对应的矩阵里填参数就好了。) 这就牵扯到一个很重要的问题,我之前在很多文章中强调过:我们到底要怎样看待数学。我一直持一个观点:进入高等教育以后,也就是每个人有了自己的专业以后,应该专业优先,而非数学优先。这不代表数学不重要,但是不识数学系的,重点就不是数学本身。数学是一个非常庞大的分支,各个不同的专业,甚至同一个专业,不同的方向,所需要的数学领域的知识,深浅,都截然不同。想先学好数学,在学好其他的东西,近乎是不现实的。因为单纯地学数学会让你像无头苍蝇一样,不知道学什么,不知道学到哪里,也不知道学了有什么用。 最佳的学习方法是:学习专业知识,发现专业知识里需要到了数学,再回头去补相关的数学知识。这样做学习目的性更强,效果也更好。 所以,我建议你如果对图形学感兴趣,就去学图形学。图形学也是一个相当庞大的体系,3D 的问题和 2D 的问题;流体的问题和刚体的问题;运动的问题和静止的问题;场景的问题和任务的问题;性能的问题和精度的问题,都是完全不同的,甚至只是渲染字体这一件事儿,都可以构成一个专有领域了。去学你感兴趣的方向,在这个方向的探索过程中,遇到了数学问题,回头去补。 关键是你要真的回头去补这个数学问题。大多数同学在专业学习里遇到数学问题就头疼,学数学又老是从头学,从头学就会像无头苍蝇一样,不知道从哪里学,学什么,形成了对数学恐惧的恶性循环。 继续加油!:)
2024-02-07
共9条回复

结合编程学数学 专为程序员设计的线性代数

创新设计,通俗易懂。编程结合数学,bobo带你彻底征服线性代数

3404 学习 · 375 问题

查看课程