现在分析一下我们是如何将输出域从?转化为??*? 。一阶导数,即梯度?g,是一个从??到??的映射,其导数是一个雅可比矩阵 。因此,每一个子函数的导数?g?都由n个从??映射到??的函数组成 。可以这样想,就好比是对展开成一个向量的梯度向量的每个元素都求导,从而变成向量中的向量,即为一个矩阵 。
要计算黑塞矩阵,需要计算交叉导数,即先对x求导,再对y求导,反过来也可以 。求交叉导数的顺序会不会影响结果,换句话说,黑塞矩阵是否对称 。在这种情况下,函数f为二次连续可微函数(用符号2表示),施瓦兹定理表明交叉导数是相等的,因此黑塞矩阵是对称的 。一些不连续但可微的函数,不满 *** 叉导数等式 。
构造函数的黑塞矩阵就相当于求一个标量函数的二阶偏导数 。以f(x,y) = x2y3为例,计算结果如下:

文章插图
可以看到交叉导数6xy2实际上是相等的 。先对x求导得到关于x的偏导数2xy3,再对y求导得到关于y的偏导数6xy2 。对于x或y的每个一元子函数,对角元素都为f? 。
此类函数的拓展部分将讨论从??映射到??的多元函数的二阶导数的情况,可以将其视为一个二阶雅可比矩阵 。这是一个从??到??*?*?的映射,即一个三维张量 。与黑塞矩阵相似,为了求出雅可比矩阵的梯度(求二阶微分),要对k x m矩阵的每一个元素微分,得到一个向量矩阵,即为一个张量 。虽然不太可能要求面试者进行手动计算,但了解多元函数的高阶导数相当重要 。

文章插图
本文回顾了机器学习背后重要的微积分基础知识,列举了几个一元和多元函数的例子,讨论了梯度、雅可比矩阵和黑塞矩阵,全面梳理了机器学习面试中可能出现的概念和涉及的微积分知识,希望你能面试顺利!

文章插图
留言点赞关注
我们一起分享AI学习与发展的干货
【对数求导法公式对数求导】如转载,请后台留言,遵守转载规范
推荐阅读
- 烤箱做纸杯蛋糕的方法 纸杯蛋糕怎么做
- 抖音怎么不让指定人看抖音不让指定人看的方法
- 啥味呢面料的保养和洗涤方法有哪些
- 高压锅如何做腊八粥 高压锅制作腊八粥的方法
- 如何下载头条的小视频 今日头条视频的下载方法
- 唇釉涂抹方法 如何涂口红
- 鸡蛋减肥的正确方法 鸡蛋减肥法的原理是什么
- 最简单画眉方法 史上最简单的画眉方法
- 如何做红色的鱼食 红色的鱼鱼食做法介绍
- 什么方法可以淡化红眉 淡化红眉的方法