零度小说网

第26章 博士很了不起吗（第1页）

？？

小林惊讶地说不出话。

竟然被一个高中生鄙视了……

他试探地这个定积分当然不算难，但是绝对不是一个高中生隨隨便便就能做出来的。

更何况还是一个学渣！

而且，他还看出这是个可以利用区间对称性消元的定积分！

齐物又好像不是学渣？

一个定积分好像没达到效果，小林又掏出一张卡片。

再试探一下！

上难度！

“同学，听君一席话，非常受用，我这里还有一道难题，你能帮我看看吗？”

小林递上卡片。

齐物已然察觉眼前这人很奇怪，但是能进校园，应当不是什么坏人。

出於对难题的渴望，他接过卡片，看向题干：

【考虑一个深度为l的多层感知机（mlp），设损失函数为e（w，b）。第l层的仿射变换为z^（l）=w^（l）a^（l-1）+b^（l），激活函数为a^（l）=σ（z^（l））。

定义误差项δ^（l）=▽z^（l）e。

请利用多元微积分的链式法则，推导出δ（l）}与δ（l+1）之间的递推张量表达式，並从雅可比矩阵的谱范数角度，证明当网络深度l→∞时，梯度消失或爆炸的必然几何条件。】

齐物眉头一皱。

这道题比刚刚那道定积分难太多了！

多元微积分链式法则、神经网络求导、雅可比矩阵、谱范数、动力系统叠代视角……

“你连定积分都不会，看这种题干啥？”

【写到这里我希望读者记一下我们域名101??????。??????】

齐物不解，“年轻人不要好高騖远啊。”

？？

小林无语凝噎。

齐物在潜意识里是不想解答的，因为不知道来人身份。

但是他的脑子和手却诚实地运算起来——

死手，快停住！

“基础的反向传播推导，不算难。”齐物淡淡道。

小林再次愣住，这道题，普通高中生连符號都看不懂，更別说推导雅可比矩阵的谱半径了。

“根据多元链式法则，第l层的误差项对z^（l）求偏导，可以直接写出递推关係：

δ^（l）=（（w^（l+1））^tδ^（l+1）⊙σ（z^（l））

⊙你看得懂吧，就是哈达玛乘积。