张士玉小黑屋

笔者今天在上课的时候，由于一道题和老师解法大相径庭而陷入思考题目如下： 这是道02年的数学考研题目填空题第二道，事后想想确实是道非常基础的题目。下面先奉上老师的标准解法：很经典的换元思想。当时我纠结的地方在于，我下面的写法为何是错误。笔者想把原题的左边式子看成复合函数求导的内导，根据复合函数的求导法则，只需要再乘以括号

文章目录1、激活函数的实现1.1sigmoid1.1.1函数1.1.2导数1.1.3代码实现1.2softmax1.2.1函数1.2.2导数1.2.3代码实现1.3tanh1.3.1函数1.3.2导数1.3.3代码实现1.4relu1.4.1函数1.4.2导数1.4.3代码实现1.5leakyrelu1.5.1函数1.5.2导数1.5.3代码实现1.6ELU1.61函数1.6.2导数1.6.3代码实现1.7sel