全连接层softmax
作者&投稿：简菡 （若有异议请与网页底部的电邮联系）
吕定15291461782问： 机器学习中softmax函数到底干嘛用的?比如LR中和神经网络中,求大神赐教,越详细越好,谢谢了 - ？
略阳县海卡回答： 首先你要知道softmax函数是干嘛的.softmax是一个可以把连续的数输出成一个在0到1之间的数.它的输出,表征了不同类别间的相对概率. 比如你的网络输出是[-3,2,-1,0],但你想要的值域是0到1,用softmax处理后,输出就变成了[0.0057,0.8390,0.0418,0.1135].是不是就变成你想要的结果了. 当然,softmax函数也可以被当做激活函数,不止用在输出的处理.
吕定15291461782问： caffe 中softmax层怎么使用 - ？
略阳县海卡回答： 题主没有对符号作必要的说明,先按我的理解对符号进行定义 z是softmaxwithloss层的输入,f(z)是softmax的输出,即 y是输入样本z对应的类别,y=0,1,...,N 对于z,其损失函数定义为 展开上式:对上式求导,有 梯度下降方向即为
吕定15291461782问： 如何更好的理解分析深度卷积神经网络 - ？
略阳县海卡回答： 用局部连接而不是全连接,同时权值共享.局部连接的概念参考局部感受域,即某个视神经元仅考虑某一个小区域的视觉输入,因此相比普通神经网络的全连接层(下一层的某一个神经元需要与前一层的所有节点连接),卷积网络的某一个卷积...
吕定15291461782问： 激活函数 softmax tanh 哪个更好 - ？
略阳县海卡回答： (1)对于深度神经网络,中间的隐层的输出必须有一个激活函数.否则多个隐层的作用和没有隐层相同.这个激活函数不一定是sigmoid,常见的有sigmoid、tanh、relu等.(2)对于二分类问题,输出层是sigmoid函数.这是因为sigmoid函数可以把实数域光滑的映射到[0,1]空间.函数值恰好可以解释为属于正类的概率(概率的取值范围是0~1).另外,sigmoid函数单调递增,连续可导,导数形式非常简单,是一个比较合适的函数 (3)对于多分类问题,输出层就必须是softmax函数了.softmax函数是sigmoid函数的推广
