笔趣阁

第583章 激活函数（第2页）

?低于o。5的人（低分）：大概率被拒绝。

优点：

?可以平滑地过滤数据，避免“全进或全不进”这样极端的情况。

?适用于二分类问题（比如邮件是垃圾邮件还是正常邮件）。

问题：

?计算比较复杂，不像ReLu那么直接。

?当数据过大或过小时，变化很小，容易导致梯度消失（学习度变慢）。

第四种情况：老张更加智能（softmax激活函数）

有一天，老板告诉老张：“我们公司不仅有正式员工，还有不同的部门，比如工程部、市场部、财务部。你不能只区分‘进’或‘不进’，而是要把人分到不同的部门。”

于是，老张开了一套更加高级的评分系统，不仅判断某人是否能进，还会计算他属于哪个部门的概率。

?如果一个人穿着工程师制服，9o%可能属于工程部，1o%可能属于市场部。

?如果一个人拿着营销资料，8o%可能属于市场部，2o%可能属于工程部。

?每个人都按照最高概率归类到相应部门。

这就像softmax激活函数，它的作用是：

?把所有的可能性转换成概率分布（所有概率加起来是1）。

?适用于多分类问题（比如识别一张图片是“猫”、“狗”还是“兔子”）。

优点：

?适合多类别分类，可以告诉你**“最有可能”是哪一类**。

问题：

?计算量比ReLu大一点，但在分类任务中是最合适的。

总结：不同激活函数的角色

激活函数比喻适用场景优点问题

恒等函数（Identity）老张不筛选，所有人都能进线性回归简单直接不能处理复杂问题

ReLu老张只让正式员工进，其他人全拒深度学习、net计算简单，效率高负数全部变o，信息可能丢失

sigmoid老张给每个人打分，决定能不能进二分类问题（垃圾邮件分类）平滑过渡，输出o-1概率容易梯度消失

softmax老张不但决定谁进，还要分部门多分类问题（图像识别）适合多分类问题计算比ReLu复杂

结论：激活函数=智能筛选机制

?激活函数的作用就像门卫老张，决定哪些信息能进入下一层，哪些要被拒绝。

?不同的激活函数适用于不同的任务，ReLu、sigmoid、softmax各有千秋。

?深度学习的关键就是如何聪明地使用这些筛选机制，让神经网络学得更快、更准确！

你更喜欢哪个“门卫策略”呢？如果你是老张，你会怎么设计你的筛选规则？