Towards Data Science· Rob Taylor·· 4 天前AI 评分16
What the ReLU Revolution Revealed About Biological Plausibility
What the ReLU Revolution Revealed About Biological Plausibility
AI 导读
ReLU 激活函数在 2010 年代取代了 sigmoid，因其导数为 1 使得梯度在深度网络中能更完整地传递，解决了梯度消失问题。sigmoid 的导数最大仅为 0.25，且在输入饱和时进一步减小，限制了深度网络的学习能力。ReLU 的非饱和特性使其成为深度学习训练更高效的选择，尽管其生物学合理性较弱。
来源：Towards Data Science · towardsdatascience.com