光滑连续分段构造的激活函数

摘要

本公开的各方面涉及能够在神经网络中实现改善的可再现性和准确率折衷的新颖的激活函数。特别地，本公开提供了一系列激活函数，所述激活函数一方面是光滑的、具有连续的梯度并且可选地是单调的，但是另一方面还模仿了修正线性单元(ReLU)的数学行为。作为示例，本文描述的激活函数包括光滑的修正线性单元函数并且还包括这样的函数的泄露版本。在各种实现方式中，提出的函数可以提供完全停止区域和恒定正梯度(例如，可以为1)通过区域(如ReLU)两者，从而匹配ReLU的准确率性能。附加的实现方式包括泄露版本和/或函数，其在通过区域中具有不同的恒定梯度。