激活函数

激活函数是神经网络的重要组成部分。它们根据神经元接收到的输入，决定是否激活该神经元。

如果没有激活函数，神经网络的行为将与线性模型相同，从而限制其学习复杂模式的能力。

激活函数的类型

常见的激活函数类型包括：

• S 形函数：输出介于 0 和 1 之间的值。
• ReLU（修正线性单元）：当输入为正时输出输入值，否则输出 0。
• 归一化指数函数：将输出转换为用于分类任务的概率。

S 形函数

S 形函数会将任意输入值映射到 0 到 1 之间的范围，因此适用于二分类。

公式：

σ(x) = 1 / (1 + e^(-x))

它会压缩较大的输入，并输出接近 0 或 1 的值。

ReLU 函数

ReLU（修正线性单元）函数定义如下：

ReLU(x) = max(0, x)

对于负输入，它输出 0；对于正输入，它输出输入值本身。ReLU 的计算效率很高，还有助于缓解梯度消失问题。

归一化指数函数

归一化指数函数用于多分类任务的输出层。它会将原始分数转换为概率：

Softmax(x_i) = e^(x_i) / Σ(e^(x_j))

所有输出值都会经过归一化，使其总和为 1。

选择合适的激活函数

激活函数的选择取决于具体任务：

• S 形函数：用于二分类。
• ReLU：用于深度网络中的隐藏层。
• 归一化指数函数：用于多分类问题。

激活函数的优势

激活函数使神经网络能够：

• 学习复杂的非线性模式。
• 有效区分不同输入。
• 适应各种类型的数据和任务。

激活函数面临的挑战

其中一些问题包括：

• S 形函数：训练过程中可能导致梯度消失。
• ReLU：可能导致“死亡神经元”，使部分神经元停止学习。
• 归一化指数函数：对于较大的输出，计算成本较高。

总结与后续步骤

本课中，我们：

• 学习了 S 形函数、ReLU 和归一化指数函数等激活函数。
• 了解了它们在神经网络中的作用和使用场景。
• 讨论了它们的优势和挑战。

接下来，我们将构建一个简单的前馈神经网络，并了解其结构和工作原理。