Funciones de activación

Las funciones de activación son una parte fundamental de las redes neuronales. Determinan si una neurona debe activarse en función de la entrada que recibe.

Sin funciones de activación, la red neuronal se comportaría como un modelo lineal, lo que limitaría su capacidad para aprender patrones complejos.

Tipos de funciones de activación

Entre los tipos comunes de funciones de activación se incluyen:

• Sigmoid: Devuelve valores entre 0 y 1.
• ReLU (Rectified Linear Unit): Devuelve la entrada si es positiva; de lo contrario, devuelve 0.
• Softmax: Convierte las salidas en probabilidades para tareas de clasificación.

Función Sigmoid

La función Sigmoid asigna cualquier valor de entrada a un intervalo entre 0 y 1, por lo que resulta adecuada para la clasificación binaria.

Fórmula:

σ(x) = 1 / (1 + e^(-x))

Comprime las entradas grandes y devuelve valores cercanos a 0 o 1.

Función ReLU

La función ReLU (Rectified Linear Unit) se define de la siguiente manera:

ReLU(x) = max(0, x)

Devuelve 0 para las entradas negativas y el propio valor de entrada para las entradas positivas. ReLU es eficiente desde el punto de vista computacional y ayuda a abordar el problema de los gradientes desvanecientes.

Función Softmax

La función Softmax se utiliza en la capa de salida para la clasificación multiclase. Convierte las puntuaciones sin procesar en probabilidades:

Softmax(x_i) = e^(x_i) / Σ(e^(x_j))

Todos los valores de salida se normalizan para que su suma sea 1.

Elección de la función de activación adecuada

La elección de la función de activación depende de la tarea:

• Sigmoid: Para la clasificación binaria.
• ReLU: Para las capas ocultas de las redes profundas.
• Softmax: Para problemas de clasificación multiclase.

Ventajas de las funciones de activación

Las funciones de activación permiten que las redes neuronales:

• Aprendan patrones complejos y no lineales.
• Distinga eficazmente entre las entradas.
• Se adapten a distintos tipos de datos y tareas.

Desafíos de las funciones de activación

Entre los problemas se incluyen:

• Sigmoid: Puede provocar gradientes desvanecientes durante el entrenamiento.
• ReLU: Puede producir «neuronas muertas» cuyos procesos de aprendizaje se detienen.
• Softmax: Tiene un alto costo computacional cuando las salidas son numerosas.

Resumen y próximos pasos

En esta lección:

• Se exploraron funciones de activación como Sigmoid, ReLU y Softmax.
• Se aprendió sobre sus funciones y casos de uso en las redes neuronales.
• Se analizaron sus ventajas y desafíos.

A continuación, se construirá una red neuronal sencilla de propagación hacia adelante y se comprenderá su estructura y funcionamiento.