Funciones de activación

Las funciones de activación son una parte fundamental de las redes neuronales. Determinan si una neurona debe activarse en función de la entrada que recibe.

Sin funciones de activación, la red neuronal se comportaría como un modelo lineal, lo que limitaría su capacidad para aprender patrones complejos.

Tipos de funciones de activación

Entre los tipos comunes de funciones de activación se incluyen:

• Sigmoide: Produce valores entre 0 y 1.
• ReLU (unidad lineal rectificada): Devuelve la entrada si es positiva; de lo contrario, devuelve 0.
• Softmax: Convierte las salidas en probabilidades para tareas de clasificación.

Función sigmoide

La función sigmoide asigna cualquier valor de entrada a un intervalo entre 0 y 1, por lo que resulta adecuada para la clasificación binaria.

Fórmula:

σ(x) = 1 / (1 + e^(-x))

Comprime las entradas grandes y produce valores cercanos a 0 o 1.

Función ReLU

La función ReLU (unidad lineal rectificada) se define así:

ReLU(x) = max(0, x)

Devuelve 0 para las entradas negativas y el propio valor de entrada para las positivas. ReLU es computacionalmente eficiente y ayuda a abordar el problema del desvanecimiento del gradiente.

Función softmax

La función softmax se utiliza en la capa de salida para la clasificación multiclase. Convierte las puntuaciones sin procesar en probabilidades:

Softmax(x_i) = e^(x_i) / Σ(e^(x_j))

Todos los valores de salida se normalizan para que su suma sea 1.

Elegir la función de activación adecuada

La elección de la función de activación depende de la tarea:

• Sigmoide: Para la clasificación binaria.
• ReLU: Para las capas ocultas de redes profundas.
• Softmax: Para problemas de clasificación multiclase.

Ventajas de las funciones de activación

Las funciones de activación permiten a las redes neuronales:

• Aprender patrones complejos no lineales.
• Distinguir eficazmente entre las entradas.
• Adaptarse a diversos tipos de datos y tareas.

Desafíos de las funciones de activación

Algunos problemas son:

• Sigmoide: Puede provocar el desvanecimiento de los gradientes durante el entrenamiento.
• ReLU: Puede producir «neuronas muertas» que dejan de aprender.
• Softmax: Puede ser costosa computacionalmente para salidas grandes.

Resumen y próximos pasos

En esta lección:

• Hemos explorado funciones de activación como la sigmoide, ReLU y softmax.
• Hemos aprendido cuál es su función y cuáles son sus casos de uso en las redes neuronales.
• Hemos analizado sus ventajas y desafíos.

A continuación, construiremos una red neuronal feedforward sencilla y comprenderemos su estructura y funcionamiento.