ReLU y sus variantes Leaky y GELU

La activación más popular es ReLU: conserva los valores positivos y convierte todos los negativos en cero. Sencilla y rápida. ⚡

ReLU es barata de calcular y su gradiente es un 1 limpio para los valores positivos. Eso mantiene las señales fluyendo y permite entrenar rápidamente las redes profundas.

ReLU no es más que max(0, x). Las entradas positivas pasan directamente; las negativas se aplanan hasta cero. Esa única articulación es todo el truco.

Si una neurona siempre produce cero, su gradiente también es cero, así que deja de aprender para siempre. A esto le llamamos una neurona muerta. 💀

Leaky ReLU deja pasar una pequeña pendiente para los valores negativos en lugar de imponer un cero absoluto. Esa pequeña filtración mantiene vivas las neuronas muertas.

PReLU va más allá: aprende la pendiente negativa durante el entrenamiento en lugar de fijarla. La red ajusta la filtración por sí misma.

GELU suaviza la esquina de ReLU hasta convertirla en una curva gradual. Filtra las entradas según la probabilidad de que sean útiles, no mediante un corte brusco.

Los modelos modernos, como los transformers, prefieren GELU porque su forma suave proporciona gradientes más graduales. Esto suele traducirse en un entrenamiento más estable. 🤖

SiLU, también llamada Swish, multiplica la entrada por su propia sigmoide. Al igual que GELU, es suave y con frecuencia supera a ReLU simple.

Comience con ReLU para las capas ocultas; es rápida y fiable. Recurra a Leaky ReLU o GELU solo si observa neuronas muertas o desea una suavidad adicional.

Puede incorporarlas como módulos dentro de un modelo, no solo como funciones. Así resulta fácil encadenarlas en nn.Sequential.

ReLU es la opción predeterminada rápida, pero puede provocar que las neuronas mueran. Leaky ReLU, PReLU y GELU suavizan o dejan pasar los valores negativos para mantener un aprendizaje saludable. 🌟