Capas bidireccionales y apiladas

Una LSTM simple lee de izquierda a derecha, por lo que solo conoce el pasado. Sin embargo, el significado también suele depender de las palabras que aparecen después. 🔄

Una LSTM bidireccional ejecuta dos pasadas: una hacia delante y otra hacia atrás, de modo que cada palabra ve el contexto de ambos lados.

Las salidas hacia delante y hacia atrás se unen, normalmente se concatenan, en una representación más completa para cada instante.

El contexto futuro resuelve ambigüedades. Saber qué palabra aparece después de un nombre ayuda a decidir si Apple significa una fruta o una empresa.

Puede envolver cualquier capa recurrente para hacerla bidireccional. El envoltorio Bidirectional gestiona automáticamente las dos pasadas.

También puede apilar capas: alimentar otra LSTM con la salida de una LSTM para que la red aprenda patrones de secuencias de nivel superior.

Para apilar capas, la LSTM inferior debe producir una salida en cada paso, no solo en el último. Establezca return_sequences en true para que la capa siguiente tenga una entrada.

La primera LSTM devuelve secuencias; la segunda las lee y devuelve un vector de resumen único para la clasificación.

Los modelos más profundos y bidireccionales capturan más información, pero tienen más parámetros y pueden sobreajustarse. Use dropout y suficientes datos.

Puede apilar capas bidireccionales para crear un modelo potente: contexto amplio y profundidad, una combinación habitual en sistemas de PLN avanzados.

No todas las tareas necesitan profundidad. Empiece con algo pequeño y añada capas o direcciones solo si las puntuaciones de validación mejoran realmente.

Use una arquitectura bidireccional para leer en ambas direcciones y apile capas para añadir profundidad. Ambas opciones aportan potencia, así que use dropout para evitar el sobreajuste. ✅