Camadas bidirecionais e empilhadas

Uma LSTM simples lê da esquerda para a direita, portanto conhece apenas o passado. Mas o significado muitas vezes também depende de palavras que vêm depois. 🔄

Uma LSTM bidirecional executa duas passagens: uma para a frente e outra para trás, para que cada palavra veja o contexto dos dois lados.

As saídas para a frente e para trás são unidas, geralmente concatenadas, em uma representação mais rica para cada etapa temporal.

O contexto futuro resolve ambiguidades. Saber qual palavra vem depois de um nome ajuda a decidir se Apple significa uma fruta ou uma empresa.

Você pode envolver qualquer camada recorrente para torná-la bidirecional. O invólucro Bidirectional gerencia as duas passagens automaticamente.

Você também pode empilhar camadas: alimentar a saída de uma LSTM em outra para que a rede aprenda padrões de sequência de nível mais alto.

Para empilhar camadas, a LSTM inferior precisa produzir todas as etapas, não apenas a última. Defina return_sequences como true para fornecer uma entrada à camada seguinte.

A primeira LSTM retorna sequências; a segunda as lê e retorna um vetor de resumo único para a classificação.

Modelos mais profundos e bidirecionais capturam mais informações, mas têm mais parâmetros e podem sofrer sobreajuste. Use descarte e dados suficientes.

Você pode empilhar camadas bidirecionais para criar um modelo poderoso: contexto amplo e profundidade, uma combinação comum em sistemas sérios de PLN.

Nem toda tarefa precisa de profundidade. Comece com algo pequeno e só adicione camadas ou direções se as pontuações de validação realmente melhorarem.

Use o modo bidirecional para ler nos dois sentidos e empilhe camadas para obter profundidade. Ambos aumentam o poder, portanto proteja-se contra o sobreajuste com descarte. ✅