양방향 및 스택형 계층

일반 LSTM은 왼쪽에서 오른쪽으로 읽으므로 과거만 알고 있습니다. 하지만 의미는 종종 뒤에 나오는 단어에도 좌우됩니다. 🔄

양방향 LSTM은 정방향과 역방향으로 두 번 처리하므로 각 단어가 양쪽의 문맥을 모두 볼 수 있습니다.

정방향과 역방향의 출력은 하나로 합쳐지며, 일반적으로 연결되어 각 시간 단계에 더 풍부한 표현을 만듭니다.

미래의 문맥은 모호함을 해소합니다. 이름 다음에 오는 단어를 알면 애플이 과일을 뜻하는지 기업을 뜻하는지 판단하는 데 도움이 됩니다.

어떤 순환층이든 감싸서 양방향으로 만들 수 있습니다. 양방향 래퍼가 두 방향의 처리를 자동으로 담당합니다.

층을 쌓을 수도 있습니다. 한 LSTM의 출력을 다른 LSTM에 전달하면 네트워크가 더 높은 수준의 시퀀스 패턴을 학습합니다.

층을 쌓으려면 아래쪽 LSTM이 마지막 단계만이 아니라 모든 단계를 출력해야 합니다. 다음 층에 입력을 제공하도록 시퀀스 반환을 true로 설정하세요.

첫 번째 LSTM은 시퀀스를 반환하고, 두 번째 LSTM은 이를 읽어 분류를 위한 하나의 요약 벡터를 반환합니다.

더 깊고 양방향인 모델은 더 많은 정보를 포착하지만 매개변수가 많아 과적합할 수 있습니다. 드롭아웃과 충분한 데이터를 사용하세요.

양방향 층을 함께 쌓아 강력한 모델을 만들 수도 있습니다. 넓은 문맥과 깊이를 결합한 방식으로, 실제 자연어 처리 시스템에서 흔히 사용됩니다.

모든 작업에 깊이가 필요한 것은 아닙니다. 작게 시작한 다음 검증 점수가 실제로 향상될 때만 층이나 방향을 추가하세요.

양방향으로 구성해 양쪽 방향을 읽고, 깊이를 더하려면 층을 쌓으세요. 두 방법 모두 성능을 높이므로 드롭아웃으로 과적합을 방지하세요. ✅