Bağlam Kelime Anlamını Neden Değiştirir

"bank" kelimesi bir nehir kıyısını ya da para yatırılan bir yeri ifade edebilir. Anlamı tamamen çevresindeki bağlama bağlıdır.

word2vec ve GloVe her kelimeye tek bir sabit vektör verir. Bu nedenle bank, içinde bulunduğu cümle ne olursa olsun tek bir sabit anlam taşır.

Bu iki cümlede bank zıt anlamlarda kullanılır; ancak sabit bir model, kelime için ikisine de tamamen aynı vektörü verir.

Hangi bank'ın kastedildiğini hemen anlarsınız; çünkü çevresindeki kelimeleri okursunuz. Anlam, tek başına kelimede değil, bağlamda yaşar.

Bağlamsal bir model, her cümlede bank için farklı bir vektör verir. Gömme, her seferinde kendi bağlamına uyacak şekilde değişir. ✨

BERT, bir cümlenin tamamını tek seferde okuyan ve bağlamı dikkate alan vektörler üreten bir Transformer'dır. Tüm kelimeler üzerindeki dikkat mekanizması etrafında oluşturulmuştur.

BERT, her belirtecin solundaki ve sağındaki kelimelere birlikte bakar. Bu iki yönlü bakış, çift yönlü olmanın anlamıdır.

Hem nehir hem de para cümlelerini BERT'e verdiğinizde bank iki farklı vektör olarak çıkar. Gömme, cümleyi takip eder.

Birçok anlamı olan ve çokanlamlı olarak adlandırılan kelimeler, eskiden sabit modelleri şaşırtırdı. Bağlamsal gömmeler sonunda bu anlamları temiz biçimde birbirinden ayırır.

Bir model, bir kelimenin o anda taşıdığı anlamı gerçekten kavradığında arama, çeviri ve soru yanıtlama görevlerinin tümü gelişir.

Kelime başına tek vektörden her kullanım başına tek vektöre geçiş bir dönüm noktasıydı. Bu, modern NLP'nin temelidir.

Sabit vektörler her kelimeyi tek bir anlama hapseder. BERT'ten gelen bağlamsal gömmeler cümleye göre değişir ve doğru anlamı yakalar. ✅