Perché l'ordine conta nel linguaggio

Nel linguaggio, l'ordine delle parole non è un semplice ornamento. Spostandole, l'intero messaggio può assumere un nuovo significato.

Le frasi «il cane morde l'uomo» e «l'uomo morde il cane» condividono esattamente le stesse parole, ma solo l'ordine indica chi morde.

Un modello bag-of-words conta semplicemente i token, quindi perde l'ordine. Per lui, le due frasi sui morsi sono completamente identiche.

Una volta ridotto il testo ai conteggi delle parole, non è possibile recuperare la sequenza originale. La storia si riduce a una tabella di frequenze.

Noti come «non buono» significhi l'opposto di «buono». La parola not funziona solo grazie alla posizione che occupa nella frase.

Alcuni indizi sono molto distanti tra loro. Nella frase «Il film che ho visto ieri sera era fantastico», «fantastico» si ricollega a «film» attraverso molti token.

Legge da sinistra a destra, costruendo il significato passo dopo passo. Il testo è una sequenza e le parole precedenti influenzano il modo in cui vengono interpretate quelle successive.

In Python può conservare semplicemente quest'ordine dividendo il testo in una lista, dove l'indice riflette la posizione di ogni parola.

Due frasi possono avere gli stessi conteggi ma significati opposti. Un modello che ignora la posizione non potrà mai distinguerle.

Per cogliere l'ordine servono modelli che leggano il testo come una sequenza fluida, ricordando ciò che è comparso prima di ogni nuova parola.

È esattamente questa la lacuna colmata dalle reti neurali ricorrenti. Elaborano i token uno alla volta, in ordine, invece che tutti insieme. 🧠

L'ordine delle parole cambia il significato, ma i modelli basati sui conteggi lo ignorano. È per questo limite che ora passiamo ai modelli sensibili alla sequenza. 🎯