I prodotti scalari alimentano ogni layer

Riducendo una rete neurale all'essenziale, si trova un'operazione ripetuta: il dot product, una somma di moltiplicazioni tra elementi corrispondenti di due vettori.

Un dot product moltiplica ogni input per il peso corrispondente, poi somma i risultati in un unico numero. Quel numero è la voce del neurone.

Immagini un vettore di inputs e un vettore di pesi affiancati. Il prodotto scalare misura quanto questi input siano allineati con ciò a cui il neurone dà importanza.

Dopo il prodotto scalare, un neurone aggiunge un bias per poter spostare il proprio output verso l'alto o verso il basso anche quando ogni input è zero.

Input moltiplicati per i pesi, sommati, più il bias: questa weighted sum è l'intera parte lineare di un singolo neurone, espressa in un'unica riga ordinata.

Raggruppi i vettori dei pesi in una matrix e una sola matmul calcolerà contemporaneamente tutti i neuroni di un layer. Un layer è un insieme di prodotti scalari.

PyTorch fornisce questo schema attraverso nn.Linear. Memorizza la matrice dei pesi e il bias ed esegue per Lei la matmul più il bias a ogni chiamata.

Un dot product molto positivo indica che l'input è strettamente allineato ai pesi del neurone. Un valore negativo indica invece direzioni opposte.

Un layer reale esegue migliaia di dot products per esempio. Solo una matmul vettorializzata rende tutto ciò pratico, ed è per questo che i cicli sono stati abbandonati.

La somma pesata da sola è lineare. Se la passa attraverso un'activation come ReLU, il neurone acquisisce la non linearità necessaria all'apprendimento reale.

È passato dai cicli lenti ai vettori veloci e poi a matmul, e tutto converge qui: il dot product è il battito di ogni layer neurale.

Ogni layer è costruito con dot products: input moltiplicati per i pesi, sommati, più il bias, raggruppati da matmul e completati da un'attivazione. Questa è la matematica del deep learning. 🚀