A Perda como uma Paisagem a Percorrer

A perda do seu modelo é um único número que indica o quanto suas previsões estão erradas. Uma perda menor significa previsões melhores. Treinar é simplesmente tentar reduzi-la. 📉

Os mesmos dados produzem perdas diferentes dependendo dos seus pesos. Altere um peso e a perda aumenta ou diminui. Portanto, a perda é, na realidade, uma função dos pesos.

Imagine cada configuração de pesos como um ponto em uma paisagem cheia de colinas, cuja altura nesse ponto representa a perda. Treinar significa descer para um terreno mais baixo.

O ponto mais baixo dessa paisagem é o mínimo: os pesos com os quais seu modelo faz as melhores previsões. Sua tarefa é chegar ao fundo desse vale.

Com um único peso, a paisagem é apenas uma curva bidimensional. Você pode literalmente representar a perda em função do peso e ver a depressão onde a perda é menor.

Adicione um segundo peso e a curva se transforma em uma superfície tridimensional com colinas e vales. Os modelos reais têm milhões de pesos, então a paisagem vive em milhões de dimensões.

Em dimensões altas, nunca é possível visualizar a paisagem inteira de uma só vez. Você sente apenas a inclinação exatamente sob seus pés e age de acordo com ela.

Uma inclinação íngreme significa que a perda muda rapidamente nesse ponto, então um pequeno passo ajuda bastante. Um terreno plano indica que você está perto de um vale ou platô e o progresso diminui.

A paisagem pode ter várias depressões. Um mínimo local é um pequeno vale que prende você acima do mais profundo. Mesmo assim, redes profundas geralmente continuam treinando bem.

Todo o algoritmo de treinamento é chamado de descida do gradiente por um motivo: você desce repetidamente nessa paisagem de perdas até se acomodar perto do fundo.

Pensar na perda como um terreno torna o treinamento intuitivo: onde estou, qual direção aponta para baixo e qual deve ser o tamanho do meu passo? Todas as outras ideias se baseiam nessa imagem.

A perda é um número que depende dos seus pesos, portanto forma uma paisagem de colinas e vales. Treinar significa descer em direção à menor perda que você conseguir encontrar. 🏔️