Algoritmo de retropropagação

A retropropagação é um algoritmo fundamental usado para treinar redes neurais. Ela calcula o gradiente da função de perda em relação a cada peso, propagando os erros para trás pela rede.

Principais etapas da retropropagação

O processo de retropropagação envolve:

1. Passagem direta: Calcular a saída e a perda.
2. Passagem reversa: Calcular o gradiente da função de perda em relação aos pesos e vieses.
3. Atualização dos pesos: Ajustar os pesos usando um algoritmo de otimização, como a descida do gradiente.

Função de perda

A função de perda quantifica a diferença entre os valores previstos e reais. Entre as funções de perda comuns estão:

• Erro quadrático médio (MSE): Para tarefas de regressão.
• Perda de entropia cruzada: Para tarefas de classificação.

Descida do gradiente

A descida do gradiente é um algoritmo de otimização usado para minimizar a função de perda. Ele atualiza pesos e vieses dando pequenos passos na direção do gradiente negativo.

Regra de atualização:

Weight = Weight - Learning_Rate * Gradient

Regra da cadeia na retropropagação

A regra da cadeia é usada para calcular o gradiente da função de perda para cada camada. Ela permite propagar o erro para trás pela rede.

Por exemplo, o gradiente da perda em relação a um peso é:

∂L/∂W = ∂L/∂O * ∂O/∂Z * ∂Z/∂W

Exemplo de retropropagação

Considere uma rede neural simples com uma camada de entrada, uma camada oculta e uma camada de saída:

Usando passagens de propagação direta e reversa, ajustamos os pesos para minimizar o erro ao longo de várias épocas.

import numpy as np

# Example: Simple backpropagation setup
weights = np.array([0.5, -0.5])
inputs = np.array([2, 3])
target = 1
learning_rate = 0.01

# Forward pass
output = np.dot(inputs, weights)
loss = (target - output) ** 2

# Backward pass
error = 2 * (output - target)
gradients = error * inputs

# Weight update
weights -= learning_rate * gradients
print("Updated Weights:", weights)

Desafios da retropropagação

Os problemas comuns incluem:

• Gradientes evanescentes: Os gradientes ficam pequenos demais, o que desacelera o aprendizado.
• Gradientes explosivos: Os gradientes ficam grandes demais, causando instabilidade.
• Mínimos locais: O algoritmo pode ficar preso em soluções abaixo do ideal.

Aprimoramentos na retropropagação

Para lidar com esses desafios, as técnicas modernas incluem:

• Funções de ativação: ReLU ajuda a reduzir os gradientes evanescentes.
• Otimizadores: Algoritmos como Adam e RMSProp melhoram a convergência.
• Regularização: Evita o sobreajuste ao penalizar pesos grandes.

Resumo e próximos passos

Nesta lição, nós:

• Exploramos o algoritmo de retropropagação e seu papel no treinamento de redes neurais.
• Aprendemos sobre a descida do gradiente e a regra da cadeia.
• Discutimos os desafios e os aprimoramentos modernos da retropropagação.

Em seguida, implementaremos nossa primeira rede neural usando TensorFlow para ver a retropropagação em ação.