Algoritmo de retropropagação

A retropropagação é um algoritmo fundamental usado para treinar redes neurais. Ela calcula o gradiente da função de perda em relação a cada peso, propagando os erros para trás pela rede.

Principais etapas da retropropagação

O processo de retropropagação envolve:

1. Passagem direta: Calcule a saída e a perda.
2. Passagem reversa: Calcule o gradiente da função de perda em relação aos pesos e vieses.
3. Atualização dos pesos: Ajuste os pesos usando um algoritmo de otimização, como a descida do gradiente.

Função de perda

A função de perda quantifica a diferença entre os valores previstos e os valores reais. As funções de perda comuns incluem:

• Erro quadrático médio (MSE): Para tarefas de regressão.
• Perda de entropia cruzada: Para tarefas de classificação.

Descida do gradiente

A descida do gradiente é um algoritmo de otimização usado para minimizar a função de perda. Ela atualiza os pesos e os vieses dando pequenos passos na direção do gradiente negativo.

Regra de atualização:

Weight = Weight - Learning_Rate * Gradient

Regra da cadeia na retropropagação

A regra da cadeia é usada para calcular o gradiente da função de perda para cada camada. Ela permite que o erro seja propagado para trás pela rede.

Por exemplo, o gradiente da perda em relação a um peso é:

∂L/∂W = ∂L/∂O * ∂O/∂Z * ∂Z/∂W

Exemplo de retropropagação

Considere uma rede neural simples com uma camada de entrada, uma camada oculta e uma camada de saída:

Usando passagens diretas e reversas, ajustamos os pesos para minimizar o erro ao longo de várias épocas.

import numpy as np

# Example: Simple backpropagation setup
weights = np.array([0.5, -0.5])
inputs = np.array([2, 3])
target = 1
learning_rate = 0.01

# Forward pass
output = np.dot(inputs, weights)
loss = (target - output) ** 2

# Backward pass
error = 2 * (output - target)
gradients = error * inputs

# Weight update
weights -= learning_rate * gradients
print("Updated Weights:", weights)

Desafios da retropropagação

Os problemas comuns incluem:

• Desaparecimento dos gradientes: Os gradientes ficam pequenos demais, retardando o aprendizado.
• Explosão dos gradientes: Os gradientes ficam grandes demais, causando instabilidade.
• Mínimos locais: O algoritmo pode ficar preso em soluções subótimas.

Melhorias na retropropagação

Para lidar com esses desafios, as técnicas modernas incluem:

• Funções de ativação: ReLU ajuda a reduzir o desaparecimento dos gradientes.
• Otimizadores: Algoritmos como Adam e RMSProp melhoram a convergência.
• Regularização: Evita o sobreajuste penalizando pesos grandes.

Resumo e próximos passos

Nesta lição, nós:

• Exploramos o algoritmo de retropropagação e sua função no treinamento de redes neurais.
• Aprendemos sobre a descida do gradiente e a regra da cadeia.
• Discutimos os desafios e as melhorias modernas na retropropagação.

Em seguida, vamos implementar nossa primeira rede neural usando TensorFlow para ver a retropropagação em ação.