Funções de ativação

As funções de ativação são uma parte essencial das redes neurais. Elas determinam se um neurônio deve ser ativado com base na entrada que recebe.

Sem funções de ativação, a rede neural se comportaria como um modelo linear, limitando sua capacidade de aprender padrões complexos.

Tipos de funções de ativação

Os tipos comuns de funções de ativação incluem:

• Sigmoide: Produz valores entre 0 e 1.
• ReLU (unidade linear retificada): Produz a entrada se ela for positiva; caso contrário, produz 0.
• Máximo suave: Converte as saídas em probabilidades para tarefas de classificação.

Função sigmoide

A função sigmoide mapeia qualquer valor de entrada para um intervalo entre 0 e 1, o que a torna adequada para classificação binária.

Fórmula:

σ(x) = 1 / (1 + e^(-x))

Ela comprime entradas grandes e produz valores próximos de 0 ou 1.

Função ReLU

A função ReLU (unidade linear retificada) é definida como:

ReLU(x) = max(0, x)

Ela produz 0 para entradas negativas e o próprio valor da entrada para entradas positivas. ReLU é computacionalmente eficiente e ajuda a resolver o problema do desaparecimento do gradiente.

Função de máximo suave

A função de máximo suave é usada na camada de saída para classificação multiclasse. Ela converte pontuações brutas em probabilidades:

Softmax(x_i) = e^(x_i) / Σ(e^(x_j))

Todos os valores de saída são normalizados para que a soma seja igual a 1.

Escolhendo a função de ativação adequada

A escolha da função de ativação depende da tarefa:

• Sigmoide: Para classificação binária.
• ReLU: Para camadas ocultas em redes profundas.
• Máximo suave: Para problemas de classificação multiclasse.

Vantagens das funções de ativação

As funções de ativação permitem que as redes neurais:

• Aprendam padrões complexos e não lineares.
• Diferenciem as entradas de forma eficaz.
• Adaptem-se a vários tipos de dados e tarefas.

Desafios das funções de ativação

Alguns problemas incluem:

• Sigmoide: Pode causar o desaparecimento dos gradientes durante o treinamento.
• ReLU: Pode resultar em neurônios mortos, nos quais alguns neurônios param de aprender.
• Máximo suave: Tem alto custo computacional para saídas grandes.

Resumo e próximos passos

Nesta lição, nós:

• Exploramos funções de ativação, como sigmoide, ReLU e máximo suave.
• Aprendemos sobre suas funções e seus casos de uso em redes neurais.
• Discutimos suas vantagens e seus desafios.

Em seguida, vamos criar uma rede neural simples de propagação direta e entender sua estrutura e seu funcionamento.