Funções de ativação

As funções de ativação são uma parte essencial das redes neurais. Elas determinam se um neurônio deve ser ativado com base na entrada que recebe.

Sem funções de ativação, a rede neural se comportaria como um modelo linear, limitando sua capacidade de aprender padrões complexos.

Tipos de funções de ativação

Os tipos comuns de funções de ativação incluem:

• Sigmoide: Produz valores entre 0 e 1.
• ReLU (unidade linear retificada): Produz a entrada se ela for positiva; caso contrário, produz 0.
• Softmax: Converte as saídas em probabilidades para tarefas de classificação.

Função sigmoide

A função sigmoide mapeia qualquer valor de entrada para um intervalo entre 0 e 1, o que a torna adequada para classificação binária.

Fórmula:

σ(x) = 1 / (1 + e^(-x))

Ela comprime entradas grandes e produz valores próximos de 0 ou 1.

Função ReLU

A função ReLU (unidade linear retificada) é definida como:

ReLU(x) = max(0, x)

Ela produz 0 para entradas negativas e o próprio valor da entrada para entradas positivas. A ReLU é computacionalmente eficiente e ajuda a lidar com o problema do gradiente evanescente.

Função Softmax

A função Softmax é usada na camada de saída para classificação multiclasse. Ela converte pontuações brutas em probabilidades:

Softmax(x_i) = e^(x_i) / Σ(e^(x_j))

Todos os valores de saída são normalizados para que sua soma seja 1.

Escolhendo a função de ativação adequada

A escolha da função de ativação depende da tarefa:

• Sigmoide: Para classificação binária.
• ReLU: Para camadas ocultas em redes profundas.
• Softmax: Para problemas de classificação multiclasse.

Vantagens das funções de ativação

As funções de ativação permitem que as redes neurais:

• Aprendam padrões complexos e não lineares.
• Diferenciem entradas de forma eficaz.
• Se adaptem a vários tipos de dados e tarefas.

Desafios das funções de ativação

Alguns problemas incluem:

• Sigmoide: Pode causar gradientes evanescentes durante o treinamento.
• ReLU: Pode levar a 'neurônios mortos', nos quais alguns neurônios param de aprender.
• Softmax: É computacionalmente dispendiosa para saídas grandes.

Resumo e próximos passos

Nesta lição, nós:

• Exploramos funções de ativação como Sigmoide, ReLU e Softmax.
• Aprendemos suas funções e casos de uso em redes neurais.
• Discutimos suas vantagens e desafios.

Em seguida, construiremos uma rede neural simples de propagação direta e entenderemos sua estrutura e funcionamento.