O Problema XOR: Por Que Um Neurônio Não Basta

A regra XOR produz 1 quando exatamente uma entrada é 1 e 0 caso contrário. Parece simples, mas derrotou as primeiras redes neurais. 🤔

XOR produz 0 para (0,0) e (1,1), mas 1 para (0,1) e (1,0). Os pares iguais indicam não; os pares diferentes indicam sim.

Coloque as quatro entradas em uma grade. Os dois pontos que indicam sim ficam em cantos opostos, enquanto os pontos que indicam não ocupam os outros dois.

Tente separar os cantos que indicam sim dos que indicam não com uma única linha reta. Simplesmente não é possível. As classes se entrelaçam diagonalmente.

XOR é o exemplo clássico de dados que não são linearmente separáveis. Um único neurônio, limitado a uma fronteira reta, nunca conseguirá resolvê-los.

Treine um perceptron com XOR e ele nunca convergirá. Os pesos continuam oscilando porque nenhuma linha satisfaz os quatro exemplos ao mesmo tempo.

Essa limitação de XOR, exposta em 1969, ajudou a desencadear um inverno da IA. As pessoas duvidaram que as redes neurais pudessem lidar com problemas difíceis.

A solução é empilhar neurônios. Uma camada oculta permite que a rede combine várias linhas em uma forma mais complexa.

Com uma camada oculta e não linearidade, a rede pode dobrar sua fronteira. Agora ela contorna os cantos que indicam sim e ignora os que indicam não.

Apenas dois neurônios ocultos alimentando um neurônio de saída podem resolver XOR. Cada unidade oculta desenha uma linha, e a saída as combina.

XOR é a menor prova de que a profundidade importa. Empilhar camadas permite que as redes aprendam curvas, cantos e a complexidade do mundo real.

XOR não é linearmente separável, portanto um neurônio falha. Adicionar uma camada oculta permite que a rede dobre sua fronteira e resolva o problema. A profundidade libera o poder. 🚀