El problema XOR: por qué una neurona no basta

La regla XOR devuelve 1 cuando exactamente una entrada es 1, y 0 en los demás casos. Parece sencilla, pero puso en dificultades a las primeras redes neuronales. 🤔

XOR da 0 para (0,0) y (1,1), pero 1 para (0,1) y (1,0). Los pares coincidentes dicen no; los pares diferentes dicen sí.

Coloque las cuatro entradas en una cuadrícula. Los dos puntos de sí se encuentran en esquinas opuestas, mientras que los puntos de no ocupan las otras dos.

Intente separar las esquinas de sí de las esquinas de no con una sola línea recta. Simplemente no es posible. Las clases se entrelazan en diagonal.

XOR es el ejemplo clásico de datos que no son separables linealmente. Una sola neurona, limitada a un límite recto, nunca puede resolverlo.

Entrene un perceptrón con XOR y nunca converge. Los pesos siguen oscilando porque ninguna línea satisface los cuatro ejemplos a la vez.

Esta limitación de XOR, expuesta en 1969, contribuyó a desencadenar un invierno de la IA. La gente dudaba de que las redes neuronales pudieran resolver problemas difíciles.

La solución consiste en apilar neuronas. Una capa oculta permite que la red combine varias líneas para formar una figura más compleja.

Con una capa oculta y una no linealidad, la red puede doblar su límite. Ahora rodea las esquinas de sí e ignora las de no.

Basta con dos neuronas ocultas conectadas a una neurona de salida para resolver XOR. Cada unidad oculta traza una línea y la salida las combina.

XOR es la demostración más pequeña de que la profundidad importa. Apilar capas permite que las redes aprendan curvas, esquinas y la complejidad del mundo real.

XOR no es separable linealmente, por lo que una neurona falla. Añadir una capa oculta permite que la red doble su límite y lo resuelva. La profundidad desbloquea potencia. 🚀