Problem XOR: dlaczego jeden neuron nie wystarcza

Reguła XOR zwraca 1, gdy dokładnie jedno wejście ma wartość 1, a w przeciwnym razie 0. Wygląda prosto, a mimo to pokonała wczesne sieci neuronowe. 🤔

XOR zwraca 0 dla (0,0) i (1,1), ale 1 dla (0,1) i (1,0). Zgodne pary oznaczają „nie”, a różne pary — „tak”.

Umieść cztery dane wejściowe na siatce. Dwa punkty oznaczające „tak” leżą w przeciwległych narożnikach, a punkty oznaczające „nie” zajmują dwa pozostałe.

Spróbuj rozdzielić narożniki „tak” od narożników „nie” jedną prostą linią. Po prostu nie da się tego zrobić. Klasy przeplatają się po przekątnej.

XOR to klasyczny przykład danych, które nie są liniowo separowalne. Pojedynczy neuron, ograniczony do prostej granicy, nigdy sobie z nimi nie poradzi.

Wytrenuj perceptron na XOR, a nigdy nie osiągnie zbieżności. Wagi będą się wahać, ponieważ żadna linia nie spełnia jednocześnie wszystkich czterech przykładów.

To ograniczenie XOR, ujawnione w 1969 roku, pomogło wywołać zimę AI. Zaczęto wątpić, czy sieci neuronowe kiedykolwiek poradzą sobie z trudnymi problemami.

Rozwiązaniem jest połączenie neuronów w stos. Warstwa ukryta pozwala sieci łączyć kilka linii w bardziej złożony kształt.

Dzięki warstwie ukrytej i nieliniowości sieć może zaginać swoją granicę. Teraz otacza ona narożniki „tak” i pomija narożniki „nie”.

Wystarczą dwa neurony ukryte przekazujące wynik do jednego neuronu wyjściowego, aby rozwiązać XOR. Każdy neuron ukryty wyznacza linię, a neuron wyjściowy je łączy.

XOR to najmniejszy dowód na to, że głębokość ma znaczenie. Układanie warstw pozwala sieciom uczyć się krzywych, narożników i złożoności świata rzeczywistego.

Przypomnij sobie, dlaczego XOR pokonuje pojedynczy neuron.

XOR nie jest liniowo separowalny, więc jeden neuron sobie nie radzi. Dodanie warstwy ukrytej pozwala sieci zagiąć granicę i rozwiązać problem. Głębokość odblokowuje większe możliwości. 🚀