Minimalizować funkcję ręcznie w Pythonie

Wykonajmy samodzielnie spadek gradientowy na jednej prostej krzywej. Zminimalizujemy podstawową funkcję w czystym Pythonie, zanim zaufamy frameworkowi i pozwolimy mu zrobić to za nas.

Użyjemy paraboli z jednym zagłębieniem. Jej najniższy punkt znajduje się dla x równego 3, więc właśnie to minimum powinien samodzielnie znaleźć nasz kod.

Dla tej krzywej nachylenie, czyli gradient, wynosi dwa razy x minus trzy. W rzeczywistych modelach oblicza to za Państwa autograd, ale tutaj zapiszemy wzór bezpośrednio.

Spadek gradientowy wymaga punktu początkowego. Wybieramy dowolną wartość początkową daleką od odpowiedzi, aby obserwować, jak kolejne kroki się do niej zbliżają.

Ustawiamy umiarkowany współczynnik uczenia, aby kroki były wystarczająco duże do robienia postępów, ale na tyle małe, by uniknąć przeskoczenia zagłębienia.

Każda iteracja stosuje tę samą regułę co wcześniej: od x odejmuje przeskalowany gradient. Jedna linia wykonuje całą pracę związaną ze schodzeniem w dół.

Jeden krok nie wystarczy, dlatego umieszczamy aktualizację w pętli. Około dwudziestu iteracji pozwala x płynnie zbliżać się do minimum.

Wypisując x i f(x) przy każdym przebiegu, zobaczą Państwo ich zbieżność: x zbliża się do 3, a wartość funkcji do zera.

Proszę zauważyć, że ruchy stają się mniejsze w miarę zbliżania się do dna. W pobliżu minimum gradient jest niewielki, więc każdy krok naturalnie zwalnia bez dodatkowego kodu.

Ustaw współczynnik uczenia na przykład na 1,1 i uruchom program ponownie. Zamiast się ustalać, x zacznie się oddalać, pokazując w praktyce, jak zbyt duży krok prowadzi do rozbieżności.

Te kilka linii robi dokładnie to samo, co uczenie głębokie, tylko z milionami wag i automatycznym gradientem. Główna pętla się nie zmienia.

Ręcznie zakodowano spadek gradientowy: zdefiniowano funkcję i jej gradient, rozpoczęto w wybranym miejscu, a następnie powtarzano regułę aktualizacji, aż x zbiegnie do minimum. ✅