Mojo im MAX-Graphen

In MAX wird ein Modell als Graph dargestellt: ein Netzwerk von Operationen, in dem Daten von einem Knoten zum nächsten fließen. 🔗

Jeder Knoten im Graphen ist eine Op, also eine einzelne Operation wie eine Matrixmultiplikation oder eine auf ihre Eingaben angewendete Aktivierungsfunktion.

MAX wird mit vielen integrierten Ops für gängige Layer ausgeliefert, sodass die meisten typischen Modellgraphen ohne zusätzlichen Code funktionieren.

Manchmal benötigt Ihr Modell eine Operation, die MAX nicht enthält. Dann schreiben Sie eine benutzerdefinierte Op, um diese Lücke zu schließen.

Sie schreiben benutzerdefinierte Ops in Mojo und erhalten so Systemgeschwindigkeit für genau die Berechnung, die Ihr Modell benötigt.

Eine benutzerdefinierte Op ist im Wesentlichen eine Mojo-Funktion, die Eingabetensoren übernimmt und einen Ausgabetensor für den Graphen erzeugt.

Da die Op in Mojo geschrieben ist, können Sie SIMD und andere Techniken einsetzen, damit dieser Knoten so schnell läuft, wie es die Hardware erlaubt.

Nach ihrer Definition wird Ihre benutzerdefinierte Op registriert, sodass MAX sie wie jede integrierte Operation in den Graphen einfügen kann.

MAX optimiert weiterhin den gesamten Graphen einschließlich Ihres benutzerdefinierten Knotens und fusioniert und plant die Arbeit für den bestmöglichen Gesamtdurchsatz.

Mit diesem Muster können Sie ein Modell weitgehend standardmäßig halten und genau dort eine von Hand optimierte Mojo-Op einsetzen, wo Sie Geschwindigkeit benötigen.

Verwenden Sie eine benutzerdefinierte Op, wenn ein fehlender oder langsamer Knoten Ihr Flaschenhals ist, nicht bei Teilen, die integrierte Ops bereits gut abdecken. ✨

Sie haben gesehen, dass ein MAX-Modell ein Graph aus Ops ist und Mojo Ihnen ermöglicht, schnelle benutzerdefinierte Ops zu schreiben, die sich direkt darin einfügen lassen. 🎯