Hinweise mit cudaMemAdvise

Prefetch verschiebt Daten sofort; cudaMemAdvise teilt dem Treiber dagegen mit, wie Sie einen Bereich voraussichtlich verwenden werden, damit er Seiten langfristig sinnvoll platzieren kann.

Sie übergeben den Pointer, die Byte-Anzahl, ein advice-Flag und eine Geräte-ID. Der Treiber bezieht diesen Hinweis in seine künftigen Migrationsentscheidungen ein.

Verwenden Sie cudaMemAdviseSetReadMostly für Daten, die von vielen Geräten gelesen, aber selten geschrieben werden. Der Treiber kann schreibgeschützte Kopien auf jeder Seite behalten und so Migrationen vermeiden.

Mit cudaMemAdviseSetPreferredLocation bestimmen Sie ein bevorzugtes Gerät für die Seiten. Sie werden dort gehalten, auch wenn ein anderes Gerät darauf zugreift.

cudaMemAdviseSetAccessedBy gibt an, dass ein Gerät auf diesen Bereich zugreifen wird, sodass der Treiber ihn dort abbildet. Der Zugriff erfolgt über den Bus, statt die Seiten zu verschieben.

Wenn zwei Geräte um dieselben Seiten konkurrieren, beendet der richtige Hinweis das Hin-und-her. Sie stabilisieren die Platzierung, sodass die Daten nicht mehr ständig hin und her migriert werden.

Im Gegensatz zu einem einmaligen Prefetch bleibt ein Hinweis für den Bereich bestehen, bis Sie ihn ändern. Er beeinflusst jede Migrationsentscheidung während der gesamten Lebensdauer des Buffers.

Zu jedem Set-Flag gibt es eine passende Unset-Variante, mit der Sie den Hinweis zurücknehmen. Löschen Sie den Hinweis, wenn sich das Zugriffsmuster ändert, damit er den Treiber nicht in die Irre führt.

Die beiden Werkzeuge ergänzen sich gut. Setzen Sie PreferredLocation, um den bevorzugten Ort festzulegen, und prefetchen Sie anschließend die Daten dorthin. So stabilisieren sich die Migrationen zu einem gleichmäßigen Muster.

Merken Sie sich die Bezeichnung: Ein Hinweis ist eine Empfehlung, keine Garantie. Der Treiber kann ihn außer Kraft setzen. Prüfen Sie daher immer per Profiling, ob die Platzierung tatsächlich geholfen hat.

Sie verfügen nun über drei Stellschrauben: einen verwalteten Pointer, Prefetch für das Timing und Advice für die Platzierung. Zusammen machen sie Unified Memory zugleich einfach und schnell.

Sie haben Hinweise von cudaMemAdvise wie ReadMostly, PreferredLocation und AccessedBy kennengelernt, mit denen sich die Platzierung von Seiten steuern lässt. Kombinieren Sie sie mit Prefetching und Profiling. Sehr gut! 🎯