Подсказки через cudaMemAdvise

Предварительная загрузка немедленно перемещает данные, а cudaMemAdvise сообщает драйверу, как вы планируете использовать область, чтобы тот мог со временем разумно размещать страницы.

Передайте указатель, количество байтов, флаг рекомендации и идентификатор устройства. Драйвер учитывает эту подсказку в своих будущих решениях о миграции.

Используйте cudaMemAdviseSetReadMostly для данных, которые многие устройства читают, но редко изменяют. Драйвер может хранить копии только для чтения на каждой стороне, чтобы избежать миграции.

С помощью cudaMemAdviseSetPreferredLocation вы назначаете предпочтительное устройство для страниц. Они неохотно покидают его, даже когда к ним обращается другая сторона.

cudaMemAdviseSetAccessedBy указывает, что устройство будет обращаться к этому региону, поэтому драйвер отображает его на этом устройстве. Доступ выполняется через шину, а не за счёт перемещения страниц.

Когда два устройства конкурируют за одни и те же страницы, правильная рекомендация прекращает это перемещение туда-сюда. Вы стабилизируете размещение, чтобы данные перестали мигрировать в обоих направлениях.

В отличие от одноразовой предварительной выборки, рекомендация сохраняется для региона, пока вы её не измените. На протяжении всего срока существования буфера она влияет на каждое решение о перемещении.

У каждого флага Set есть соответствующая форма Unset, отменяющая подсказку. Сбрасывайте рекомендацию при изменении схемы доступа, чтобы она не вводила драйвер в заблуждение.

Эти два инструмента хорошо работают вместе. Установите PreferredLocation, чтобы задать основное размещение, затем выполните предварительную выборку, чтобы заполнить его, — и перемещения перейдут в устойчивый режим.

Запомните название: рекомендация — это предложение, а не гарантия. Драйвер может его проигнорировать, поэтому всегда выполняйте профилирование, чтобы убедиться, что размещение действительно помогло.

Теперь у вас есть три рычага: один управляемый указатель, предварительная выборка для управления временем и рекомендация для размещения. Вместе они делают Unified Memory одновременно простой и быстрой.

Вы изучили подсказки cudaMemAdvise — ReadMostly, PreferredLocation и AccessedBy, — которые помогают управлять размещением страниц. Сочетайте их с предварительной выборкой и профилированием. Отличная работа! 🎯