Elaborare tile in streaming per immagini grandi

Un'immagine enorme potrebbe non entrare nella memoria della GPU, oppure copiarla per intero potrebbe bloccare la pipeline. La soluzione consiste nel dividerla in tile ed elaborarli uno alla volta. 🖼️

Divida l'immagine in fasce orizzontali o tile rettangolari. Ogni tile è abbastanza piccolo da poter essere trasferito, elaborato e riportato indietro senza sovraccaricare la memoria del dispositivo.

Ogni tile segue lo stesso ritmo: copiarlo sul dispositivo, eseguire il kernel e ricopiare indietro il risultato. Ripeta l'operazione finché l'intera immagine non è stata elaborata.

Se elaborata un tile alla volta, la GPU rimane inattiva durante ogni copia. Per ottenere buone prestazioni, deve sovrapporre il trasferimento di un tile all'elaborazione di un altro.

Inserisca il lavoro di ogni tile in un proprio stream. Il driver potrà così eseguire il kernel di un tile mentre la copia di un altro è ancora in corso.

cudaMemcpy, nella sua forma normale, blocca l'host e impedisce la sovrapposizione. Usi cudaMemcpyAsync su uno stream, così la copia viene accodata senza arrestare tutto.

I trasferimenti asincroni richiedono memoria dell'host pinned per utilizzare il DMA. Allochi i buffer temporanei dei tile con cudaMallocHost, altrimenti la sovrapposizione passerà silenziosamente alla modalità bloccante.

Mantenga due buffer per i tile e alterni gli stream. Mentre il tile N viene elaborato, il tile N+1 viene trasferito, nascondendo i trasferimenti dietro il lavoro in una pipeline fluida.

Una sfocatura vicino al bordo di un tile ha bisogno dei pixel del tile adiacente. Includa un margine di sovrapposizione, detto halo, affinché i risultati sui bordi rimangano corretti.

Il lavoro asincrono non è terminato quando la chiamata restituisce il controllo. Chiami cudaStreamSynchronize su ogni stream prima di leggere il risultato di un tile nell'host.

Con tile gestiti tramite stream e doppio buffering, la GPU rimane alimentata indipendentemente dalle dimensioni dell'immagine. I trasferimenti scompaiono dietro l'elaborazione e il throughput rimane elevato. ⚡

Ha diviso le immagini grandi in tile, ha usato stream con copie asincrone e memoria pinned per sovrapporre le operazioni, ha applicato il doppio buffering alla pipeline e ha aggiunto gli halo per mantenere corretti i bordi. 🎯