매개변수 공간 탐색하기

모든 손잡이의 조합이 parameter space를 이룹니다. 이를 탐색한다는 것은 조합을 시도하여 어느 조합이 가장 빠른지 찾는다는 뜻입니다.

먼저 각 손잡이가 가질 수 있는 값을 나열합니다. 타일과 폭의 모든 짝이 평가할 candidates가 됩니다.

컴파일러는 모든 조합에 대해 해당 매개변수 값이 정확히 반영된 특화 specialized kernel 버전을 빌드합니다.

각 후보를 대표적인 입력으로 실행하고 걸린 시간을 기록합니다. 정직한 timing이 비교를 의미 있게 만듭니다.

처음 몇 번의 실행은 warm-up으로 간주하여 버립니다. 캐시와 CPU가 안정되는 과정 때문에 초기 측정값은 불안정하고 대표성이 없습니다.

각 후보를 여러 번 측정하고 최솟값이나 중앙값을 사용합니다. 반복하면 운영 체제에서 발생하는 무작위 noise가 완화됩니다.

모든 후보에 같은 입력과 같은 작업량을 제공하십시오. 그러면 변하는 것은 테스트 중인 configuration뿐입니다.

시간이 가장 짧은 후보가 winner가 됩니다. 해당 매개변수 집합을 기준으로 코드를 특화해야 합니다.

공간이 작으면 모든 조합을 grid search로 탐색할 수 있습니다. 공간이 크면 조정에 영원히 걸리지 않도록 샘플링이 필요할 수 있습니다.

탐색은 배포 전에 한 번 수행됩니다. 지금 tuning 시간을 투자하면 이후 모든 실행에서 더 빠른 속도를 얻을 수 있습니다.

승리한 값을 저장하여 재사용할 수 있게 하십시오. 기록된 result가 있으면 다음에 전체 탐색을 반복하지 않아도 됩니다.

탐색 중 후보가 어떻게 선택되는지 떠올려 보십시오.

후보를 열거하고, 공정한 작업량으로 각각을 빌드하고 측정했으며, noise를 완화한 다음 가장 빠른 구성을 승자로 선택했습니다. 🎯