엣지 배포를 위한 MobileNet과 EfficientNet

휴대전화와 임베디드 장치에서는 약간의 정확도를 포기하고 작은 크기, 짧은 지연 시간, 낮은 전력 소모를 얻습니다. MobileNet과 EfficientNet은 무거운 밀집 합성곱 대신 효율적인 구성 요소를 사용하여 바로 이러한 용도에 맞게 설계되었습니다.

MobileNet은 표준 합성곱을 깊이별 분리 합성곱으로 대체합니다. 이 방식은 채널별 공간 필터를 적용한 다음 1x1 점별 혼합을 수행합니다. 이를 통해 정확도 손실은 거의 없이 연산량과 매개변수 수를 약 8~9배 줄일 수 있습니다.

MobileNetV3Small은 모바일 환경에 맞게 조정된 모델로, 가중치가 약 2.5MB에 불과하여 저장 공간과 RAM이 부족할 때 적합합니다.

EfficientNetB0은 깊이, 너비, 해상도의 균형을 맞추기 위해 복합 스케일링을 사용합니다. 모델 크기에 비해 높은 정확도를 달성하므로, 초소형 모바일 네트워크와 무거운 서버 모델 사이의 훌륭한 중간 선택지입니다.

• MobileNetV3Small(~2.5MB): 가장 작고 빠르지만 정확도는 가장 낮습니다. 모바일에서 실시간으로 사용하기에 적합합니다.
• EfficientNetB0: 정확도와 크기의 균형이 좋습니다. 연산량을 조금 더 사용할 수 있을 때 적합합니다.

장치의 지연 시간 예산과 목표 정확도를 기준으로 선택하십시오.

전이 학습 패턴은 동일합니다. 기반 모델을 고정하고, 풀링한 다음, Dense head를 추가합니다.

TensorFlow 라이트는 기기 내 추론을 위한 실행 환경입니다. 학습된 케라스 모델을 모바일 CPU, GPU, NPU에서 효율적으로 실행되는 작은 .tflite 플랫버퍼로 변환합니다.

TFLiteConverter를 사용하여 저장된 모델을 변환하십시오.

학습 후 양자화는 가중치를 float32 대신 int8로 저장하여 크기를 약 4배 줄이고 모바일 하드웨어에서 추론을 빠르게 합니다. 정확도 손실은 거의 없습니다.

일반적인 모바일 하드웨어에서 MobileNetV3Small은 이미지 하나를 처리하는 데 한 자릿수에서 낮은 두 자릿수의 밀리초가 걸리는 경우가 많아 충분히 실시간으로 실행됩니다. EfficientNetB0은 더 무겁고 느리지만 정확도가 더 높습니다.

항상 실제 대상 장치에서 성능을 측정하십시오. 에뮬레이터의 측정 시간은 신뢰하기 어렵습니다. TensorFlow 라이트 벤치마크 도구를 사용하거나 Interpreter의 invoke() 실행 시간을 측정하십시오.

Interpreter로 모델을 불러오고, 입력 텐서를 설정하고, invoke한 다음 출력을 읽습니다.

엣지 배포 지식을 확인해 보십시오.

엣지 환경에서 사용하기 위해 MobileNetV3Small(약 2.5MB, 가장 빠름)과 EfficientNetB0(균형 잡힌 성능)을 비교하고, 두 모델에 전이 head를 구성하고, TensorFlow 라이트로 변환하고, int8 양자화를 적용하고, 실제 하드웨어에서 지연 시간을 측정했습니다. 이것으로 전이 학습 과정을 마칩니다. 다음 과정은 시계열 분석입니다.