인공지능 시스템을 위한 위협 모델링

AI 위협 모델링에 오신 것을 환영합니다! AI의 구체적인 내용에 들어가기 전에 기본 개념을 알아보겠습니다.

위협 모델링은 시스템 내 잠재적인 보안 위협, 취약점 및 대응책을 파악하는 구조화된 과정입니다. 공격자의 관점에서 생각하는 데 도움이 됩니다.

• 자산 식별: 무엇을 보호해야 하나요? (데이터, 모델, 사용자 계정)
• 위협 식별: 누가 어떤 방식으로 공격할 수 있나요?
• 취약점 식별: 악용될 수 있는 약점은 무엇인가요?
• 완화책 식별: 위험을 줄이거나 제거하려면 어떻게 해야 하나요?

기존 소프트웨어 보안이 코드와 인프라에 초점을 맞추는 반면, AI는 새로운 공격 표면을 만들어 냅니다.

AI 시스템은 다음과 같은 특성 때문에 독특합니다.

• 데이터 기반: 조작될 수 있는 학습 데이터에 크게 의존합니다.
• 확률적: 결정이 항상 결정론적인 것은 아니므로 이상 징후를 발견하기가 더 어렵습니다.
• '블랙박스': 복잡한 모델은 불투명하여 취약점을 숨길 수 있습니다.

이러한 특성은 기존 보안 모델이 놓칠 수 있는 특정 위협을 만들어 냅니다.

AI가 잘못된 정보로 학습한다고 생각해 보세요. 이것이 바로 데이터 오염입니다.

이 공격은 AI 모델의 학습 데이터 세트에 악의적이거나 조작된 데이터를 주입하는 방식으로 이루어집니다. 모델의 학습 과정을 손상시키거나 특정 편향을 유발하는 것이 목적입니다.

영향:

• 모델이 부정확하거나 편향된 예측을 내놓습니다.
• 특정 입력이 의도된(악의적인) 출력을 유발하는 백도어 취약점이 발생합니다.

예를 들어 스팸 필터의 학습 데이터에 '스팸 아님'으로 표시한 스팸 이메일을 추가하면 필터의 성능이 저하될 수 있습니다.

모델 회피는 공격자가 입력을 미묘하게 변형하여 AI 모델이 잘못된 예측을 하도록 만들 때 발생합니다.

이러한 입력을 흔히 적대적 예제라고 합니다. 사람에게는 입력이 정상적으로 보이지만, AI는 이를 잘못 해석합니다.

영향:

• 보안 시스템 우회(예: 얼굴 인식).
• 중요한 데이터의 잘못된 분류(예: 양성 종양을 잘못 식별).

대표적인 예로, 정지 표지판에 거의 보이지 않는 작은 스티커를 붙여 자율주행차가 이를 '양보' 표지판으로 인식하게 만드는 경우가 있습니다.

이러한 공격은 모델의 지식 재산과 학습 데이터의 개인정보를 겨냥합니다.

• 모델 역전: 공격자가 모델의 출력을 관찰하여 모델의 학습 데이터에서 민감한 정보를 재구성하려고 합니다. 이는 개인정보 보호 위험입니다.
• 모델 추출(탈취): 공격자가 독점 AI 모델에 반복적으로 질의하여 내부 논리를 파악하고, 모델에 직접 접근하지 않은 채 사실상 모델의 복사본을 만듭니다. 이는 지식 재산권 침해 위험입니다.

두 공격 모두 모델의 예측에 대한 접근 권한을 이용해 내부 작동 방식이나 학습 데이터를 역공학합니다.

STRIDE 위협 모델링 프레임워크(위장, 변조, 부인 방지, 정보 공개, 서비스 거부, 권한 상승)는 AI에 맞게 조정하여 사용할 수 있습니다.

• AI에서의 위장: 공격자가 정상적인 데이터 출처, AI 모델 또는 AI와 상호 작용하는 사용자를 사칭합니다.
• AI에서의 변조: 데이터(예: 학습 데이터, 모델 가중치)나 AI 시스템 자체를 허가 없이 수정하여 동작이나 출력이 바뀌게 만드는 행위입니다.

이러한 위협은 AI 시스템의 무결성과 진정성을 훼손하려고 합니다.

STRIDE를 계속 살펴보면서 책임 추적성과 개인정보 보호에 대해 알아보겠습니다.

• AI에서의 부인 방지: 공격자가 악성 데이터 삽입과 같은 행위를 한 뒤 자신이 하지 않았다고 부인하여 추적 가능한 증거를 남기지 않습니다. 이는 견고한 로깅이 필요한 이유를 보여 줍니다.
• AI에서의 정보 공개: 민감한 정보가 허가 없이 노출되는 것입니다. AI에서는 독점 모델 아키텍처, 알고리즘 또는 학습에 사용된 비공개 데이터가 공개되는 것을 의미할 수 있습니다.

데이터를 보호하고 책임 추적성을 보장하는 것은 신뢰와 규정 준수를 위해 무엇보다 중요합니다.

STRIDE의 마지막 두 범주는 가용성과 제어에 초점을 둡니다.

• AI에서의 서비스 거부(DoS): 공격자가 AI 서비스에 요청을 쇄도하게 하거나 많은 리소스를 사용하는 연산을 수행하여 정상적인 사용자가 서비스를 이용할 수 없게 만듭니다. 이는 서비스형 소프트웨어의 신뢰성에 영향을 줍니다.
• AI에서의 권한 상승: 공격자가 AI 시스템 내에서 허가 없이 접근하거나 더 높은 수준의 권한을 얻어 모델 수정, 민감한 데이터 접근 또는 중요한 기능 제어를 할 수 있게 됩니다.

이러한 공격은 AI 서비스형 소프트웨어의 운영을 심각하게 방해하고 보안을 훼손할 수 있습니다.

위협을 식별했다면 구체적인 방어책을 구현합니다.

• 데이터 검증: 모든 입력 데이터와 학습 데이터를 철저히 확인하고 정제합니다.
• 모델 견고성: 적대적 학습과 같은 기법을 사용하여 모델이 회피 공격에 덜 취약하도록 만듭니다.
• 접근 제어: 데이터, 모델 및 AI 서비스 엔드포인트에 강력한 인증과 권한 부여를 적용합니다.
• 모니터링: 모델 성능과 시스템 로그를 지속적으로 관찰하여 이상 징후를 찾습니다.
• 안전한 배포: 안전하고 격리된 환경에 AI 모델을 배포하기 위한 모범 사례를 따릅니다.

여러 계층으로 구성된 접근 방식이 AI 서비스형 소프트웨어를 보호하는 핵심입니다.

훌륭합니다! AI 시스템을 위한 위협 모델링이라는 중요한 영역을 살펴보았습니다.

AI는 기존 소프트웨어를 넘어서는 고유한 보안 과제를 만든다는 점을 배웠습니다. 또한 데이터 오염, 모델 회피, 모델 역전 및 추출과 같은 AI 특화 위협을 다루었습니다.

그리고 STRIDE 프레임워크를 조정하여 위장, 변조, 부인 방지, 정보 공개, 서비스 거부 및 권한 상승과 관련된 AI 특화 취약점을 식별할 수 있다는 점도 살펴보았습니다.

견고하고 신뢰할 수 있는 AI 서비스형 소프트웨어 제품을 구축하려면 사전에 위협을 모델링하는 것이 필수입니다!