대칭 암호화 알고리즘

대칭 암호화는 데이터를 암호화하고 복호화할 때 하나의 공유 키를 사용합니다. 송신자와 수신자는 같은 비밀 키를 모두 가지고 있어야 하며, 그 키를 안전하게 보관하는 것이 매우 중요합니다. 키를 가진 사람은 누구나 데이터를 복호화할 수 있기 때문입니다. 대칭 암호화는 계산 속도가 빠르고 효율적이므로 대량의 데이터를 암호화하는 데 적합합니다. 대칭 암호화의 핵심 과제는 키 배포입니다. 두 당사자가 안전한 채널을 갖기 전에 어떻게 안전하게 키를 공유할 수 있을까요?

Advanced Encryption Standard (AES)는 오늘날 가장 널리 사용되는 대칭 암호화 Algorithm이며, 2001년 NIST가 DES의 후속 표준으로 채택했습니다. AES는 128비트 Block에서 작동하며 AES-128, AES-192, AES-256의 세 가지 키 크기를 지원합니다. 숫자는 비트 단위의 키 길이를 나타냅니다. AES-256은 가장 강력한 보안 여유를 제공합니다. AES는 HTTPS용 TLS, 전체 디스크 암호화(BitLocker), 파일 암호화 및 사실상 모든 최신 보안 애플리케이션에서 사용됩니다. 올바르게 구현하면 알려진 실용적 취약점이 없습니다.

데이터 암호화 표준(DES)은 널리 채택된 최초의 대칭 알고리즘으로, 1977년에 56비트 key를 사용하도록 표준화되었습니다. 56비트 key란 가능한 key가 2^56개뿐이라는 뜻입니다. 1999년에는 분산 컴퓨팅 프로젝트가 DES로 암호화된 메시지를 24시간도 안 되어 해독했습니다. DES는 현재 암호학적으로 파괴된 알고리즘으로 간주되므로 새로운 시스템에 절대 사용해서는 안 됩니다. DES가 실패한 이유(불충분한 key 길이)를 이해하면 AES와 같은 최신 알고리즘이 128~256비트 key를 사용하는 이유를 알 수 있으므로, DES는 Security+ 시험에서도 여전히 중요합니다.

Triple DES(3DES 또는 TDEA)는 각 데이터 블록에 DES 알고리즘을 세 번 적용하여 DES의 약점을 임시로 보완하기 위해 만들어졌습니다. 서로 다른 56비트 key 세 개를 사용하면 유효 key 강도는 112비트가 되며, 이는 2000년대 초까지 충분한 수준으로 여겨졌습니다. 그러나 3DES는 암호화를 세 번 적용하므로 AES보다 훨씬 느리고, 장시간 연결에서 Sweet32 생일 공격에 취약합니다. NIST는 2023년에 3DES를 공식적으로 폐기했습니다. 현재 모든 애플리케이션에서 AES로 대체되고 있습니다.

대칭 알고리즘은 블록 암호와 스트림 암호로 분류됩니다. 블록 암호(AES, DES)는 데이터를 고정된 크기의 조각(‘블록’)으로 나누어 암호화하며, AES는 128비트 블록을 사용합니다. 스트림 암호는 키스트림을 사용하여 데이터를 한 번에 1비트 또는 1바이트씩 암호화하므로 더 빠르고 실시간 통신에 적합합니다. RC4는 한때 대표적인 스트림 암호였지만 현재는 파괴된 알고리즘으로 간주되어 폐기되었습니다. ChaCha20은 최신 스트림 암호로 널리 선택되며, AES 가속 기능이 없는 하드웨어에서도 속도와 보안성이 뛰어나 TLS 1.3과 WireGuard에 사용됩니다.

블록 암호가 여러 데이터 블록을 처리하는 방식은 운영 모드로 결정됩니다. ECB(Electronic Code Book)는 각 블록을 독립적으로 암호화하므로 동일한 평문 블록에서 동일한 암호문이 생성됩니다. 이는 ‘ECB 펭귄’ 이미지 시연에서 잘 드러납니다. ECB는 절대 안전하지 않습니다. CBC(Cipher Block Chaining)는 암호화하기 전에 각 평문 블록을 이전 암호문 블록과 XOR하여 확산 효과를 더합니다. GCM(Galois/Counter Mode)은 암호화와 무결성 인증(AEAD)을 모두 제공하며 TLS 1.3에서 선호되는 모드입니다.

대칭 Encryption 알고리즘의 보안성은 key 길이와 직접적인 관련이 있습니다. key가 길수록 가능한 조합이 많아지고 무차별 대입 공격에 필요한 작업량이 기하급수적으로 증가합니다. 128비트 key에는 2^128개의 가능한 조합이 있으므로, 초당 10억의 10억 배를 시도하더라도 모든 조합을 대입하는 데 우주의 나이보다 더 오래 걸립니다. NIST는 새로운 시스템의 대칭 Encryption에 최소 128비트 key를 권장하며, 미래의 양자 컴퓨팅 위협에 대비해 장기적인 보안이 필요한 애플리케이션에는 256비트 key를 선호합니다.

대칭 Encryption의 핵심 약점은 key 관리입니다. Encryption의 보안성은 key만큼만 강력합니다. key 관리 과제에는 통신 전에 key를 안전하게 공유하는 key 배포, 하드웨어 보안 모듈이나 key 보관소를 사용해 저장된 상태의 key를 보호하는 key 저장, 노출 범위를 제한하기 위해 주기적으로 key를 변경하는 key 순환, 더 이상 필요하지 않은 key를 안전하게 삭제하는 key 폐기가 포함됩니다. 실제 환경에서 발생한 Encryption 장애는 알고리즘 자체의 수학적 약점보다 부실한 key 관리로 인해 발생한 경우가 더 많습니다.

AES는 보안 전문가가 매일 사용하는 가장 일반적인 Encryption 도구의 기반이 되는 알고리즘입니다. BitLocker(Windows)와 FileVault(macOS)는 AES-128 또는 AES-256을 사용하여 전체 디스크 볼륨을 암호화하므로, 노트북을 도난당해도 데이터를 보호할 수 있습니다. VeraCrypt는 여러 운영 체제에서 사용할 수 있는 디스크 Encryption을 제공합니다. 클라우드 제공업체(AWS S3, Google Cloud)는 AES-256-GCM을 사용하여 저장된 객체를 암호화합니다. 제품의 기반이 되는 알고리즘을 이해하면 해당 Encryption 구현이 데이터 민감도에 적절한지 평가할 수 있습니다.

Security+ 학습 자료에는 두 가지 대칭 알고리즘도 자주 등장합니다. Blowfish(1993)는 Bruce Schneier가 DES의 공개 도메인 대안으로 설계한 가변 길이 key 블록 암호(32~448비트)입니다. 빠르고 무료이지만 블록 크기가 64비트이므로 긴 세션에서 생일 공격에 취약합니다. Twofish(1998)는 AES 공모전의 최종 후보로, 128/192/256비트 key와 128비트 블록 크기를 제공합니다. 두 알고리즘 모두 여전히 안전하지만, NIST 공모전에서는 AES가 선정되었고 현재 구현에서는 AES가 압도적으로 많이 사용됩니다. 이러한 알고리즘을 알면 AES가 선택된 배경을 이해하는 데 도움이 됩니다.

대칭 Encryption과 비대칭 Encryption은 서로 보완적인 역할을 합니다. 대칭 Encryption(AES)은 빠르며 대량의 데이터를 암호화하는 데 적합합니다. 비대칭 Encryption(RSA)은 느리지만 key 배포 문제를 해결합니다. 실제로는 두 방식을 결합합니다. 비대칭 Encryption으로 대칭 세션 key를 안전하게 교환한 다음, 대칭 Encryption으로 모든 대용량 데이터 전송을 처리합니다. 이 하이브리드 방식은 TLS(HTTPS), VPN 및 PGP 이메일 Encryption의 기반으로, 비대칭 key 교환의 보안성과 대칭 데이터 Encryption의 속도를 모두 제공합니다.

이 lesson에서 다룬 CompTIA Security+(SY0-701) 개념을 이해했는지 확인해 보세요.

이 lesson에서는 다음을 배웠습니다. 대칭 Encryption은 Encryption과 Decrypt에 하나의 공유 key를 사용합니다. AES(128/192/256비트)는 현재 표준입니다. DES(56비트)는 파괴되었으며 폐기되었습니다. 블록 암호 모드(GCM 권장)는 블록을 연결하는 방식을 결정합니다. 또한 key 관리가 주요 운영 과제입니다. 다음 lesson에서는 비대칭 Encryption과 Key 쌍을 살펴봅니다.