Cyber Security Academy · 강의

리버싱과 Pwn 기초

리버스 엔지니어링과 바이너리 익스플로잇을 소개합니다.

리버싱과 Pwn 기초은(는) CoddyKit의 무료 Cyber Security Academy 강의입니다. 이것은 4개 중 3번째 강의입니다. 아래에서 전체 강의를 무료로 읽을 수 있으며, 내장 코드 에디터와 24/7 AI 튜터와 함께 브라우저에서 직접 실습할 수 있습니다. 이 강의는 Cyber Security Academy 학습 경로의 일부이며, 진행 상황이 웹과 CoddyKit 앱에 동기화됩니다. Cyber Security Academy 강의에는 총 4개의 강의가 포함되어 있습니다.

리버싱과 바이너리 익스플로잇 한눈에 보기

서로 밀접하게 관련된 두 CTF 범주는 컴파일된 프로그램을 다룹니다:

리버스 엔지니어링(rev) — 바이너리를 분석하여 그 동작을 이해합니다. 주로 비밀번호 확인 과정이나 플래그를 출력하는 숨은 로직을 찾아냅니다.
바이너리 익스플로잇 — 실행 중인 바이너리에서 메모리 안전성 버그를 찾아 악용하고 실행 흐름을 탈취합니다. 흔히 플래그를 보유한 원격 서비스에서 셸을 실행하게 만듭니다.

리버싱은 이해하는 일이고, 바이너리 익스플로잇은 무너뜨리는 일입니다. 둘 다 저수준 개념에 익숙해야 합니다.

바이너리 첫 살펴보기

디스어셈블러에서 바이너리를 아무런 준비 없이 바로 열지 마십시오. 먼저 빠른 명령줄 도구로 분류하여 유형, 아키텍처, 눈에 띄는 문자열을 파악하십시오.

# Identify file type and architecture
file ./challenge

# Pull human-readable strings (flags are sometimes left in plaintext)
strings ./challenge

# Check which security mitigations are enabled
checksec --file=./challenge

정적 분석과 동적 분석

바이너리는 서로 보완적인 두 가지 방식으로 분석합니다:

정적 분석 — 기드라와 같은 디스어셈블러나 디컴파일러, 또는 디스어셈블러 화면을 사용하여 실행하지 않고 코드를 읽습니다. 전체 제어 흐름을 볼 수 있지만 실행 중 값은 추론해야 합니다.
동적 분석 — GDB와 같은 디버거에서 프로그램을 실행하고 레지스터와 메모리의 실제 값을 관찰합니다. 정확히 어떤 일이 일어나는지 볼 수 있지만, 직접 실행한 경로만 확인할 수 있습니다.

숙련된 참가자는 두 방식을 오갑니다. 정적으로 읽어 이론을 세우고, 단계별 실행으로 동적으로 확인합니다.

디스어셈블리 읽기

리버스 엔지니어링을 하려면 어셈블리를 읽어야 합니다. 능숙하게 작성할 필요는 없지만 다음과 같은 패턴은 알아보아야 합니다:

비교 명령어 또는 테스트 명령어 뒤에 점프가 나오는 경우 (je, jne)는 비교와 분기입니다. 비밀번호 확인 과정인 경우가 많습니다.
함수 호출은 함수를 실행합니다. 인자는 바로 앞에서 레지스터나 스택에 배치됩니다.
데이터 이동은 레지스터, 메모리, 상수 사이에서 데이터를 옮깁니다.

입력값을 비교하는 cmp를 찾은 뒤 성공 메시지로 분기하는 부분이 나오면 확인 과정을 찾은 것입니다. 이제 예상 값을 복구하거나 우회하십시오.

디컴파일러로 속도 높이기

최신 디컴파일러는 어셈블리를 근사한 C 코드로 되돌려 주므로 원시 명령어보다 훨씬 빠르게 읽을 수 있습니다. 디컴파일된 비밀번호 확인 과정은 다음과 같이 보일 수 있습니다:

// Decompiler output (approximate)
if (strcmp(user_input, "s3cr3t_p4ss") == 0) {
    puts("Correct! Here is your flag:");
    print_flag();
} else {
    puts("Wrong.");
}

메모리 손상은 어떻게 시작되는가

바이너리 익스플로잇 문제는 길이를 확인하지 않고 고정 버퍼에 입력을 읽는 프로그램을 악용합니다. 스택에는 지역 변수와 반환 주소가 저장됩니다. 반환 주소는 함수가 끝났을 때 CPU가 어디로 이동할지 알려 줍니다.

입력이 지역 버퍼를 넘치면 저장된 반환 주소를 덮어쓸 수 있습니다. 반환 주소를 제어하는 사람이 다음 실행 위치를 제어합니다.

// Vulnerable: no bound on how much is read into buf
void vuln() {
    char buf[64];
    gets(buf);   // reads until newline, ignores buf size
}

고전적인 스택 버퍼 오버플로

가장 단순한 바이너리 익스플로잇은 반환 주소를 덮어써 프로그램이 호출할 의도가 없었던 함수로 이동시키는 것입니다. 예를 들어 플래그를 출력하는 숨겨진 win() 함수가 있습니다.

단계는 다음과 같습니다:

버퍼의 시작점부터 반환 주소까지의 정확한 오프셋을 찾습니다. 순환 패턴 도구를 사용하면 빠르게 찾을 수 있습니다.
대상 함수의 주소를 찾습니다.
오프셋까지 패딩을 보낸 다음 반환 주소를 대상으로 덮어씁니다.

# Build the input with a Python exploit library
from pwn import *

p = process('./challenge')
offset = 72                 # bytes to reach the return address
win_addr = 0x401176        # address of the win() function
p.sendline(b'A' * offset + p64(win_addr))
p.interactive()

반환 지향 프로그래밍(ROP)

NX 때문에 직접 작성한 코드를 실행할 수 없을 때는 반환 지향 프로그래밍으로 바이너리에 이미 있는 코드를 재사용합니다.

가젯이라고 하는 짧은 명령어 시퀀스를 연결합니다. 각 시퀀스는 ret으로 끝나며, 레지스터를 불러오거나 라이브러리 함수를 호출해 셸을 실행하는 등의 작업을 조금씩 수행합니다. 스택에 연결 목록을 구성하면 각 ret이 다음 가젯으로 이동합니다.

ROP는 초보적인 오버플로와 실제 환경의 익스플로잇을 이어 주는 다리입니다. 실제 환경에서는 공격자 코드를 직접 실행할 수 있는 경우가 드뭅니다.

서식 문자열 버그

또 다른 고전적인 바이너리 익스플로잇 기본 기법은 서식 문자열 취약점입니다. 사용자 입력이 출력 함수의 서식 인자로 직접 전달될 때 발생합니다.

// Vulnerable: user controls the format string
printf(user_input);          // dangerous

// Safe: user input is data, not format
printf("%s", user_input);    // correct

방어자가 이것을 배우는 이유

메모리 버그를 정확하게 악용하는 법을 배우는 이유는 이를 방지하기 위해서입니다. 방어 측 교훈은 구체적입니다:

gets나 strcpy처럼 입력 길이에 제한이 없는 함수를 절대 사용하지 말고, 길이를 확인하는 대체 함수를 사용하십시오.
카나리, NX, 전체 ASLR/PIE, 전체 RELRO를 기본적으로 활성화하여 방어 기능을 유지하십시오.
위협 모델상 허용된다면 메모리 안전 언어를 우선 사용하십시오.
사용자가 제어하는 값이 서식 문자열이나 버퍼 복사에 도달한다면 코드 검토에서 심각한 문제로 취급하십시오.

빠른 확인

리버싱과 바이너리 익스플로잇의 기본적인 이해도를 테스트해 보십시오.

복습

이제 리버싱과 바이너리 익스플로잇의 전체 구조를 파악했습니다:

심층 분석 전에 file, strings, checksec으로 모든 바이너리를 분류하십시오.
로직을 이해하기 위해 정적 분석(디스어셈블러 및 디컴파일러)과 동적 분석(디버거)을 결합하십시오.
바이너리 익스플로잇은 반환 주소를 덮어쓰는 스택 버퍼 오버플로에서 시작하며, 방어 기법(카나리, NX, ASLR/PIE, RELRO)이 난도를 높입니다.
ROP는 기존 가젯을 재사용하여 NX를 무력화하고, 서식 문자열 버그는 신뢰할 수 없는 서식 인자에서 발생합니다.
모든 기법은 더 안전한 코드를 작성하고 검토하기 위한 방어 교훈이기도 합니다.

다음에는 도구 모음을 구성하고 풀이 문서 작성법을 배웁니다.

자주 묻는 질문