Athena로 S3 로그 조회
서버리스 SQL이 데이터베이스 없이 로그를 검색하는 방법을 이해해 보세요.
Athena로 S3 로그 조회은(는) CoddyKit의 무료 AWS Security Academy 강의입니다. 이것은 4개 중 1번째 강의입니다. 아래에서 전체 강의를 무료로 읽을 수 있으며, 내장 코드 에디터와 24/7 AI 튜터와 함께 브라우저에서 직접 실습할 수 있습니다. 이 강의는 AWS Security Academy 학습 경로의 일부이며, 진행 상황이 웹과 CoddyKit 앱에 동기화됩니다. AWS Security Academy 강의에는 총 4개의 강의가 포함되어 있습니다.
Amazon Athena란
Amazon Athena는 Amazon S3에 저장된 데이터를 대상으로 표준 SQL을 직접 실행하는 서버리스 대화형 쿼리 서비스입니다. 프로비저닝하거나 관리해야 할 데이터베이스가 없습니다. Athena에서 S3의 데이터를 가리키고 스키마를 정의한 다음 쿼리하면 됩니다. 따라서 AWS가 생성하는 방대한 로그 파일을 분석하는 데 적합합니다.
서버리스 및 쿼리별 과금
Athena는 서버리스이며 스캔한 데이터 양을 기준으로 쿼리별 요금이 부과됩니다. 쿼리를 실행하지 않을 때는 유휴 비용이 없습니다. 따라서 효율적인 쿼리와 잘 정리된 데이터가 유리합니다. 데이터를 적게 스캔할수록 더 빠르고 저렴하기 때문이며, 이는 Athena 사용 전반에서 반복되는 핵심 주제입니다.
보안 로그에 Athena를 사용하는 이유
보안 시스템은 CloudTrail, VPC Flow Logs, ALB 액세스 로그 등 방대한 로그를 생성하며, 이 로그는 모두 S3에 저장됩니다. Athena를 사용하면 데이터 파이프라인을 구축하는 대신 익숙한 SQL로 로그를 조사할 수 있습니다. 사고가 발생했을 때 수십억 개의 레코드에서 수개월간의 기록을 몇 분 안에 검색할 수 있어, 조사에 정확히 필요한 기능을 제공합니다.
스키마 온 리드
Athena는 스키마 온 리드 방식을 사용합니다. S3의 파일을 해석하는 방법을 설명하는 테이블 스키마를 정의하고, 데이터를 저장할 때가 아니라 쿼리할 때 스키마를 적용합니다. 원본 로그 파일은 전혀 수정되지 않습니다. 따라서 언제든지 동일한 원본 로그 위에 새 테이블과 뷰를 추가할 수 있습니다.
데이터 카탈로그의 역할
Athena는 중앙 메타데이터 저장소인 AWS Glue Data Catalog에서 테이블 정의를 읽습니다. 테이블은 S3의 위치와 데이터 형식을 열 및 데이터 유형에 매핑합니다. 카탈로그에 등록하면 Athena와 다른 분석 서비스에서 해당 테이블을 사용할 수 있어 로그 데이터에 대한 공유 정의를 하나로 유지할 수 있습니다.
지원되는 형식
Athena는 JSON, CSV, Apache Parquet, ORC, Avro 등 다양한 형식을 쿼리할 수 있습니다. CloudTrail 로그는 JSON이고 Flow Logs는 공백으로 구분된 텍스트입니다. Parquet과 같은 열 기반 형식은 Athena가 쿼리에 필요한 열만 읽으므로 훨씬 효율적이며, 데이터를 적게 스캔하여 비용을 줄일 수 있습니다.
쿼리 실행
Athena 콘솔, API 또는 CLI에서 쿼리를 실행하면 결과가 S3의 쿼리 결과 위치에 기록됩니다. 간단한 조사 쿼리로 사용자별 실패한 콘솔 로그인의 수를 셀 수 있습니다. Athena는 데이터 양에 따라 수 초에서 수 분 안에 결과를 반환하며, 관리해야 할 인프라가 필요하지 않습니다.
SELECT useridentity.username, COUNT(*) AS attempts
FROM cloudtrail_logs
WHERE eventname = 'ConsoleLogin'
AND errormessage = 'Failed authentication'
GROUP BY useridentity.usernameAthena 액세스 보호
Athena 액세스는 IAM 정책으로 제어되며, 쿼리는 호출자에게 액세스 권한이 있는 S3 데이터만 읽을 수 있습니다. 또한 쿼리 결과 위치를 암호화해야 합니다. 결과에 민감한 로그 내용이 포함될 수 있기 때문입니다. 작업 그룹을 사용하면 팀을 분리하고, 결과 암호화를 적용하며, 쿼리별 데이터 스캔 한도를 설정할 수 있습니다.
페더레이션 쿼리
S3 외에도 Athena의 페더레이션 쿼리는 커넥터를 통해 DynamoDB나 RDS 같은 다른 데이터 원본에 액세스할 수 있습니다. 대부분의 보안 로그 분석은 S3를 대상으로 하지만, 페더레이션을 사용하면 모든 데이터를 먼저 S3로 옮기지 않고도 로그 데이터를 자산 목록과 같은 참조 데이터와 조인하여 조사 내용을 보강할 수 있습니다.
거버넌스를 위한 작업 그룹
작업 그룹은 여러 팀의 쿼리, 결과 및 설정을 분리합니다. 작업 그룹에서 암호화된 결과 위치를 강제하고, 별도의 쿼리 결과 버킷을 지정하며, 단일 쿼리가 스캔할 수 있는 바이트 수를 제한할 수 있습니다. 이를 통해 비용을 통제하는 동시에 한 팀의 민감한 조사 결과를 다른 팀의 결과와 분리할 수 있습니다.
Athena를 사용해야 할 때
대량의 과거 로그를 임시로 분석해야 할 때 Athena를 사용하십시오. 특히 S3에 저장된 CloudTrail 및 Flow Logs 분석에 적합합니다. 실시간 알림에는 여전히 CloudWatch와 GuardDuty를 사용해야 합니다. Athena는 대규모 데이터 세트에서 사후 조사와 보고를 수행하기 위한 심층 분석 도구입니다.
빠른 확인
Athena의 기본 개념을 테스트해 보십시오.
복습
Amazon Athena는 서버리스 방식으로 S3 데이터에 SQL을 직접 실행하며, 스캔한 데이터 양에 따라 과금됩니다. Glue Data Catalog의 테이블 정의와 함께 스키마 온 리드를 사용하고 JSON 및 효율적인 Parquet과 같은 형식을 지원합니다. IAM, 암호화된 결과 위치 및 작업 그룹으로 보호하십시오. CloudTrail과 Flow Logs를 사후에 심층 분석하는 데 적합한 대표 도구입니다.
자주 묻는 질문
“Athena로 S3 로그 조회” 강의는 무료인가요?
네 — “Athena로 S3 로그 조회” 전체 내용을 이 웹사이트에서 무료로 읽을 수 있습니다. 인터랙티브하게 실습하려면(내장 코드 에디터와 24/7 AI 튜터), CoddyKit PRO로 업그레이드하면 AWS Security Academy 강의 전체를 잠금 해제할 수 있습니다. AWS Security Academy 강의에는 총 4개의 강의가 포함되어 있습니다.
“Athena로 S3 로그 조회”에서 뭘 배우나요?
서버리스 SQL이 데이터베이스 없이 로그를 검색하는 방법을 이해해 보세요. 브라우저에서 직접 실행하는 실습 코드로 AWS Security Academy을(를) 배우며, 24/7 AI 튜터가 강의를 진행하면서 질문에 답변해줍니다.
AWS Security Academy을(를) 시작하는 데 경험이 필요한가요?
사전 경험은 필요하지 않습니다. CoddyKit의 AWS Security Academy은(는) 초급자부터 고급 학습자까지를 위해 구성되어 있으므로, 여기서 시작하거나 처음부터 시작할 수 있으며 자신의 속도대로 진행할 수 있습니다. 이것은 4개 중 1번째 강의입니다.
“Athena로 S3 로그 조회” 강의는 얼마나 걸리나요?
대부분의 CoddyKit 강의는 약 5~10분이 소요됩니다. 각 강의는 간결하고 인터랙티브하여 꾸준한 진행이 가능하며, 웹과 앱에서 중단한 부분부터 바로 시작할 수 있습니다.
이 AWS Security Academy 강의에서 코드를 작성하고 실행할 수 있나요?
네. 모든 AWS Security Academy 강의에는 내장 코드 에디터가 포함되어 있으므로, 브라우저에서 바로 실제 코드를 작성하고 실행한 후 즉시 AI 피드백을 받을 수 있습니다 — 로컬 설정이 필요 없습니다.
이 강의의 모든 강의
- Athena로 S3 로그 조회
- CloudTrail 데이터 위에 테이블 구축
- SQL 쿼리로 사고 조사
- 속도와 비용을 고려한 로그 파티셔닝