使用 Athena 查询 S3 日志
了解无服务器 SQL 如何在无需数据库的情况下搜索日志。
使用 Athena 查询 S3 日志 是 CoddyKit 上的免费 AWS Security Academy 课时。 这是第 1 节课，共 4 节。 你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。 这是 AWS Security Academy 学习路径的一部分，你的进度在网页和 CoddyKit 应用中同步。 AWS Security Academy 课程共包含 4 节课。
什么是 Amazon Athena
Amazon Athena是一项无服务器交互式查询服务，可以直接对存储在 Amazon S3 中的数据运行标准 SQL。您无需预置或管理数据库，只需让 Athena 指向 S3 中的数据、定义架构并执行查询即可。因此，它非常适合分析 AWS 生成的大型日志文件。
无服务器与按查询付费
Athena 是无服务器服务，您会根据扫描的数据量按查询付费。不执行查询时不会产生闲置成本。这种定价模式鼓励使用高效查询和组织良好的数据，因为扫描的数据越少，速度越快、成本也越低；这是使用 Athena 时反复出现的主题。
为什么使用 Athena 分析安全日志
安全系统会生成海量日志，包括 CloudTrail、VPC Flow Logs、ALB 访问日志等，这些日志最终都会存入 S3。Athena 让您可以使用熟悉的 SQL 调查这些日志，而不必构建数据管道。发生事件时，您可以在几分钟内搜索数月的历史记录和数十亿条记录，这正是调查工作所需要的能力。
读取时定义架构
Athena 使用读取时定义架构：您定义一个表架构，描述如何解释 S3 中的文件；查询时才应用该架构，而不是在存储数据时应用。原始日志文件不会被修改。这意味着您可以随时在同一批未修改的日志之上添加新的表和视图。
数据目录的作用
Athena 从 AWS Glue 数据目录读取表定义。它是一个集中式元数据存储。表会将 S3 中的位置和文件格式映射到列及其类型。完成编目后，该表即可供 Athena 和其他分析服务使用，为您的日志数据提供统一的共享定义。
支持的格式
Athena 支持查询多种格式：JSON、CSV、Apache Parquet、ORC 和 Avro。CloudTrail 日志采用 JSON 格式，Flow Logs 则是以空格分隔的文本。像 Parquet 这样的列式格式效率高得多，因为 Athena 只读取查询所需的列，可以减少扫描的数据量并降低成本。
运行查询
您可以在 Athena 控制台、API 或 CLI 中运行查询，结果会写入 S3 的查询结果位置。一个简单的调查查询可以按用户统计失败的控制台登录次数。Athena 会根据数据量在几秒到几分钟内返回结果，而且无需管理基础设施。
SELECT useridentity.username, COUNT(*) AS attempts
FROM cloudtrail_logs
WHERE eventname = 'ConsoleLogin'
AND errormessage = 'Failed authentication'
GROUP BY useridentity.username保护 Athena 访问
Athena 访问由 IAM 策略控制，查询只能读取调用者获准访问的 S3 数据。您还应加密查询的结果位置，因为结果可能包含敏感的日志内容。工作组可以帮助您隔离团队、强制加密结果，并设置每次查询的数据扫描上限。
联合查询
除了 S3 之外，Athena 的联合查询还可以通过连接器访问 DynamoDB 或 RDS 等其他数据源。虽然大多数安全日志分析都以 S3 为目标，但联合查询可以将日志数据与资产清单等参考数据连接起来，从而丰富调查内容，而不必先将所有数据移入 S3。
使用工作组进行治理
工作组可以隔离不同团队的查询、结果和设置。工作组可以强制使用加密的结果位置，设置单独的查询结果存储桶，并限制单个查询可以扫描的字节数。这样既能控制成本，也能将一个团队的敏感调查结果与另一个团队的结果分开。
何时使用 Athena
当您需要临时分析大量历史日志时，应使用 Athena，尤其适合分析 S3 中的 CloudTrail 和 Flow Logs。对于实时告警，您仍应依赖 CloudWatch 和 GuardDuty；Athena 是用于事后深入调查和跨大规模数据集生成报告的工具。
快速检查
测试您对 Athena 基础知识的掌握程度。
总结
Amazon Athena可以直接对 S3 数据运行 SQL，无需服务器，并根据扫描的数据量收费。它使用读取时定义架构，表定义存储在 Glue 数据目录中，并支持 JSON 和高效的 Parquet 等格式。请使用 IAM、加密的结果位置和工作组保护 Athena。它是深入分析 CloudTrail 和 Flow Logs、开展事后调查的首选工具。
用 AI 导师学习 AWS Security Academy — 免费
在浏览器中编写并运行真实代码，获得全天候 AI 导师的即时帮助，并在网页或应用中继续学习。
- 课程
- 30
- 课程
- 120
常见问题解答
「使用 Athena 查询 S3 日志」课时是免费的吗？
是的 — 「使用 Athena 查询 S3 日志」的完整文本可在网页上免费阅读。要进行交互式练习（内置代码编辑器和全天候 AI 导师）并解锁 AWS Security Academy 课程的其余内容，请升级到 CoddyKit PRO。 AWS Security Academy 课程共包含 4 节课。
「使用 Athena 查询 S3 日志」这节课中我会学到什么？
了解无服务器 SQL 如何在无需数据库的情况下搜索日志。 你通过在浏览器中直接运行的动手代码来练习 AWS Security Academy，全天候 AI 导师会在你学习这节课的过程中回答你的问题。
学习 AWS Security Academy 需要有经验吗？
无需任何先前经验。CoddyKit 上的 AWS Security Academy 课程适合初学者到高级学习者，你可以从这里开始或从头开始，按照自己的节奏学习。 这是第 1 节课，共 4 节。
「使用 Athena 查询 S3 日志」课时需要多长时间？
大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动，所以你能稳步进步，并在网页和应用中从离开的地方继续。
我能在这节 AWS Security Academy 课中编写并运行代码吗？
能。每节 AWS Security Academy 课都包含内置代码编辑器，你可以在浏览器中直接编写并运行真实代码，并获得即时 AI 反馈 — 无需本地设置。
此课程中的所有课时
- 使用 Athena 查询 S3 日志
- 基于 CloudTrail 数据构建表
- 使用 SQL 查询调查事件
- 对日志分区以提升速度并降低成本