MLOps Academy · 课时

使用 Airflow 编排重新训练

构建一个能够重新训练并验证模型的 DAG

第 2 / 4 课13 个步骤

使用 Airflow 编排重新训练 是 CoddyKit 上的免费 MLOps Academy 课时。这是第 2 节课，共 4 节。你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。这是 MLOps Academy 学习路径的一部分，你的进度在网页和 CoddyKit 应用中同步。 MLOps Academy 课程共包含 4 节课。

为什么需要编排器

重新训练包含许多必须按顺序运行并能够从失败中恢复的步骤。Airflow 这样的编排器可以可靠地运行这些步骤，因此您不必一直看管脚本。

用一句话了解 Airflow

Apache Airflow 会调度并运行用 Python 代码定义的工作流。您描述要做什么，Airflow 负责决定何时执行以及按什么顺序执行。

DAG

Airflow 工作流是一个DAG，即有向无环图，由多个任务组成。“无环”表示它永远不会回到之前的节点，因此每次运行都有明确的结束点。

任务就是节点

每个步骤，例如摄取数据、训练或验证，都是 DAG 中的一个任务。任务是 Airflow 运行、重试和跟踪的基本单位。

在代码中定义 DAG

您可以直接在 Python 中声明 DAG 及其调度计划。这里的 @dag 装饰器设置了每天重新训练的频率。

from airflow.decorators import dag

@dag(schedule="@daily", catchup=False)
def retrain_pipeline():
    ...

连接依赖关系

箭头运算符用于设置任务之间的顺序。它表示摄取必须先于训练完成，训练又必须先于验证完成。

ingest() >> train() >> validate()

运算符负责执行工作

运算符是某一类任务的模板，例如运行 Python 或 Bash 命令。PythonOperator 会运行您的训练函数。

内置重试机制

为任务设置重试次数后，如果任务失败，Airflow 会自动重新运行它。偶发失败的数据获取不再会破坏整个流水线。

train_task = PythonOperator(
    task_id="train",
    retries=3,
)

在界面中观察

Airflow 提供一个 Web 界面，用彩色网格显示每次运行。绿色表示成功，红色表示失败，因此您可以立即发现损坏的任务。

调度或触发

DAG 可以按照调度计划运行，也可以按需启动。这样，同一个流水线既可以用于 Cron 重新训练，也可以用于漂移触发的重新训练。

幂等任务

请将每个任务设计为可以安全地重复运行，并产生相同结果。幂等任务让重试和补运行变得轻松。

快速检查

在两个 Airflow 任务之间，>> 运算符有什么作用？

在交互式课程中回答

回顾

您已经认识了 Airflow：工作流是由任务组成的DAG，使用 >> 连接任务，配置重试，并在界面中进行监控。它将重新训练脚本转变为可靠的流水线。✅

免费开始

用 AI 导师学习 Python — 免费

在浏览器中编写并运行真实代码，获得全天候 AI 导师的即时帮助，并在网页或应用中继续学习。

课程: 30
课程: 120

免费开始学习查看完整课程

常见问题解答

「使用 Airflow 编排重新训练」课时是免费的吗？

是的 — 「使用 Airflow 编排重新训练」的完整文本可在网页上免费阅读。要进行交互式练习（内置代码编辑器和全天候 AI 导师）并解锁 MLOps Academy 课程的其余内容，请升级到 CoddyKit PRO。 MLOps Academy 课程共包含 4 节课。

「使用 Airflow 编排重新训练」这节课中我会学到什么？

构建一个能够重新训练并验证模型的 DAG 你通过在浏览器中直接运行的动手代码来练习 MLOps Academy，全天候 AI 导师会在你学习这节课的过程中回答你的问题。

学习 MLOps Academy 需要有经验吗？

无需任何先前经验。CoddyKit 上的 MLOps Academy 课程适合初学者到高级学习者，你可以从这里开始或从头开始，按照自己的节奏学习。这是第 2 节课，共 4 节。

「使用 Airflow 编排重新训练」课时需要多长时间？

大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动，所以你能稳步进步，并在网页和应用中从离开的地方继续。

我能在这节 MLOps Academy 课中编写并运行代码吗？

能。每节 MLOps Academy 课都包含内置代码编辑器，你可以在浏览器中直接编写并运行真实代码，并获得即时 AI 反馈 — 无需本地设置。

此课程中的所有课时

← 返回 MLOps Academy