选择合适的预训练模型
BERT、RoBERTa、DistilBERT 等
选择合适的预训练模型 是 CoddyKit 上的免费 NLP Academy 课时。 这是第 4 节课，共 4 节。 你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。 这是 NLP Academy 学习路径的一部分，你的进度在网页和 CoddyKit 应用中同步。 NLP Academy 课程共包含 4 节课。
完整的模型家族
BERT 催生了一系列相关模型。每个模型都会调整方案，在速度、大小或准确率之间做出不同取舍。
RoBERTa：更充分的训练
RoBERTa 保留了 BERT 的设计，但使用更多数据训练更长时间，并省去一个任务。这样换来的好处是更高的准确率。
DistilBERT：小巧而快速
DistilBERT 将 BERT 的参数量减少了约 40%，同时保留了大部分能力。它更重视速度。⚡
ALBERT：共享权重
ALBERT 在各层之间复用参数，从而在内存中保持小巧。它的诀窍是在不明显损失能力的情况下实现参数共享。
领域模型
有些变体会使用特定领域的文本进行预训练，例如在医学论文上训练的 BioBERT。匹配正确的领域，通常比使用更大的通用模型效果更好。
多语言选项
XLM-R 等模型可以同时理解多种语言。当您的文本不只有英语时，可以优先考虑这些模型。
速度方面的取舍
更大的模型得分更高，但运行更慢、成本也更高。请始终根据您的延迟预算权衡准确率。
区分大小写与不区分大小写
不区分大小写的模型会将所有内容转换为小写，而区分大小写的模型会保留大写字母。当大小写承载含义时，请使用区分大小写的模型。
浏览模型中心
Hugging Face Hub 列出了数千个模型及其下载量和任务信息。选择检查点时，这里通常是您的第一站。
# search and filter models at
# huggingface.co/models替换模型很简单
由于 API 是通用的，更换模型通常只需修改一行代码。请在您的数据上尝试几个模型并比较结果。
model = AutoModel.from_pretrained("distilbert-base-uncased")一条简单规则
先从小型、快速的模型开始，只有在需要更高准确率时再扩大规模。让您的实际任务决定使用哪个模型。
快速检查
当速度最重要时，您会选择哪个模型？
回顾
RoBERTa、DistilBERT，以及领域模型或多语言变体分别适合不同需求。请根据任务和预算选择匹配的模型。✅
用 AI 导师学习 Python — 免费
在浏览器中编写并运行真实代码，获得全天候 AI 导师的即时帮助，并在网页或应用中继续学习。
- 课程
- 30
- 课程
- 120
常见问题解答
「选择合适的预训练模型」课时是免费的吗？
是的 — 「选择合适的预训练模型」的完整文本可在网页上免费阅读。要进行交互式练习（内置代码编辑器和全天候 AI 导师）并解锁 NLP Academy 课程的其余内容，请升级到 CoddyKit PRO。 NLP Academy 课程共包含 4 节课。
「选择合适的预训练模型」这节课中我会学到什么？
BERT、RoBERTa、DistilBERT 等 你通过在浏览器中直接运行的动手代码来练习 NLP Academy，全天候 AI 导师会在你学习这节课的过程中回答你的问题。
学习 NLP Academy 需要有经验吗？
无需任何先前经验。CoddyKit 上的 NLP Academy 课程适合初学者到高级学习者，你可以从这里开始或从头开始，按照自己的节奏学习。 这是第 4 节课，共 4 节。
「选择合适的预训练模型」课时需要多长时间？
大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动，所以你能稳步进步，并在网页和应用中从离开的地方继续。
我能在这节 NLP Academy 课中编写并运行代码吗？
能。每节 NLP Academy 课都包含内置代码编辑器，你可以在浏览器中直接编写并运行真实代码，并获得即时 AI 反馈 — 无需本地设置。
此课程中的所有课时
- 上下文为何会改变词义
- 掩码语言模型
- 使用 BERT 嵌入句子
- 选择合适的预训练模型