0Pricing
AI Agents · 课时

Llama、Mistral 与 Qwen 概览

三大开放权重模型系列：了解它们的许可证、规模以及各自擅长的领域。

Llama、Mistral 与 Qwen 概览 是 CoddyKit 上的免费 AI Agents 课时。 这是第 1 节课，共 4 节。 你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。 这是 AI Agents 学习路径的一部分，你的进度在网页和 CoddyKit 应用中同步。 AI Agents 课程共包含 4 节课。

本课时的部分内容尚未翻译，以英文显示。

为什么选择开源

开放权重模型可以带来：

  • 无需按令牌支付 API 费用
  • 数据隐私——模型在您的硬件上运行
  • 可在任意规模上进行定制（微调）
  • 不受供应商锁定

代价是：工程师工时、GPU 费用，以及通常不如前沿模型的质量。

Llama 系列（Meta）

  • 于 2023—2025 年发布，规模从 1B 到 405B
  • Llama 3.x 能力很强；8B 可与中档闭源模型竞争
  • 采用社区许可证（在满足条件时允许商业使用）
  • 生态系统庞大；大多数微调模型都源自 Llama

Mistral 系列（Mistral AI）

  • Mistral 7B Instruct——能力强的小型模型
  • Mixtral 8x7B——混合专家模型，速度快且能力强
  • Mistral Large / Medium——闭源权重，可通过 API 使用
  • 开放变体采用 Apache 2.0 许可证

Qwen 系列（Alibaba）

  • Qwen 2.5——顶尖的开放权重推理模型（2024 年）
  • 多语言支持出色，尤其擅长中文
  • 规模从 0.5B 到 72B
  • 采用 Apache 2.0 许可证

其他知名模型

  • Gemma（Google）——规模小，打磨完善
  • Phi（Microsoft）——体积极小但能力出色
  • DeepSeek——以更低成本提供强大的推理能力
  • Yi——多语言能力强

选择模型规模

规模使用场景
1-3B边缘设备、移动端、分类
7-8B单个 GPU、简单智能体
13-30B更大的 GPU 或 2-4 个小型 GPU、实际智能体
70B+多 GPU、前沿级质量

重要的基准测试

  • MMLU——通用知识
  • GSM8K——数学
  • HumanEval——代码
  • MT-Bench——对话质量
  • HELM / LMSYS Chatbot Arena——人类偏好

请选择与 YOUR 任务相匹配的基准测试。

前沿差距正在缩小

前沿闭源模型（GPT-4o、Claude Sonnet 4.5）在最困难的基准测试上仍然领先。但在大多数智能体任务中，开放的 70B 模型已经可以匹配中档闭源模型。

许可证注意事项

请检查每个模型的许可证：

  • Apache 2.0——完全宽松
  • Llama 社区许可证——对超大规模服务和某些使用场景有限制
  • 某些“仅限研究”许可证——不能用于商业部署

托管与自托管

您可以通过托管 API 使用开放模型（Together AI、Anyscale、Groq、Fireworks），无需运行基础设施——在质量相当的情况下，通常比 OpenAI 更便宜。

Hosted Open Models on Groq

from openai import OpenAI
client = OpenAI(
    base_url='https://api.groq.com/openai/v1',
    api_key=GROQ_KEY
)
response = client.chat.completions.create(
    model='llama-3.1-70b-versatile',
    messages=[{'role': 'user', 'content': 'Hello'}]
)

OSS 何时更具优势

  • 隐私至关重要：医疗、法律、国防
  • 调用量非常高：每次调用节省几分钱都很重要
  • 需要高度定制：针对特定领域进行微调
  • 多语言场景，而闭源供应商在这些语言上表现较弱

闭源模型何时更具优势

  • 前沿推理能力
  • 多模态（视觉、语音）
  • 长上下文：Claude / Gemini 仍然领先
  • 快速原型开发

最小的可用模型

对于运行在单个 GPU 上的简单内部智能体，通常应选择哪个规模范围？

回顾

Llama、Mistral 和 Qwen 是三大系列。请选择能够满足质量要求的最小规模。Groq、Together 等托管供应商可以让您免于管理基础设施。

常见问题解答

「Llama、Mistral 与 Qwen 概览」课时是免费的吗？

是的 — 「Llama、Mistral 与 Qwen 概览」的完整文本可在网页上免费阅读。要进行交互式练习（内置代码编辑器和全天候 AI 导师）并解锁 AI Agents 课程的其余内容，请升级到 CoddyKit PRO。 AI Agents 课程共包含 4 节课。

「Llama、Mistral 与 Qwen 概览」这节课中我会学到什么？

三大开放权重模型系列：了解它们的许可证、规模以及各自擅长的领域。 你通过在浏览器中直接运行的动手代码来练习 AI Agents，全天候 AI 导师会在你学习这节课的过程中回答你的问题。

学习 AI Agents 需要有经验吗？

无需任何先前经验。CoddyKit 上的 AI Agents 课程适合初学者到高级学习者，你可以从这里开始或从头开始，按照自己的节奏学习。 这是第 1 节课，共 4 节。

「Llama、Mistral 与 Qwen 概览」课时需要多长时间？

大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动，所以你能稳步进步，并在网页和应用中从离开的地方继续。

我能在这节 AI Agents 课中编写并运行代码吗？

能。每节 AI Agents 课都包含内置代码编辑器，你可以在浏览器中直接编写并运行真实代码，并获得即时 AI 反馈 — 无需本地设置。

此课程中的所有课时

  1. Llama、Mistral 与 Qwen 概览
  2. 使用 Ollama 和 llama.cpp 运行本地模型
  3. 支持函数调用的开放模型（Hermes、Functionary）
  4. 取舍：延迟、成本、能力
← 返回 AI Agents