今天，Meta 发布了 Llama 3.1 模型，延续了他们从最初的 Llama 3 “预览版”开始就践行的开源理念，即尽早发布和频繁发布。Llama 3.1 模型有三种规模：8 B、70 B和长期传闻中的 405 B 参数。对于其规模来说，这些模型是同类中最优秀的开源模型。4050 亿参数模型直接与 Anthropic 的 Claude 3 和OpenAI的GPT-4o 处于同一水平。Llama 3.1 的营销以及Meta 的 AI 战略正在直接推动将开源软件实践转化为开源AI。这次发布的核心和 AI 的未来是 AI 能有多“开源”，以及 Meta 是否确实是掌握这一技术的公司。

这将是关于 Llama 3 和开放语言模型生态系统的多篇文章中的第一篇。鉴于 Llama 3.1 的发布几乎没有限制，本文将重点介绍人工智能未来的可能发展。开放语言模型（不一定是开源的）现在比正在准备百亿美元训练集群的封闭实验室有更多的保障相关性。开放社区现在有了一个模型，即 4050 亿参数的指令变体，这为研究和开发打开了许多大门——提炼、合成数据、微调、工具使用等等。

Llama 3.1 发布博客包含了有关该模型的所有常规细节。该模型的架构非常简单，以至于其简单性成为一个话题重点。它是一个前馈密集Transformer，拥有非常多的参数，并在精心策划的 15.6 万亿个数据标记上进行训练。与 Llama 3 和其他最近的开源模型相比，其许可证相当不错，允许创建合成数据，但附带了严格的品牌条款。

该模型展示了 Meta 在扩展其系统方面的重点，而不是像 OpenAI、Anthropic 和Google 为其华而不实的小模型（Haiku、Flash 和 Mini）所做的那样，走专家混合然后提炼的路径。Meta 在前沿模型游戏中起步较晚，但它正在迅速缩小差距。这是第一次在开放模型发布帖子中与封闭的前沿模型进行公平比较。

Llama 3.1 405B instruct（以及基础模型，但上述内容更可能是 instruct）超过了许多现有的最佳模型（以蓝色突出显示）。Meta 还展示了他们 3.1 系列中的较小模型变体如何轻松击败其他开源模型（包括近期的模型，如 Gemma 2）。

Meta 与开发人员一起为发布此版本付出了很多努力，并且在第一天就集成了许多流行工具，从 HuggingFace 到 VLLM 等。对于用户来说，重要的是量化模型的发布，例如 405B 模型的 FP8 版本，因此可以在一台由 8 个 80GB A100 或H100 组成的节点上轻松运行推理。

在这个模型中，数据依然是王者。他们没有详细说明太多，而Scale AI声称自己是后期训练的合作伙伴，此外还有大量的合成数据，这与Nemotron 的配方非常相似。

405B 模型在 API 上的定价与 GPT-4o 非常相似，范围为输入每百万Token 3-9美元，输出每百万Token 3-15美元，而 GPT-4o 的定价为输入每百万 5美元，输出每百万 15美元。不过，通过本地托管，许多机构能够大大降低成本，因为他们已经拥有现有的 GPU 配置。

该模型可以在 Meta.ai 上免费使用（并可以在 HuggingFace 上下载），但没有通过大多数模型仍未能通过的“氛围测试”（没有网络 API）。除了事实知识之外，其文本显然相当不错。有趣的是，Meta 将用户体验从其他提供商的默认设置进行了交换，将用户放在左边，助手放在右边。我想知道他们是否通过 A/B 测试测量到参与度的提升，或者只是想与众不同。

扎克伯格的开源AI愿景（与现实的对比）

随着 Llama 3.1 的发布，马克·扎克伯格撰写了一篇引人注目的文章，阐述了为什么开源AI是美国科技产业应追求的正确方向。文章集中在三个论点上：开源AI对开发者的好处，开源AI对Meta的好处，以及开源AI对世界的好处。我同意他文章的大意，特别是他对智能爆炸等“意外伤害”可能性的处理，但他在利用精心编织的故事试图过度推销 Meta AI 的角色。

扎克伯格论点的核心在于语言模型和AI将成为未来技术的新计算平台，他借用了协作开发的Unix操作系统的类比（特别是在最近 CrowdStrike 新闻的背景下）。开源AI对开发有利的原因现在基本被广泛接受——数据隐私、自己基础设施的安全性以及通过训练自己的模型来节省成本。

这篇文章最有趣的部分是关于开源AI对Meta和世界的作用。Meta的战略完全认识到AI是一种工具，而不是他们商业模式的核心，因此他们应该使这些工具变得平民化。科技公司在这方面有着悠久的历史——他们在削弱竞争对手的同时，不会损害自己的表现。当AI发展如此迅速时，它也有可能从社区为他们的模型找到的技巧中获得优势。扎克伯格正在重复一个几十年来一直适用于科技公司有效的简单策略，但可能适用于较小的资本投资规模上。这适用于 Llama 3 的规模，但尚不清楚 Llama 4 是否会再大十倍（他谨慎地不讨论这些趋势）。Llama 3 的成本可能在1亿美元左右（但实际上更多），这很便宜。而10亿美元及以上的投入开始会影响股东。

在这篇博客文章和扎克伯格为此（以及其他Llama 版本发布）所做的采访中都表明，Llama 是开源AI 的核心。操作系统等软件包可以通过许多小贡献构建，而语言模型则需要集中开发和较慢的发布周期，两者之间存在根本性的不匹配。基础模型是开源 AI 生态系统的重要组成部分，但修改它的工具和开放的训练资源同样重要——而这些Meta 并不拥有。

开源 AI 技术的真正起点是 Nvidia GPU、Nvidia 的Cuda、HuggingFace，然后是 Meta 的 Llama。Nvidia 收购HuggingFace 并训练 Nemotron 5 以拥有AI 的开源默认架构要比 Meta 代表整个技术容易得多。由于早期对 AI 的反垄断关注，Meta 和Nvidia 可能都无法在这个领域扩展，因此开源 AI 将根据当时最好的模型来发展。

Meta 只能通过训练更好的模型来锁定用户，但这是一个成本高昂且用户粘性低的过程。尽管有些人批评 HuggingFace 的代码质量，但它将继续成为transformer 风格模型的默认起点——这是一个更难打破的真正锁定。即使 Meta 不会为用户创建锁定（因为它不需要通过其变现），每个边际模型现在都在对竞争对手施加真正的压力。将竞争压力与品牌区分开是 Meta 战略中最难的部分——他们不知道哪一个更重要。

扎克伯格最后一个论点是“为什么开源对世界有好处”，他将其分为对故意伤害（例如仇恨言论、恶意行为者等）的研究和非故意伤害（例如流氓 AI、失控模型等）的研究。他认为，我们使用的开源模型对故意伤害的影响很小，因为大多数故意伤害取决于谁在部署用户端点，因此我们应该对非故意伤害进行细致入微的辩论。

我同意，目前最好的选择是公开、快速地发布现有模型，让更多科学家、监管机构和社区参与进来。我们需要在开源中拥有最先进或接近最先进的模型，以了解技术的发展，然后如果出现新兴威胁，我们可以快速应对。

在发布材料中，特别是模型卡片和论文中，Meta继续沿用 AI 领域的开源行业标准。从扎克伯格开始，Llama 3.1 被宣扬为“开源 AI”的领先战略，而 Meta 参与的机构工作组正在讨论开源 AI 的真正定义。Llama 3.1 的发布不符合任何提议的开源 AI 定义，主要在数据这一步上失败。Meta 的发布文件中提到数据是“公开可用的”，但没有给出明确定义或文档。同时，Scale AI 的 CEO 在推特上表示，Llama 3.1 是他们数据代工业务中的一个重要合作项目。

Llama 3.1 的更细微组件及其对开源生态系统的潜在支持是通过其许可证实现的。Llama 3.1 将成为大多数人的默认模型，但许可证决定了更多组织和小公司如何能够加入开源前沿模型的运动。

定制许可协议是顶级 AI 实验室发布新开源模型的决定性因素，通过 Llama 3.1，Meta 完善了其AI 的开源战略。Llama 3.1 许可证是对相当严格的，Llama 3 许可证的修改，保留了其大部分关于商业用途限制、命名限制和法律填充（责任、定义、条款等）的核心条款。Llama 3.1 许可证的主要变化是围绕输出训练（用于合成数据）和下游命名的条款。

1、用户现在可以使用 Llama 模型的输出来训练其他模型。在之前的许可版本中，用户只能训练 Llama 模型。

2、用户仍然必须将他们的下游模型命名为“Llama-{你的模型名}”，这与之前的“Llama-3-{xyz}”有些许变化。

值得注意的是，即使我们可以在输出上训练模型，但得到的结果会被纳入 Meta 的开源战略中。

Meta 尽最大努力将开源语言建模社区的所有工作吸收到其Llama 品牌中。凭借这些模型的评估分数优势，使用 Llama 3.1 Instruct 405B 进行合成数据训练将比大多数实验室使用 API 便宜得多，而从 8B 或70B 模型中进行微调将成为大多数学术界的核心基准和起点。

原始 Llama 3 许可证的条款并没有意义，因为它们在精神上试图推广 Llama 品牌，但却限制了合成数据分发的主要方法之一。

在开源 AI 的背景下，大多数发布模型的公司会遵守这些规则——名称更改不值得承担法律风险。大多数在开源 AI 模型之上构建的公司不会公开发布它们的模型，因此命名和衍生许可成为无关因素。

在某种程度上，这感觉像是法律困境中的小弟弟，类似于我们是否可以根据 OpenAI 的服务条款在其输出上进行训练的问题。社区在早期的开放微调项目中接受了训练输出的做法。许多公司这样做了，唯一面临审查的是中国公司 ByteDance。Meta 会以同样宽容的方式对待其许可证条款吗？谁会冒险去发现答案？

大多数公司会尝试遵守规定，但在线训练合成模型的个人将把这视为自由使用 Llama 3.1 输出来训练开放模型的许可。鉴于这些许可证文件的格式极其奇怪，其合法性受到质疑（例如，让用户拥有输出，然后对他们命名数据集进行限制，这有什么意义？），Llama 3 许可证的增量比当前版本的文本更有说服力。

存在许多微妙的方式来绕过命名规则，但意图很明确——Meta 希望 Llama 品牌尽可能触及开源生态系统的各个方面。在这一点上，Meta 应该进一步将其 meta.ai 界面更名为 llama.ai。

使用此模型时需要注意的其他条款包括：

1.任何衍生产物，包括模型和数据集，都必须附带Llama 3.1 许可证进行分发。

2.在发布时，拥有超过 7 亿活跃用户的公司不能使用该模型。

这项新许可证使 Llama 模型在实现 Meta 的焦土策略（scorched earth strategy）方面更进一步。至此，如果你希望避免任何许可证限制，Nemotron 340B 仍然是合成数据的最佳模型。如果 Meta 想要定义开源 AI 并成为实现这一目标的平台（无论他们是否处于正确的技术层级），那么这一许可证的做法并没有以一种让其他实体能够接受的方式来定义开源 AI。

Llama 3 许可证可能由于社区的反对而被削弱，所以我们将拭目以待未来的许可证能取得多大的进展。为了成为“真正的开源”，该模型可能需要更多关于数据的细节，并移除对允许使用类型的限制（这是开源软件历史上的一场漫长斗争）。Llama 3.1 许可证更接近于免费软件，而非开源软件。

前沿模型监管的不同未来

在 Llama 3.1 发布的同一天，五名民主党参议员致信向 Sam Altman 和 OpenAI ，要求提前了解未来基础模型的发布计划（原文来源《华盛顿邮报》）。这封信的发出，正值 Claude 3.5 Sonnet 发布之际，Anthropic 详细说明了他们在发布前与英国 AI 安全研究所进行了检查。而 Meta 虽然在内部努力缓解“关键风险”，但并未提及主权实体的参与——他们只是“遵循”已经制定的规定。在他们关于 Llama 3.1 负责任开发的公告中写道：

“我们密切关注全球各国政府在定义 AI 安全方面的努力。Meta 支持新的安全机构，并与美国国家标准与技术研究所 (NIST) 和 ML Commons 等知名机构合作，推动制定共同的定义、威胁模型和评估。我们与前沿模型论坛 (FMF) 和人工智能伙伴关系 (PAI) 等机构合作，寻求制定共同的定义和最佳实践，同时与民间社会和学术界进行互动，帮助我们制定方法。在此次发布中，我们继续在公共安全和关键基础设施领域（包括网络安全、灾难性风险和儿童安全）对我们的模型进行评估和红队测试。”

我相信扎克伯格所说的公司应该公开合作并与政府合作（引用自与 Rowan Cheung 的采访）——与许多其他大型科技公司（例如特斯拉和苹果）相比，他在支持美国价值观方面的记录更为良好。虽然许多人可能会认为他可以做得更多，特别是考虑到平台为盈利而接受政治言论的情况，但 AI 正在引发一场新的讨论，超越了单纯的内容问题。

Meta 采取这种立场将有助于平衡关于美国未来 AI 生态系统的应该是什么样子的讨论和游说努力。开源模型将使更多人有机会参与其中，深入理解这些模型的能力。

与此同时，GPT-5 即将问世，扎克伯格暗示 Llama 4 的架构即将发生变化，更不用说即将到来的多模态 Llama 3。鉴于不确定性和进展的速度，我们需要让更多的利益相关者参与到这一过程中，而不仅仅是最大公司的代表。有些人认为，OpenAI 已经感受到这次发布带来的产品压力，推出了其小型模型 GPT-4o 的新免费微调功能。

目前，我们祝贺 Meta 成为前沿模型实验室的成员，加入了 OpenAI、Anthropic 和Google 的行列，这是一项巨大的努力。但在不久的将来，他们截然不同的战略将重新点燃 2022 年和 2023 年关于 AI 应如何处理的辩论。

本文转载自​​，作者：