在自然语言处理（NLP）领域的持续进步中，大型语言模型（LLMs）的领域适应模型变得越来越重要。针对特定任务优化的模型能够提供清晰、简洁和正确的信息，这是商业和最终用户都需要的用例。从医疗诊断到法律咨询，再到金融分析，LLMs 正在逐步改变我们与信息互动的方式。然而随着这些模型在特定领域的应用越来越广泛，领域适应性的挑战也随之而来。特别是在金融领域，对于精确性和可靠性的需求尤为重要。

领域适应性指的是模型在特定领域内保持或提高其性能的能力。这一过程通常涉及持续预训练（CPT），即在模型的原有知识基础上引入新领域的数据。但是这种方法可能会导致灾难性遗忘，即模型在学习新任务时遗忘了原有任务的知识。这在金融领域尤为严重，因为错误的信息可能会导致巨大的经济损失。

在这样的背景下，Llama3-70B-Instruct 模型的出现为金融领域的数据分析带来了巨大的变化。该模型专为解析和理解美国证券交易委员会（SEC）的复杂数据而设计，能够为金融专业人士提供深入的投资分析和风险管理支持。通过持续预训练和模型合并技术，Llama3-70B-Instruct 成功地在保持通用语言处理能力的同时，增强了对SEC数据的领域特定理解。感兴趣的小伙伴可通过 hugging face 使用该模型（链接地址：）。

研究团队背后的 Arcee AI是一家位于美国佛罗里达州的前沿人工智能公司。由 Shamane Siriwardhana、Mark McQuade、Thomas Gauthier 等领域专家领衔，这个团队致力于将最新的 AI 研究成果转化为实际应用，他们的工作不仅展示了 Llama3-70B-Instruct 在金融领域的潜在影响，也为其他领域的 AI 应用提供了宝贵的见解和方法论。

Llama-3-SEC-Base 模型

Llama-3-SEC-Base 模型代表了一次重要的突破，它是专门为分析美国证券交易委员会（SEC）数据而设计的领域特定聊天代理。该模型基于 Meta-Llama-3-70B-Instruct 模型构建，继承了其强大的自然语言处理能力，并通过持续预训练（CPT）的方法，融入了大量的 SEC 数据，以提升其在金融领域的专业性和准确性。

基础架构和训练数据 Llama-3-SEC-Base 的核心架构是建立在 Meta-Llama-3-70B-Instruct 的基础上，这是一个具有 70 亿参数的大型语言模型。在训练过程中，模型首先接受了 20 亿个令牌的 SEC 文件数据，这是其最终目标的 720 亿个令牌数据的一个中间检查点。此外，为了保持模型对通用语言的理解，研究团队还将 1 亿个通用数据令牌从 Together AI 的RedPajama数据集中混合进来。这种数据的混合旨在平衡领域特定知识和通用语言理解的能力。

SEC 数据分析的用例 Llama-3-SEC-Base 在 SEC 数据分析中的应用广泛，包括但不限于：

评估方法和性能指标 为了验证 Llama-3-SEC-Base 的效能，研究团队采用了一系列领域特定和通用的评估指标。领域特定的评估包括困惑度测试，以衡量模型对 SEC 数据的处理性能；以及提取式数值推理任务，使用 TAT-QA 和 ConvFinQA 数据集的子集进行测试。通用评估指标则包括 BIG-bench、AGIEval、GPT4all 和 TruthfulQA，这些指标评估了模型在广泛任务上的表现。

洞察图 1：领域特定困惑度，衡量模型在 SEC 相关数据上的性能。

洞察图 2：使用 TAT-QA 和 ConvFinQA 数据集的子集提取数值推理任务。

洞察图 3：通用评估指标，例如 BIG-bench、AGIEval、GPT4all 和 TruthfulQA，用于评估模型在各种任务上的表现。

评估结果显示，Llama-3-SEC-Base 在领域特定性能上取得了显著提升，同时在通用能力上也保持了强大的表现。这证明了持续预训练和模型合并技术在提高领域适应性方面的有效性，同时也展示了 Llama-3-SEC-Base 成为金融领域内不可或缺工具的潜力。

持续预训练（CPT）

在语言模型的领域适应预训练中，持续预训练（CPT）是一个关键的概念，它涉及将新数据集从一个新领域引入到模型中。例如，PMC-LLaMA 是一个开源的医疗特定大型语言模型，它结合了纯 CPT 和医疗特定指令调整的数据中心知识注入。ChipNeMo 探索了大型语言模型在工业芯片设计中的应用，采用领域适应性 CPT 方法进行适应。Arcee 的 CPT 工作包括使用领域特定数据集扩展基础模型的训练，如 Llama-2-base 或 Mistral7B-base，这允许我们微调模型以适应专业领域的细微差别。

持续预训练（CPT）是一种先进的技术，它允许模型在原有知识的基础上，通过引入新领域的数据来增强其在特定领域的表现。这种方法对于提升大型语言模型（LLMs）的领域适应性至关重要，尤其是在处理复杂和专业化数据的场景中。

CPT 本质上是一种增量学习过程，它使得模型能够在不丢失先前学习的知识的情况下，逐步吸收新的信息。在 Llama3-70B-Instruct 模型中，CPT 被用来专门处理 SEC 数据，这是一种高度结构化且含义丰富的金融数据。通过 CPT，Llama3-70B-Instruct 能够更好地理解和生成与 SEC 报告相关的文本，从而为金融分析师和投资者提供更深入的洞察。

在 CPT 的实施过程中，Llama3-70B-Instruct 模型被训练以处理大量的 SEC 文件数据。这些数据包括了公司的季度和年度报告、内部交易文件、代理声明等，总共涉及了 720 亿个令牌。此外，为了保持模型的通用性，研究团队还引入了来自 Together AI 的 RedPajama 数据集的 10 亿个通用数据令牌。技术上，CPT 使用了 Megatron-Core 框架，这是一个支持大规模并行处理的训练框架。训练是在 AWS SageMaker HyperPod 集群上进行的，该集群配备了高性能的 H100 GPU，确保了训练过程的高效和可扩展性。

我们的训练在 AWS SageMaker HyperPod 集群上进行，该集群由 4 个节点组成，每个节点都配备了 32 个 H100 GPU。在 CPT 层，我们混合了 700 亿个 SEC 数据令牌和 Together AI 的 RedPijama 数据的 10 亿个通用样本。我们计划在未来发布更多的检查点。当前的 LM 损失和学习率曲线分别在图 1 和图 2 中展示。

图1:LM损失 图2：学习率

CPT 对 Llama3-70B-Instruct 模型的性能产生了显著的影响。首先它显著提高了模型在 SEC 数据分析任务上的准确性和深度。模型在领域特定的困惑度测试中表现出色，显示出对 SEC 数据的深入理解。另外CPT 还增强了模型在提取式数值推理任务上的能力，这在金融领域尤为重要。然而CPT 过程中也存在着灾难性遗忘的风险，即模型可能会在学习新领域知识的同时，丢失一些原有的通用语言处理能力。为了缓解这一问题，研究团队采用了模型合并技术，将经过 CPT 的模型与原始的 Meta-Llama-3-70B-Instruct 模型结合，以保留模型的通用能力。

CPT 是实现 Llama3-70B-Instruct 模型领域适应性的关键步骤，它不仅提高了模型在特定领域的性能，也为如何平衡领域专业化和通用性提供了有价值的见解。

​模型合并技术

模型合并技术是一种创新的方法，旨在通过整合多个预训练模型的知识来增强单一模型的能力。这种技术对于解决持续预训练（CPT）过程中可能出现的灾难性遗忘问题至关重要，尤其是在领域适应性方面。

模型合并的核心原理是将不同模型的权重和特征结合起来，形成一个新的、更强大的模型。在 Llama3-70B-Instruct 的情况中，这意味着将专门针对 SEC 数据分析进行预训练的模型与通用的 Meta-Llama-3-70B-Instruct 模型相结合。这样做的目的是保留原始模型的通用语言处理能力，同时增加对 SEC 数据的专业理解。

TIES（Tensor Integration and Entanglement Synthesis）是一种流行的模型合并方法，它通过在不同模型之间共享和重新分配权重来工作。TIES 的优势在于它能够有效地保留两个模型的知识，同时减少了因为模型容量限制而可能丢失的信息。然而这种方法也有其局限性，例如在合并过程中可能会引入一些不相关的噪声，或者在某些特定任务上的性能可能不如单独的专业模型。

模型合并对于提高 Llama3-70B-Instruct 模型的领域适应性起到了关键作用。通过合并，模型不仅在 SEC 数据分析任务上表现出色，而且在通用评估指标上也保持了稳定的性能。这表明模型合并可以有效地缓解 CPT 过程中的灾难性遗忘问题，使模型能够在学习新领域知识的同时保留原有的通用语言处理能力。

模型合并技术为 Llama3-70B-Instruct 模型的领域适应性提供了一种有效的解决方案。它不仅增强了模型在特定领域的性能，还确保了模型在广泛的任务上保持了高水平的通用性。这一技术的成功应用为未来在其他领域内实施类似技术提供了宝贵的经验和启示。

​评估和结果

对于大型语言模型（LLMs）的评估是一个复杂且多维的过程，尤其是当模型被设计来处理特定领域的数据时。Llama3-70B-Instruct 模型的评估涵盖了领域特定和通用基准，以确保其在各个方面的性能都符合高标准。

为了确保我们模型的稳健性，我们在领域特定和通用基准上进行了彻底的评估。领域特定评估对于评估模型在其目标领域内的性能至关重要。然而，通用评估同样重要，以确保模型没有遗忘其原始能力。在每次评估中，我们比较了以下模型：

1.Llama-70B-Instruct：Meta 发布的原始指导模型。

2.Llama-70B-CPT：持续预训练后的 Llama-70B-Instruct 模型，检查点在处理 200 亿个令牌后保存。

3.Llama-70B-CPT-Merge：使用 TIES 方法将 Llama-70B-CPT 模型与原始 Llama-70B-Instruct 模型合并。

领域特定困惑度对于评估模型在其目标领域内的性能至关重要，确保有效适应领域数据。跟踪困惑度的变化有助于评估持续预训练和领域特定改进的影响。

CPT 降低了与 SEC 数据相关的困惑度，表明模型对这一特定领域的理解和适应性有所提高。将 CPT 模型与 Llama3-Instruct 版本合并后，困惑度略有增加，可能是由于重新引入了一些丢失的聊天能力。尽管合并后困惑度略有增加，但最终模型的困惑度仍低于原始模型，表明有效的领域适应同时保留了聊天能力。这表明模型合并并没有损害在持续预训练过程中获得的注入领域知识。

对于领域特定评估，我们测试了模型在提取式数值推理任务上的性能，即 TAT-QA 和 ConvFinQA 的子集，这些任务虽然与 SEC 数据不完全相关，但仍然与评估领域特定性能相关。

对于 ConvFinQA，CPT 后性能明显提高，并在与指导模型合并后进一步提高。对于 TAT-QA，只有在合并后才观察到显著改进，这可能是由于它在混合表格和文本内容方面的专业化，而这在 SEC 数据中的表示较少。对于财务分类任务，模型将文本分类为前提或声明，CPT 后我们看到了非常显著的准确性改进，接近完美分数，并表明模型有效地从 SEC 数据的无监督训练中学习新任务。合并后准确性有所下降，但仍然远高于指导基线。

Llama3-70B-Instruct 模型在领域特定的评估中表现出色，特别是在处理 SEC 数据分析任务时。模型在困惑度测试中得分低，表明其对金融数据的理解深入。在提取式数值推理任务上，模型同样展现了强大的性能，这些任务包括 TAT-QA 和 ConvFinQA 数据集的子集，它们虽然不完全相关于 SEC 数据，但对评估模型在金融领域的表现至关重要。

在通用基准上，Llama3-70B-Instruct 经过 CPT 和模型合并后，仍然保持了良好的性能。尽管在某些通用评估指标上出现了轻微的性能下降，但这主要是由于模型在学习新领域知识时，必须在保留原有知识和适应新知识之间找到平衡。

CPT 显著提高了模型在 SEC 数据分析方面的专业性，但也带来了灾难性遗忘的风险。通过模型合并技术，特别是 TIES 方法，研究团队成功地将 CPT 模型与原始 Meta-Llama-3-70B-Instruct 模型结合，这不仅缓解了灾难性遗忘的问题，还增强了模型在特定领域的性能。

洞察图 6：在所有通用数据集上，CPT 与大量 SEC 领域特定令牌（20B）一起使用，降低了困惑度，表明预测能力得到了提高。

即使在经过广泛的领域特定训练之后，模型仍然保持对通用领域的熟悉性，这一点从图表中显示的通用文本的稳定困惑度指标中可以看出。这表明 CPT 并没有降低模型的通用知识，尽管它可能会减少某些能力。正如洞察图 1 所示，我们建议未来的工作可以通过更好的SFT适应来帮助恢复模型的指令跟随能力，利用保留的知识。

Llama3-70B-Instruct 在多个任务上的表现证明了其作为一个领域特定 AI 聊天代理的有效性。然而仍有改进空间，特别是在提高模型对 SEC 数据的理解深度和广度方面。未来的工作可以集中在优化 CPT 过程，以及探索更先进的模型合并技术，以进一步提高模型的领域适应性和减少对通用性能的影响。

总体而言，Llama3-70B-Instruct 模型的综合评估结果令人鼓舞，它不仅在领域特定任务上表现出色，而且在通用任务上也保持了可靠的性能。这些成果为未来在其他领域内实施类似技术提供了宝贵的经验和启示，展示了 AI 在领域适应性方面的巨大潜力和应用前景。

讨论

在深入探索 Llama3-70B-Instruct 模型的领域适应性和持续预训练（CPT）的挑战时，我们必须认识到，虽然 CPT 在提高模型对特定领域数据的理解方面取得了显著成果，但它也带来了灾难性遗忘的风险。这种遗忘现象可能导致模型在吸收新知识的同时丧失原有的通用语言处理能力。因此，如何在增强模型的领域专业性与保持其通用性之间找到平衡，成为了一个关键的研究课题。

模型合并技术，尤其是 TIES 方法，为这一挑战提供了一个有效的解决方案。通过将经过 CPT 的模型与原始的 Meta-Llama-3-70B-Instruct 模型结合，不仅保留了模型的通用能力，还增强了其在 SEC 数据分析领域的专业性。这种方法的成功应用表明，模型合并可以作为一种强大的工具，用于在不牺牲通用性的前提下提升模型的领域适应性。

未来的工作方向应该集中在进一步优化对齐方法和数据处理层。对齐方法，如监督式微调（SFT）、直接偏好优化（DPO）和人类反馈的强化学习（RLHF），可以帮助模型更准确地理解和执行特定领域的任务。同时，改进数据处理层，特别是在数据过滤和选择方面的方法，将有助于模型更有效地处理大规模的领域特定数据集，同时减少灾难性遗忘的风险。

Llama3-70B-Instruct 模型的领域适应性和持续预训练的挑战突显了在 AI 领域中不断追求平衡的重要性。模型合并技术的成功实践为未来的研究提供了宝贵的经验，而对齐方法和数据处理层的持续改进将进一步推动领域特定 AI 聊天代理的发展。（END）

参考资料

1.

2.

本文转载自​​，作者：