大家好，我是刘聪NLP。

今天给大家带来一篇大模型微调相关的最新综述，主要大模型微调归纳为7个阶段分别为数据准备、模型初始化、训练环境配置、模型微调、模型评估与验证、模型部署以及模型监控与维护。

Paper:

 模型微调（Fine-Tuning）就是以预训练模型为基础，通过相对较少的特定数据集进行的进一步训练，主要是在模型预先存在的知识之上用过减少数据和计算成本来提高特定任务的效果。



 模型预训练与微调之间差距


 大模型微调的优势：


 虽然，很多任务通过提示工程或RAG技术可能完美解决，但如果你需要模型调整其行为、写作风格或融入特定领域的知识，那么微调仍然是必不可少的。



 下面从7个不同阶段来详细介绍大模型微调所要准备的工作。



 数据准备


 模型初始化


 在该阶段主要配置环境、安装依赖项、选择合适的大模型、下载对应的模型、预先在特定任务执行模型。



 在模型选择时，需要考虑选择的模型与目标任务的一致性如何、模型的可用性和兼容性、模型的架构、资源的限制等等。



 训练设置


 主要是在模型训练过程中设置优化器、损失函数、参数调节。


 微调技术


 主要有特定任务的微调、特定领域的微调、参数高效微调、半微调、偏好对齐、MoE、MOA等。



 参数高效微调




 评估和验证


 有效评估LLMs需要根据模型性能的各个方面指定一些特殊的评价指标：



 评测榜单



 安全性评测指标


 模型部署


 本地部署、云平台部署、分布式部署、模型量化等。




 模型监控


 性能监控、准确性监控、错误监控、日志分析、警报机制、反馈循环、安全监控、模型版本控制、提示词监控、输出结果监控、LLM知识更新等。