包含"MoRA"标签的文章
-
优雅谈大模型 一文读懂LoRA
Microsoft于2021年推出的LoRA是一种经济型微调模型参数的方法,现在大模型的参数规模动不动都在10亿级别以上,微调大模型,微调这里代表着SFT,例如读者将某个大模型拿到自身领域,想使用自身领域的知识再次训练和精校大模型,就属于模型微调的领域,的全面微调模式下,需要调整所有的参数,因此所需...
共1页 1条
Microsoft于2021年推出的LoRA是一种经济型微调模型参数的方法,现在大模型的参数规模动不动都在10亿级别以上,微调大模型,微调这里代表着SFT,例如读者将某个大模型拿到自身领域,想使用自身领域的知识再次训练和精校大模型,就属于模型微调的领域,的全面微调模式下,需要调整所有的参数,因此所需...
QQ号:***
微信号:***
工作日:9:30-18:30,节假日休息