探索更高效的模型架构，MoE是最具代表性的方向之一，MoE架构的主要优势是利用稀疏激活的性质，将大模型拆解成若干功能模块，每次计算仅激活其中一小部分，而保持其余模块不被使用，从而大大降低了模型的计算与学习成本，能够在同等计算量的情况下产生性能优势，然而，此前像MoE等利用稀疏激活性质的研究工作，都认...