探索更高效的模型架构，MoE是最具代表性的方向之一，MoE架构的主要优势是利用稀疏激活的性质，将大模型拆解成若干功能模块，每次计算仅激活其中一小部分，而保持其余模块不被使用，从而大大降低了模型的计算与学习成本，能够在同等计算量的情况下产生性能优势，然而，此前像MoE等利用稀疏激活性质的研究工作，都认...

  今天给大家介绍一篇普林斯顿大学提出的时间序列大模型工作，是首个基于MoE的百万级别参数时间序列大模型，将时序大模型参数量扩展到2.4billion的水平，在多个数据集上取得了显著优于其他时间序列大模型的效果，论文标题，TIME，MOE，BILLION，SCALETIMESERIESFOUNDATIO...

  Mixtral8x7B的推出，使我们开始更多地关注基于MoE的大模型架构，那么，什么是MoE呢，1.MoE溯源MoE的概念起源于1991年的论文AdaptiveMixtureofLocalExperts，https，www.cs.toronto.edu，~hinton，absps，jjnh91.pd...