今天突然发现腾讯开源混元大模型，十分震惊，腾讯也来挤开源赛道了，只能说大模型开源越来越繁华了。

这次开源的主要是MoE模型， 有Base模型和Instruct模型，总参数量389B，激活参数52B，支持最大上下文256K。

Github:https://arxiv.org/pdf/2411.02265HF:

 由于时间关系，还没仔细的阅读paper，扫了一眼指标，不知道为啥没跟Qwen2.5-72B比较，但是我单独看了几个榜单，是要好一些的。



 Base模型



 Instruct模型


 由于本人
 
  没有16张H800
 
 ，但又像测试一下腾讯新开源的Hunyuan-Large，因此
 
  在官方提供huggingface spaces上进行的测试
 
 。



 说明：理解了意图，但是输出结果不正确，没有将所有字母反过来。


 说明：结果正确。



 说明：结果错误，感觉还是tokenizer的问题，但很奇怪为啥没单独优化一下。



 说明：结果正确



 说明：熟蚝。。。。。。。



 说明：稀水。。。。。。。。



 说明：没理解，小红是女生，字母说呢，合理也不合理，反正我觉得小红是女生。



 说明：结果正确



 说明：按照我的推理是对的，但是不应该按照事实知识回答嘛。


 就是测试了一下，感觉没有其他人说的那么强。不过也是现在开源最大的MoE模型了吧。


 本文转载自​​，作者：