Meta开源了Llama3.1系列模型，最大参数规模为405B，开源也是好起来了，榜单指标直逼GPT4-o。

开源追上闭源模型不再是梦！Llama系列模型确实是开源界的头部，真金白银砸出来的就是不一样。

不过现在大家也都知道，榜单效果和真实使用效果也不是完全正比的，后面看看对lmsys战榜单，还有大家的实测效果吧！

HF:

 Llama3.1系列模型细节





 Llama3.1系列模型效果


 Llama3.1系列的8B和70B模型的效果，普遍好于Llama3系列模型。尤其是Instruct模型提升较高，特别是通用、代码、数学和工具使用四个方面，大幅提高；额外添加的合成数据，应该是关键。




 模型使用


 Llama3-405B模型整体结构没有变化，所有直接transformers走起。

import transformersimport torchmodel_id = "meta-llama/Meta-Llama-3.1-8B-Instruct"pipeline = transformers.pipeline("text-generation",model=model_id,model_kwargs={"torch_dtype": torch.bfloat16},device_map="auto",)messages = [{"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},{"role": "user", "content": "Who are you?"},]outputs = pipeline(messages,max_new_tokens=256,)print(outputs[0]["generated_text"][-1])

 当然为了加速或者节省显存，也可以vllm、ollama、llamacpp等框架来加载量化模型，这里就不详细介绍了。


 写在最后


 不过405B模型太大了，部署成本太高了，即使效果很棒，但有多少企业有资格玩一把呢？


 个人玩家就更不用说了，光模型大小就820G，别说有没有显卡，也许都没有820G磁盘空间下载都没资格，太难了！


 不过后面各大平台（阿里、百度、SiliconFlow）应该会有调用API，到时候体验效果也不费事儿。


 又有新工作可做了，应该很快会有Chinese-Llama-3.1工作出来，没资源的小伙伴，等就完事儿了。


 最后，Qwen系列是不是也要加把劲了，都给我卷起来！​


 本文转载自​​，作者：