1. 首页 > 头条 > 百货快讯

GLM4模型开源 意料之中的尺寸 意料之外的效果

今天智谱开了GLM-4-9B的模型,不是6B,是9B。

一共开源了四个模型,Base版本模型(GLM-4-9B)、Chat版本模型(GLM-4-9B-Chat和GLM-4-9B-Chat-1M)和多模态模型(GLM-4V-9B-Chat)。

其中,模型为多语言模型除了支持中文、英文之外,还支持日语,韩语,德语在内的26种语言;Chat系列模型支持网页浏览、代码执行、自定义工具调用(Function Call)的能力;GLM-4V-9B模型支持中英双语多轮对话能力。

Github:https://huggingface.co/collections/THUDM/glm-4-665fcf188c414b03c2f7e3b7

模型说明

GLM-4-9B模型的结构与GLM-3-6B模型结构一致,主要修改为模型层数、词表大小、支持更长的上下文。

模型的License还是免费学术研究、商业需要登记,但必须遵守相关条款和条件,与GLM3一致。

效果说明

效果一句话总结,全面领先Llama-3-8B模型,全面领先上一代ChatGLM3-6B模型。 (这让我更加期待过两天即将开源的Qwen2系列模型的效果啦,开源真的越来越好了)

下面效果来自于官方Github效果截图。

在Base和Chat模型上,GLM-4-9B均优于Llama-3-8B模型。

1M模型上进行大海捞针,效果全绿。

工具调用上,也是优于Llama-3-8B模型。

最后是GLM-4V-9B多模态模型效果,全面领先前一阵爆火的面壁MiniCPM-Llama3-V2.5多模态模型 (毕竟斯坦福都来抄)

现在这些榜单的效果虽然可以展现出来一定能力,但我还是更相信对战榜单,后面不知道lmsys上会不会有GLM-4-9B-Chat的效果,真实场景中PK一把,看看谁弱谁强。

快速调用

直接transformers走起,以GLM-4-9B-Chat模型为例。

import torchfrom transformers import AutoModelForCausalLM, AutoTokenizerdevice = "cuda"tokenizer = AutoTokenizer.from_pretrained("THUDM/glm-4-9b-chat",trust_remote_code=True)query = "你好"inputs = tokenizer.apply_chat_template([{"role": "user", "content": query}],add_generation_prompt=True,tokenize=True,return_tensors="pt",return_dict=True)inputs = inputs.to(device)model = AutoModelForCausalLM.from_pretrained("THUDM/glm-4-9b-chat",torch_dtype=torch.bfloat16,low_cpu_mem_usage=True,trust_remote_code=True).to(device).eval()gen_kwargs = {"max_length": 2500, "do_sample": True, "top_k": 5}with torch.no_grad():outputs = model.generate(**inputs, **gen_kwargs)outputs = outputs[:, inputs['input_ids'].shape[1]:]print(tokenizer.decode(outputs[0], skip_special_tokens=True))

本文转载自​​,作者:​​

本网站的文章部分内容可能来源于网络和网友发布,仅供大家学习与参考,如有侵权,请联系站长进行删除处理,不代表本网站立场,转载者并注明出处:https://jmbhsh.com/baihuokuaixun/32964.html

联系我们

QQ号:***

微信号:***

工作日:9:30-18:30,节假日休息