阿联酋-阿布扎比技术创新研究所(TII)在官网宣布,开源全新大模型Falcon 2。
Falcon 2有110亿参数共有两个版本,一个是高效、易于部署的基础模型,使用了5.5万亿tokens数据进行预训练,可以生成文本、代码、总结内容等。
另外一个是带有视觉转换功能的VLM模型,可以将图片的信息转换成文本数据,也是极少数支持视觉转换的开源大模型。
开源地址:
TII表示,在多个维权测试排行榜中显示,Falcon 2 11B的性能超越了Meta新推出的Llama 3 8B,并与Google的Gemma 7B并列第一(Falcon 2 11B:64.28 对比 Gemma 7B:64.29)。
多语言能力方面,Falcon 2 11B能轻松处理英语、法语、西班牙语、德语、葡萄牙语等多种语言的任务,增强了其多样性和跨场景的有效性。
而Falcon 2 11B VLM作为视觉大模型,能够识别和解读环境中的图像和视觉内容,在医疗保健、金融、电商、教育和法律等行业有广泛的应用潜力,包括文档管理、数字存档、情境索引以及支持视障人士等。
训练数据方面,Falcon 2 11B在其构建的开源数据集RefinedWeb,使用了超过5.5万亿的Tokens数据进行了预训练。
RefinedWeb是一个高质量、经过过滤和去重的网络数据集,TII通过精选语料对其进行了增强,并使用了四阶段的训练策略。
前三个阶段专注于增加上下文长度,从2048个tokens增加到4096个,最后增加到8192个tokens。最后一个阶段的目标是仅使用高质量数据进一步提高性能。
Falcon 2在 1024个A100 40GB GPU上训练了大约2个月的时间。
值得一提的是Falcon 2是一款性能强,消耗低的大模型仅需一个GPU即可高效运行,使其高度可扩展,易于部署并集成到笔记本电脑等轻量级设备中。非常适用于中小企业和个人开发者,并且允许进行商业化使用。
TII人工智能跨中心部门执行主任及代理首席研究员Dr. Hakim Hacid表示,随着生成式AI的技术演进,开发者认识到小型带来的诸多优势。
除了减少计算资源需求并满足可持续性标准外,这些模型还提供了增强的灵活性,能无缝融入边缘AI基础设施这一新兴大趋势中。我们开源的Falcon 2便是一款消耗低且性能强的模型,并且融合了领先的视觉解读能力。
早在2023年5月25日,TII首次开源了Falcon-40B大模型,曾在huggingface的开源大语言模型排行榜中位列第一名,击败了LLaMa 65b、GPT4-X-Alpasta-30b、StableLM、RedPajama、LLaMa 30b等一系列著名开源模型成为一匹黑马。
Falcon-40B在1万亿tokens数据集上进行训练,可用于文本问答、总结摘要、自动生成代码、语言翻译等,支持特定业务场景微调。在斯坦福大学的HELM LLM基准测试中,Falcon-40B比GPT-3、 Chinchilla AI、PaLM-62B等知名大语言模型的算力消耗低更低,性能却更出色。
原文链接:
本网站的文章部分内容可能来源于网络和网友发布,仅供大家学习与参考,如有侵权,请联系站长进行删除处理,不代表本网站立场,转载者并注明出处:https://jmbhsh.com/jiadianshuma/33036.html