科技
-
什么是知识图谱和AI多模态推理
大模型与知识图谱结合,构建企业智能知识管理平台,为解决上述难题提供了新的思路,大模型技术能够从海量数据中提取复杂信息,具备学习和推理能力,而知识图谱则通过图形结构,将知识进行有机整合,展示出实体之间的关系和语义信息,两个技术的结合,将实现更加便捷的知识管理、更加精准的智能问答、以及更加可靠的智能决策...
-
最高1410亿参数 专用于法律的两个开源大模型
法国国家高等教育计算中心、巴黎萨克雷大学的研究人员联合开源了专用于法律领域的大模型——SaulLM,SaulLM一共有540亿、1410亿两种参数,以及基础模型和指令微调两种版本,SaulLM的最大特色是使用了5亿token的专业法律数据进行了预训练,包括美国、欧洲、澳大利亚等地的法律文本,输出内容...
-
GPU 与 有什么差别 相比 NPU
作者,PureStorage编译,岳扬如今,人工智能领域的软硬件很多都是专门为人工智能及神经网络操作的优化而定制的,这其中就包括神经网络处理单元,NPU,,大家通常会将这种硬件与图形处理器,GPU,进行对比,因为两者都能加快人工智能任务的处理速度,NPU这种硬件已经越来越常见了,它们专门为高效完成A...
-
Arctic
高质量数据对于语言模型的有效预训练至关重要,然而,,高质量,的精确定义仍未得到充分探索,聚焦于代码领域,论文引入了Arctic,SnowCoder,1.3B,这是一个数据高效的基础代码模型,通过三个阶段的逐步精炼数据进行预训练,共处理了555Btoken,1,使用500B个标准质量代码token进行...
-
提升大规模并行训练效率的方法 LLM
一、结论写在前面论文来自阿里巴巴,论文标题,BoostingLarge,scaleParallelTrainingEfficiencywithC4,ACommunication,DrivenApproach论文链接,https,arxiv.org,pdf,2406.04594LLMs的出现促...
-
有效上下文 提升20倍!DeepMind发布ReadAgent框架
基于Transformer的大语言模型,LLM,具有很强的语言理解能力,但LLM一次能够读取的文本量仍然受到极大限制,除了上下文窗口较小外,LLM的性能会随着输入内容长度的增加而下降,即便输入内容未超过模型的上下文窗口长度限制也是如此,相比之下,人类却可以阅读、理解和推理很长的文本,LLM和人类在阅...
-
GLM 人工智能新高度
在当今人工智能飞速发展的时代,各种先进的大模型不断涌现,为我们的生活和工作带来了前所未有的变革,今天,让我们一同走进智谱AI推出的GLM,4,Plus大模型,深入了解它的独特魅力和强大功能,一、GLM,4,Plus简介智谱GLM团队重磅发布了新一代基座大模型——GLM,4,Plus,作为智谱全自研G...
-
我们一起聊聊基于时空特征提取的高创新预测模型
前言本文基于前期介绍的电力变压器,介绍一种基于TCN,SENet,BiGRU,GlobalAttention并行预测模型,以提高时间序列数据的预测性能,电力变压器数据集的详细介绍可以参考下文,1模型整体结构模型整体结构如下所示,分支一,通过基于通道注意力机制,SENet,的TCN模型网络,来自适应地...
-
多步预测系列
前言本文基于前期介绍的电力变压器,介绍一种基于CNN,LSTM网络的多步预测模型,1、电力变压器数据预处理与可视化1.1导入数据1.2多步预测预处理2、基于CNN,LSTM的多步预测模型2.1定义CNN,LSTM网络模型2.2设置参数,训练模型50个epoch,MSE为0.000311,CNN,LS...
-
模型 你学会了吗 增强问答文本检索的排序 RAG
引言,文本检索在信息检索系统中的重要性文本检索是信息检索系统的核心组成部分,它在搜索引擎、问答系统和推荐系统等多种应用中发挥着至关重要的作用,随着技术的发展,文本检索已经从简单的关键词匹配演变为利用复杂的算法理解和匹配文本的语义,特别是在问答系统中,文本检索技术能够从大量数据中找到与用户查询最相关的...
-
打造更聪明的智能体! Agent planning终篇
今天我们从另外一个角度对规划能力进行总结,明天开始我们会分享关于Memory相关的内容,当我们谈论LLM支撑的Agent时,规划模块,PlanningModule,是它们智能行为的核心,想象一下,如果你要完成一项复杂的任务,比如组织一场大型活动,你可能会把它分解成一系列小任务,然后逐一解决,智能体的...
-
Multi 多智能体
嘿,大家好!这里是一个专注于AI智能体的频道!今天来简单聊聊Multi,agent系统,明天会分享一个简单的多智能体系统实战~,Multi,Agent系统到底是啥,想象一下,如果有一个团队,每个成员都有自己的角色和任务,但又能互相协作,共同完成一个目标,那会是怎样的体验,Multi,Agent系统就...
-
LLM原生开发路线图指南
译者,朱先忠审校,重楼引言大型语言模型,LLM,正在迅速成为现代人工智能的基石,然而,目前还没有出现公认的最佳实践,而且先驱们往往没有明确的开发路线图,因此,这种状况急需要有人重新发明有关轮子;否则,将会使人陷入困境,在过去的两年里,我帮助一些组织利用LLM构建了创新型应用程序,通过这次经历,我开发...
-
谷歌Infini 直接扩展到无限长
谷歌又放大招了,发布下一代Transformer模型Infini,Transformer,Infini,Transformer引入了一种有效的方法,可以将基于Transformer的大型语言模型,LLM,扩展到无限长输入,而不增加内存和计算需求,使用该技术,研究者成功将一个1B的模型上下文长度提高到...
-
高效RAG上下文压缩方法COCOM 提升5.69倍
GPT,4、Llama等开闭大模型通过预训练的方式将海量数据积累成一个庞大的知识库,再通过文本问答的形式为用户生成各种内容,但这种方法仅局限于训练数据集,为了扩大输出范围允许模型通过检索额外的数据来丰富生成内容,RAG,知识检索增强,成为了必备功能之一,RAG也有一个明显的缺点,就是随着上下文信息量...