头条
-
NASA和IBM推出INDUS 高级科学研究的综合大模型
在最近的一项研究中,来自美国宇航局和IBM的一组研究人员合作开发了一种模型,该模型可应用于地球科学,天文学,物理学,天体物理学,太阳物理学,行星科学和生物学以及其他多学科学科,当前的模型,如SCIBERT、BIOBERT和SCHOLARBERT仅部分覆盖了其中的一些领域,现有的模型没有充分考虑所有这...
-
多模态大语言模型综述 8.3K Stars 重大升级
去年6月底,我们在arXiv上发布了业内首篇多模态大语言模型领域的综述,ASurveyonMultimodalLargeLanguageModels,,系统性梳理了多模态大语言模型的进展和发展方向,目前论文引用120,,开源GitHub项目获得,自论文发布以来,我们收到了很多读者非常宝贵的意见,感谢...
-
大模型微调技巧
写在前面大家好,我是刘聪NLP,大模型时代,指令微调已经成了算法工程师们必不可少的技能,而在指令微调过程中,我们往往会从数据数量和数据质量两个维度来对模型进行调优,今天给大家带来一个新的方法,MoDS,一种面向模型的指令数据选择方法,MoDS,Model,oriented>,paper,...
-
初创公司如何从零开始训练出优秀的LLMs
鉴于我们在Reka成功地培训了相当强大的多模态语言模型,许多人对从零开始建立基础设施并训练大型语言和多模态模型的经验特别感兴趣,我在社交媒体上经常抱怨外部,Google之外,的基础设施和代码,这让人们对我在荒野中错过了什么,以及我对什么讨厌,喜欢非常好奇,所以终于有了这篇文章,这篇博客文章揭示了挑战...
-
一键整理实体及其关系 基于 并制作知识图谱 Kimi
今天学会了一招比较实用的技巧,利用AI来帮我们整理实体及其关系,最后再基于整理完成信息制作知识图谱,不论是一些资料还是一段内容,都可以轻松实现,这里我们先简单讲下实体识别和关系抽取的概念,想象一下,你正在阅读一本侦探小说,在小说中,侦探需要识别出各种人物,实体,和他们之间的联系,关系,简单来说,实体...
-
效果显著提升 GMeLLo 多跳问答技术 结合知识图谱的 LLM
1.GMeLLo提出的背景1.1多跳问答多跳问答的难度往往比较大,因为不仅要追溯事实,还要聚合与串联事实,随着大型语言模型的发展,基于提示的方法搭配可选的检索模块已成为处理多跳问答的常用手段,但以往多数工作侧重于静态信息库,1.2知识编辑知识编辑目前有两种主流方案,修改模型参数和保留模型参数,1.2...
-
显著降低LLM构建知识图谱时的幻觉现象 iText2KG
1.当前知识图谱构建存在的问题知识图谱通过捕捉实体之间的关系来构建知识的结构化表示,在分析文本数据集和从结构化异构数据中推断知识方面具有显著优势,比如,知识图谱能够融合来自多个来源的不同数据,提供一个具有凝聚力的信息视角,还能为文本语料库的分析提供更高层次的可解释性,知识图谱的重要性不必多言,最近的...
-
什么是具身智能模型 它和普通大模型有什么区别
具身智能,一种把大模型应用到工业生产的技术,随着大模型技术的发展,大模型的发展方向也逐渐变得明朗,比如AIGC,AI代理等;而最近学习到了一个新的概念——具身智能,虽然并不是第一次听说这个词,但一直以为它只是大模型技术的一种实现方式,但到最近才发现具身只能和大模型是不一样的两种东西,而且,具身智能可...
-
适用于百万级单元格的TableRAG Google新研究
1.基于LLM的TableQA存在的问题利用LLM来进行表格理解任务往往会将整个表格喂给LLM,但是这种方法存在一定的局限性,•首先,受限于LLM上下文长度的限制;比如,一个包含100列和200行的中等大小表格,单元格数量超过40,000个,超出了LLaMA和GPT系列等流行LMs的处理能力,•此外...
-
什么是超参数 超参数和大模型参数有什么关系 大模型的超参数是做什么用的
超参数是指由开发者设置的参数,而不是由模型训练得到的参数,对了解过机器学习模型的人来说,应该都知道模型训练的过程就是不断调整模型参数的过程,调整方式就是通过正反向传播以及损失差的计算和优化器对参数进行调整,不懂得可以看一下文章大模型的参数什么,而超参数又是什么呢?今天就来介绍一下超参数,01、什么是...
-
耳朵没错 是声音太真了 字节豆包语音合成成果Seed
Seed,TTS是字节跳动豆包大模型团队近期发布的语音生成大模型成果,它生成的语音几乎与真人完全一样,连发音瑕疵也能生成出来,尤其在学习模仿人类说话方面,相似性和自然度均有很好表现,举例来说,将一段语音提供给Seed,TTS,它就能按文本生成全新语音,且带上原素材的声音特征,英文语音也可生成,且依然...
-
如何革新关键点检测技术 v2 更明亮 眼 科技前沿 让AI 揭秘DeDoDe
在人工智能领域,关键点检测技术一直是计算机视觉研究的重要课题,近期,来自Linköping大学、Chalmers大学、香港中文大学以及TexasA&,M大学的科研团队,成功推出了DeDoDev2——一款革新性的关键点检测器,今天,就让我们一起揭开DeDoDev2的神秘面纱,看看它是如何...
-
OpenAI上新sCM!生成速度提升50倍 Law 两步采样就出图 再创奇迹 Scaling 实时视频时代或将开启!
传统扩散模型要过时了,OpenAI找到一种新方法,直接把生成速度提高50倍!扩散模型在生成式AI领域的重要性不言而喻,把生成逼真的图像、3D模型、音频和视频变为了现实,但是,扩散模型依然有个致命bug——采样速度太慢,OpenAI研究的新方法,被称为sCM,连续时间一致性模型,sCM在仅使用两个采样...
-
他是如何使用LLM提升10倍效率的 让Google大牛告诉你
近年来,大型语言模型,LLM,在人工智能领域引起了巨大关注,有人认为它们是革命性的技术,将彻底改变我们的工作和生活方式,而另一些人则认为它们只是炒作,没有实际价值,Google技术专家NicholasCarlini在文章,HowIUseAI,中给出了他对LLM的看法,并展示它们如何帮助他提高工作效率...
-
BiGRU Informer 聊聊基于
1创新模型效果,1.1模型评估,1.2风电功率预测可视化,1.3电力负荷预测可视化,2模型创新点介绍2.1结合Informer和BiGRU,GATT的优势通过将这两种模型并行使用,可以更好地捕捉不同时间尺度上的模式,提高预测的准确性和鲁棒性,2.2并行模型架构并行使用Informer和BiGRU,G...