多模态大语言模型，MLLMs，的发展迅速，成为了人工智能研究的一个关键领域，这些模型不仅能够处理文本，还能够理解并生成视觉信息，使其在许多应用中展现出卓越的潜力，尽管在某些领域取得了显著进展，但在复杂的视觉和数学推理任务上，MLLMs的表现仍有待提高，为此，来自亚马逊、微软、谷歌DeepMind联合...

  韧性，即系统在面对破坏性事件时的承受、适应和恢复能力，是一个跨学科的重要概念，在生态学中，韧性指的是生态系统在受到干扰后恢复到原始状态的能力；在工程学中，韧性涉及系统在故障或攻击后恢复功能的能力；在心理学中，韧性则描述了个体或群体在面对压力和逆境时的应对和恢复能力，经济学、社会科学、网络科学等领域也...

  自动代码生成技术近年来取得了显著进展，特别是在自然语言处理，NLP，领域，大型语言模型，LLMs，如GPT，4o和Codex展示了将自然语言翻译成可执行代码的非凡能力，然而这些单体模型在可扩展性、效率和灵活性方面仍面临重大挑战，训练和推理阶段所需的巨大计算资源限制了这些模型的普及性，同时也引发了关于...

  多智能体路径规划，MAPF，是一个在机器人、交通控制和自动化仓库等领域具有广泛应用的重要问题，MAPF的核心目标是为一组智能体找到一组无冲突的路径，使它们能够从起点移动到目标位置，传统的MAPF问题通常限制智能体只能在预定义的图上移动，这种限制在实际应用中可能不够灵活，任意角度路径规划，Any，An...

  随着大型语言模型，LLMs，的快速发展，医学领域的应用也取得了显著进展，但是大多数现有的医学语言模型主要集中在英语语言环境中，限制了其在非英语国家和地区的应用潜力，为了填补这一空白，来自上海交大和上海人工智能实验室的研究团队研发了一个开源的、多语言的医学语言模型，旨在为全球多语言用户提供高质量的医学...

  随着科技的迅猛发展和社交媒体平台的普及，多模态数据在各种下游应用中变得越来越普遍，多模态情感分析，MultimodalSentimentAnalysis，MSA，作为一种能够从语言、声学和视觉数据流中提取人类情感和观点的技术，近年来受到了广泛关注，MSA在多个领域具有重要应用，包括通过分析用户在社交...

  多智能体路径规划，MAPF，是一个在共享环境中为多个智能体规划无碰撞路径的问题，传统上MAPF问题主要在离散环境中研究，时间和空间都被离散化为固定的步长和网格，随着实际应用需求的增加，如仓库物流和自动驾驶车辆，研究逐渐转向连续环境中的路径规划，在连续环境中，时间和空间都是连续的，智能体的运动需要考虑...

  随着互联网和社交媒体平台上视频内容的爆炸性增长，视频理解技术的重要性日益凸显，视频理解不仅仅是对视频内容的简单分类或标签化，而是深入分析视频中的动作、场景、情节和语义信息，这项技术在多个领域具有广泛的应用前景，包括视频摘要、内容检索、内容审核、版权保护和智能推荐等，在信息时代，视频理解技术扮演着越来...

  大模型在处理更复杂的问题时，仍然容易在推理过程中出现错误，导致推理路径偏离，最终影响模型的整体性能，现有的大语言模型在多步推理任务中，通常会由于推理路径中某一步骤的错误而影响整个推理过程，这些错误不仅降低了模型的准确性，还增加了计算成本和执行延迟，传统的方法如强化学习需要复杂的奖励模型，而其他偏好优...

  出品，技术栈，微信号，blog51cto，众所周知，LLM会产生幻觉——即生成不正确、误导性或无意义的信息，有意思的是，一些人，如OpenAI的CEOSamAltman，将AI的幻觉视为创造力，而另一些人则认为幻觉可能有助于做出新的科学发现，然而，在大多数情况下，提供正确回答至关重要，幻觉并不是一项...

  什么是智能体AgentAutonomousagents又被称为智能体Agent，能够通过感知周围环境、进行规划以及执行动作来完成既定任务，在这些能力中，规划尤为重要，它涉及到复杂的理解、推理和决策制定，大语言模型出现以前，我们一般通过规则的方法，或者强化学习的方法来实现，但是这两种方法各有弊端，近几...

  昨天，AndrejKarpathy又发了长推，不过用了一句很有争议的话开头——，RLHF只是勉强的RL，这条推特可谓，一石激起千层浪，，瞬间点燃了LLM社区的讨论热情，毕竟RLHF作为刚提出没几年的方法，又新颖又有争议，一边遭受质疑，一边又在工业界和学界迅速流行，5G冲浪的LeCun也赶来声援Kar...

  如果使用fluid.CUDAPlace指定了全局的运行设备，飞桨将会自动把支持GPU计算的OP分配在GPU上执行，然而当模型参数量过大并且显存有限时，很可能会遇到显存超出的情况，如下面的示例代码，embedding层的参数size包含两个元素，第一个元素为vocab，size，词表大小，，第二个为e...

  在人工智能的世界里，我们经常面临一个挑战，如何让机器像人类一样，面对复杂任务时，能够生成多种可能的解决方案，并从中选择最优的计划呢，这正是，多计划选择，Multi，PlanSelection，要解决的问题，今天，咱们就来聊聊这个有趣的话题，首先，想象一下，如果我们的智能Agent面对一个复杂的问题，...

  本文将使用五篇新发表的强化学习论文中介绍的五种算法，DDPG、SAC、PPO、I2A和决策转换器，来训练模拟人形机器人互相打斗并对训练结果进行排名，简介我想起了最近的一个老电视节目，Battlebots，，并想对这个节目进行进一步的改造，因此，我将使用最新发表的五篇有关强化学习的论文中提到的技术来分...