大型语言模型，LLM，在自然语言处理任务中取得了显著的成功，但同时也面临着模型过大、计算需求过高的问题，为了解决这些问题，模型压缩技术应运而生，旨在减小模型大小、降低计算复杂度并提升运行效率，本文将对LLM压缩技术进行详细的分析，包括剪枝、知识蒸馏和量化等关键技术，并结合实际应用案例进行分析，一、剪...

  01引言在人工智能，AI，的世界里，大型语言模型已经成为解决复杂任务、提升决策过程的重要工具，但这些模型的扩展也带来了高计算成本、低可访问性和环境影响等挑战，ArceeAI直面这些挑战，推出了SuperNova，Medius——一款旨在保持大型模型高质量输出的同时，克服其局限性的小语言模型，02Su...

  01、概述在当今的数字时代，人工智能，AI，模型的应用场景越来越广泛，从客户支持聊天机器人到法律分析助手，每一种应用都需要准确的背景知识，为了让AI在特定环境中更有用，开发者通常会利用一种叫做，检索增强生成，RAG，的方法，这种方法通过从知识库中检索相关信息并将其附加到用户的提示中，从而显著提升模型...

  本文将帮助你使用低代码前端、用于会话管理的LangChain以及用于生成响应的BedrockLLM来创建聊天机器人，在不断发展的AI领域，聊天机器人已成为一种不可或缺的工具，用于增强用户参与度和简化信息传递，本文将逐步介绍构建交互式聊天机器人的具体过程，使用Streamlit作为前端、使用LangC...

  前言本文回顾一下MHA、GQA、MQA，详细解读下MHA、GQA、MQA这三种常见注意力机制的原理，图1MHA、GQA、MQA一览self，attentionself，attention在自注意力机制中，输入通常是一个统一的输入矩阵，而这个矩阵后续会通过乘以不同的权重矩阵来转换成三个不同的向量集合，...

  伴随着AI在全球的持续火热，除了大语言模型，LLM，，另一个焦点应该就是AIAgent了，从今年的3、4月开始，AIAgent就持续引发人工智能领域乃至全社会的密切关注，也被很多人认为是这轮AIGC影响人们日常生活产的关键所在，人工智能体，AIAgent，是一种能够感知环境、进行决策和执行动作的智能...

  苏喻博士，2011年7月至2022年2月就职于科大讯飞研究院，历任科大讯飞AI教育研究院副院长，AI研究院认知群教育条线负责人，学习机业务线教研总监，重点负责教育领域个性化学习业务，包括个性化学习相关模型研究，产品设计，服务研发等，其研发的多项成果已经成功应用到讯飞智学网、讯飞智能学习机等相关产品中...

  应用程序任务驱动，详细解析的评估指标本文探讨了NLP中的各种评估指标和支持框架，研究了它们在每个文本应用程序任务中的实际相关性和含义；认识到评估在塑造语言模型开发中的关键作用，不断完善方法并采用新兴的范式至关重要；了解用于应用程序类型的正确评估指标，并了解能够大规模支持它们的框架，对于开发大规模NL...

  大语言模型，LLM，已成为一种工具，从回答问题到生成任务列表，它们在许多方面简化了我们的工作，如今个人和企业已经使用LLM来帮助完成工作，代码生成和评估最近已经成为许多商业产品提供的重要功能，以帮助开发人员处理代码，LLM还可以进一步用于处理数据科学工作，尤其是模型选择和试验，本文将探讨如何将自动化...

  通过轻松地挑选和丢弃组件并连接组件来构建LLM应用程序，比如矢量存储区、web搜索、存储内容和自定义提示等组件，许多商业人士和非技术人士向我询问如何在缺乏技术知识的情况下构建AI应用程序，我总是告诉他们，市面上有许多非代码解决方案，它们易于使用，可以帮助他们为公司中的任何人构建原型并部署解决方案，我...