包含"RAG"标签的文章
-
大模型检索增强 技术之 RAG
RAG技术的重难点，是怎么更高效和更准确的检索数据，知识库技术作为大模型技术的一个重要应用方向，也是对大模型技术的一个重要补充；特别是在问答系统，如智能客服等领域，知识库有着非同一般的作用，从技术的角度来说，一个智能客服的好坏，除了大模型本身的质量之外，更多的是由知识库决定的，因此，知识库的作用不言...
-
而是实时企业数据管道！这家公司做到了 RAG真正的难点不是向量数据库
编辑，言征出品，技术栈，微信号，blog51cto，企业部署GenAI需要RAG，而RAG需要向量数据库，向量数据库已经成为企业部署人工智能的核心要素，但这还远远不够，企业级别的RAG要复杂得多，1.向量数据库并非真正的难点克里斯·拉蒂默，ChrisLatimer，是初创公司Vectorize的首席...
-
OpenAI在RAG技术上的最佳实践与策略
随着人工智能技术的不断演进，大型语言模型，LLM，的性能优化已成为AI领域的热点问题，OpenAI的技术专家团队分享了他们在检索增强生成，RAG，技术、提示工程和微调方面的最佳实践，为提升模型性能提供了宝贵的经验和策略，一、微调技术的最新进展JohnAllard深入介绍了OpenAI在微调领域的最新...
-
两种高效的Rerank模型实践指南 再次提升RAG性能
在高级RAG应用中，检索后处理环节至关重要，Rerank技术通过重新排序检索出的文档块，确保与用户问题更相关的信息排在前面，从而提高语言模型生成答案的质量，在这个环节中，可以做一些诸如相似度过滤、关键词过滤、chunk内容替换等处理，其中，Rerank，重排序，是一种常见的，也是在RAG应用优化中很...
-
vs 实际应用中如何选择 长文本大模型 检索生成 RAG
作者，PriyankaVergadia编译，岳扬大语言模型，LargeLanguageModels，LLMs，技术正飞速发展，尤其是模型在生成文本时能够处理的上下文信息量极速提升，尽管LLMs在文本的处理和生成等方面表现出色，但它们却面临一个固有的挑战，难以捕捉信息背景全貌，尤其是在应对冗长对话或涉...
-
还有这五种方法消除大模型幻觉 除了RAG
出品，技术栈，微信号，blog51cto，众所周知，LLM会产生幻觉——即生成不正确、误导性或无意义的信息，有意思的是，一些人，如OpenAI的CEOSamAltman，将AI的幻觉视为创造力，而另一些人则认为幻觉可能有助于做出新的科学发现，然而，在大多数情况下，提供正确回答至关重要，幻觉并不是一项...
-
RAG 和 分类处理 再优化 11 对用户输入的内容进行 Advanced
作者，FlorianJune编译，岳扬目录01Adaptive，RAG，根据问题复杂程度分类处理，Adapt，的检索增强型LLMs1.1OverallProcess1.2构建分类器，Classifier，1.3构建数据集，Dataset，1.4TrainingandInference1.5选择分类器...
-
轻松解析本地PDF表格 基于LlamaIndex和UnstructuredIO打造RAG
1使用LlamaIndex和UnstructuredIO检索数据在数据检索领域，LlamaIndex以其强大的工具和技术，为用户带来了全新的检索体验，这个框架的亮点在于索引系统的灵活性，用户可以根据文档的具体内容，量身定制索引策略，以适应不同的文档结构，每种索引都设计得独具匠心，能够精准匹配各种文档...
-
Berkeley 对不相关的RAG检索结果进行建模 RAFT UC
大家好，我是HxShine，今天推荐一篇UCBerkeley的一篇RAG效果优化的文章～大模型引入新的知识一般有两个途径，一种是RAG检索增强，一种是SFT，哪种方式效果比较好呢，或者说有没有一些其他的更为有效的方式呢，这篇论文介绍了一种新的训练方法——检索增强型微调，RAFT，RetrievalA...
-
开源工具AnythingLLM全解析及实操指南 打造智能私有知识库 RAG企业级解决方案
在数据安全和隐私保护日益受到重视的背景下，私有化部署大模型的需求日益增长，MintplexLabsInc.推出的开源项目AnythingLLM，为个人和企业提供了一种安全、高效且可定制的解决方案，该工具基于RAG，Retrieval，AugmentedGeneration，模型，允许用户将本地文档转...
-
RAG之PDF文件中多种格式数据解析实践
RAG检索增强生成由2部分构成，一是离线对异构的数据进行数据工程处理成知识，并存储在知识库中，二是基于用户的提问进行知识库的检索增强，如下图所示，其中最关键的一个环节是PDF格式的文件如何提取成知识，下面详细剖析，1、PDF文件中文本数据如何提取，能够处理文本提取的Python库有多个，其中较为知名...
-
检索后处理模块成竹在胸 RAG高级优化
通过上文的方法RAG高级优化，一文看尽query的转换之路，我们召回了一些相关片段，本文我们将介绍在将召回片段送入大模型之前的一些优化手段，它们能帮助大模型更好的理解上下文知识，给出最佳的回答，Long，textReorder根据论文LostintheMiddle，HowLanguageMo...
-
RAG文本切分LV3 轻松定制Markdown切分
分块通常旨在将具有共同上下文的文本放在一起，考虑到这一点，我们可能希望特别尊重文档本身的结构，例如，markdown文件按标题组织，在特定标题组中创建块是一种直观的想法，为了解决这一挑战，我们可以使用MarkdownHeaderTextSplitter，这将按指定的一组标题拆分markdown文件，...
-
含代码 RAG高级优化 检索策略探讨Fusion HyDE安排上
传统的检索方法通常依赖于对query进行语义理解，基于向量，或关键字匹配，BM25，，这两种方法都有其优点和缺点，融合检索、HyDE和RAG，Fusion可以创建一个更健壮和准确的检索系统，本文将介绍三种优化方法，高级RAG技术介绍FusionRetrieval融合检索是一种强大的文档搜索方法，它结...
-
从零实现大模型
传统RAGLLM预训练和微调一般都是基于公开的互联网数据，不可能包含公司内部私有数据，如果你问有关某公司的运营情况，直接基于模型参数生成的回答可能和胡说八道没什么两样，RAG，Retrieval，AugmentedGeneration，的思想就是将私有数据作为参考信息传递给LLM，这些私有数据除了作...
