1. 首页 > 百货 > 其他百货

从检索增强

“检索,一种世界性的难题”

检索技术或者说搜索技术(虽然检索与搜索有一定的区别)一直是一个世界级的难题,检索技术可以说从人类出现就已经开始了;只不过那时的检索不叫检索,叫找东西,只不过到二十一世纪之后,随着互联网技术的发展,数据检索成为了一个重要手段。

而今天我们就来谈谈检索技术。

检索

为什么标题是从RAG看检索技术?

RAG技术是在之前的文章中不只一次的介绍过,RAG是大模型技术的补充,大模型的表现在某种程度上依赖于RAG,而RAG最核心的一点就是更加高效和准确的检索。

但检索技术却不是因为RAG技术才出现的,在RAG技术出现之前,检索技术用的最多的应该就是搜索引擎了。

从功能的角度出发,互联网技术的发展特别是移动互联网时代的来临,互联网每天都会产生大量的数据,而怎么把这些数据分门别类,让需要的人快速从繁杂的数据中找到有用的东西,这是一个值得思考的问题。

而从技术的角度来说,在互联网技术出现之前,数据或者说资料的管理方式主要是以纸质文档为主,而互联网出现之后,数据主要以文件的形式存储。

但做过技术的人都知道,文件存储是一个费时又费力的东西;因此,这时一项伟大的发明出现了——那就是数据库系统。

刚开始的数据库系统是按照二维关系结构构建的关系数据库系统,到现在也在大量的使用,比如常见的mysql和oracle等。

使用数据库的好处是什么?

好处就是速度快,数据一目了然,操作简单方便。

而随着技术的发展,不但数据量越来越多,数据形式和格式也越来越复杂,特别是非结构化数据的爆发式增长;因此,非结构化数据的存储需求越来越大,而且也出现了很多非结构化数据存储中间件,比如mongodb和redis等。

而数据存储是一方面,数据的检索也是一方面;关系型数据库的好处是一目了然,存储也方便,但关系型数据库的数据检索就没有想象中的那么强大了。关系型数据库只能进行一些简单的字符匹配或模糊查询,一旦涉及到复杂查询就无能为力了。

而这时搜索中间件就出现了,比如ES——ElasticSearch,它就是嵌入了分词的功能,根据某种算法实现完整语句的拆分,使得搜索能力相比传统关系型数据库大大增强。

但同样的是,ES的搜索能力依然有限,它们只能依靠纯粹的字符匹配进行检索;比如说让你去图书馆找本书,不懂的人只能按照书名去找,而懂的人就可以找到类似的。

而且面对现实世界中复杂的各种关系,简单的字符匹配显然无法满足我们的需求;因此,一种基于语义查询的方式就出现了。

什么是语义查询?

比如说,我说帮我搜索一下孙悟空;这时传统的搜索方式只能搜索到与孙悟空三个字相关的内容;而与齐天大圣,猴哥,弼马温相关的数据就无法准确查询了。

而有了语义分析的功能之后,就知道孙悟空,齐天大圣,弼马温,大师兄等等是一个人,这时就可以把与此相关的内容全部查询出来,而这就是RAG需要干的事情。

这也是为什么说,大模型知识库的重点是不是模型,也不是知识库,而是数据的精确检索。大模型知识库的好坏,是由检索能力所决定的,而不是由大模型决定的。

这也是在昨天关于RAG技术的文章中所说的,怎么提升数据的召回质量,召回数据的质量越高,大模型的生成效果就越好。

嵌入模型的语义分析能力越强,转化的向量数据效果越好,最终检索到的数据质量也就越高。

原文链接:​ ​​ ​

本网站的文章部分内容可能来源于网络和网友发布,仅供大家学习与参考,如有侵权,请联系站长进行删除处理,不代表本网站立场,转载者并注明出处:https://jmbhsh.com/qitabaihuo/33290.html

联系我们

QQ号:***

微信号:***

工作日:9:30-18:30,节假日休息