1. 首页 > 科技

牛逼 推荐一个 的开源的网站变化检测系统

现在的互联网服务已经深入社会方方面面,监控网站的变化是许多网站管理人员、信息采集人员、开发人员、运营人员,或者是普通人经常需要做的事情,比如:前段时间我就不断的关注教育局网站的"小升初"政策,目的是希望第一时间获得政策信息,便于后面为小孩填报初中志愿。又比如:我有时候会跟踪电商网站的某个商品价格,希望在它最优惠的时候购买。还比如:我们要从网站合规爬取公开信息,但是我们不希望频繁的去访问网站,也不想每次都全量获取信息,因此跟踪网站信息是否发生变化,非常有必要。

本文主要推荐的是一个开源网页变更检测系统—— Changedetection。

Changedetection在GitHub具有16.8K星,源码地址:

主要的功能特性:

使用操作举例

(1) 支持使用视觉选择器工具定位网页的特定部分

因此,很容易看到什么改变了,检查的字,行,或个别字符。

(2) 支持检测流程配置

(3) 支持惊艳的补货和价格变化通知

通过启用“单个产品页面的重新库存价格检测”选项以激活监控产品定价的最佳方式,这将提取HTML页面中的任何元数据,并为您提供许多选项来跟踪产品的定价。

之后,通过仪表板就可以轻松监控产品价格,当产品价格发生变化或再次有货时,获得警报和通知!

可以设置价格变化通知参数,价格上限和下限,价格变化百分比等。

应用场景举例

安装使用

这个项目支持使用Docker 安装。

docker compose up d

单例模式启动Docker:

docker run d restart always p  v>-volumedatastore name changedetectionio dgtlmoonchangedetectionio

也可以使用Pip安装:

pip3 install changedetectioniochangedetectionio d pathtoemptydatadir p 

然后访问,即可访问UI。

该项目使用MIT开源许可证,因此也可以基于这个项目进行扩展开发、研究、部署。

本网站的文章部分内容可能来源于网络和网友发布,仅供大家学习与参考,如有侵权,请联系站长进行删除处理,不代表本网站立场,转载者并注明出处:https://jmbhsh.com/keji/34890.html

联系我们

QQ号:***

微信号:***

工作日:9:30-18:30,节假日休息