1. 首页 > 百货 > 家电数码

Informer 超强!一区直接写!基于SSA

1模型创新点介绍

1.1 时序特征捕捉与建模

使用Informer的编码器层来捕捉长故障信号时序依赖特征

1.2 概率稀疏注意力机制(ProbSparse Self-attention)

概率稀疏自注意力是Informer模型中引入的一种稀疏自注意力机制。其核心思想是通过概率方法选择最重要的一部分注意力权重进行计算,而忽略那些对结果影响较小的权重。这种方法能够显著降低计算复杂度,同时保持较高的模型性能。

1.3 多尺度特征提取-信息蒸馏

Informer的架构图并没有像Transformer一样在Encoder的左边标注来表示N个Encoder的堆叠,而是一大一小两个梯形。横向看完单个Encoder(也就是架构图中左边的大梯形,是整个输入序列的主堆栈)。

Encoder的作用是Self-attention Distilling,由于ProbSparse自相关机制有很多都是用V的mean填充的,所以天然就存在冗余的attention sorce ,因此在相邻的Attention Block之间应用卷积与池化来对特征进行下采样,所以作者在设计Encoder时,采用蒸馏的操作不断抽取重点特征,从而得到值得重点关注的特征图。

1.4 特征增强与融合

在Informer的编码器层结合SENet进行特征增强

1.5 麻雀优化算法搜索参数

通过SSA,能够在较大的参数空间中高效地找到最优参数组合,增强模型的诊断能力和泛化性能。

参数优化的必要性

2轴承数据加载与预处理

2.1 导入数据

参考之前的文章,进行故障10分类的预处理,凯斯西储大学轴承数据10分类数据集:

train_set、val_set、test_set 均为按照7:2:1划分训练集、验证集、测试集,最后保存数据

上图是数据的读取形式以及预处理思路

2.2 数据预处理,制作数据集

3 麻雀优化算法

3.1 麻雀优化算法介绍

麻雀优化算法(Sparrow Search Algorithm,简称SSA)是一种基于自然界麻雀行为特点的优化算法,它模拟了麻雀在觅食、迁徙和社交等行为中的优化策略。该算法在解决多种优化问题方面展现出了良好的性能。

麻雀优化算法的基本思想是通过模拟麻雀的觅食行为,不断优化搜索空间中的解。算法的过程可以分为觅食行为、迁徙行为和社交行为三个阶段。

(1). 觅食行为(Foraging Behavior):麻雀在觅食时会选择距离较近且具有较高适应度的食物源。在算法中,解空间中的每个个体被看作是一个食物源,具有适应度评价值。麻雀通过选择适应度较高的个体来寻找更优的解。

(2). 迁徙行为(Migration Behavior):当麻雀在一个食物源周围搜索一段时间后,如果没有找到更优的解,它们会选择离开当前食物源,前往其他食物源继续寻找。在算法中,个体之间的位置信息会发生变化,以模拟麻雀的迁徙行为。

(3). 社交行为(Social Behavior):麻雀在觅食时会通过与其他麻雀的交流来获取更多的信息,从而提高自己的觅食效率。在算法中,个体之间通过交换信息来改善自身的解,并且更新解空间中的最优解。

3.2 基于Python的麻雀优化算法实现

3.3 麻雀优化算法-超参数寻优过程

麻雀优化算法具有简单易实现、全局寻优能力和自适应性等特点,适用于解决组合优化问题。我们通过麻雀优化算法来进行Informer-SENet模型的超参数寻优。

通过设置合适的种群规模和优化迭代次数,我们在给定的超参数范围内,搜索出最优的参数。

4基于Pytorch的SSA-Informer-SENet创新诊断模型

4.1 定义SSA-Informer-SENet分类网络模型

4.2 设置参数,训练模型

50个epoch,准确率100%,SSA-Informer-SENet网络分类效果显著,模型能够充分提取轴承故障信号的多尺度特征,收敛速度快,性能特别优越,。

4.3 模型评估

准确率、精确率、召回率、F1 Score

故障十分类混淆矩阵:

其他效果展示

(1)模型训练可视化

(2)分类标签可视化

(3)原始数据 t-SNE特征可视化

(4)模型训练后的 t-SNE特征可视化:

本文转载自​​,作者:

本网站的文章部分内容可能来源于网络和网友发布,仅供大家学习与参考,如有侵权,请联系站长进行删除处理,不代表本网站立场,转载者并注明出处:https://jmbhsh.com/jiadianshuma/33101.html

联系我们

QQ号:***

微信号:***

工作日:9:30-18:30,节假日休息