本文将依次回顾红外与可见光图像融合传统方法和基于深度学习的方法，并对前沿深度学习方法做重点论述。同时，对图像融合领域的性能评价办法来进行系统分类和介绍；最后，对全文进行了总结以及对IVIF方法的展望。

  IVIF传统方法的融合框架最重要的包含三个关键部分：图像配准与变换、特征提取与选择和融合规则设计。

  IVIF传统方法中，基于多尺度变换是最受喜爱的方法之一。它的主要步骤包括三个阶段：第一阶段，将源图像分解成一系列的多尺度表示；第二阶段，根据手工设计的融合规则融合多尺度变换；最后，利用多尺度逆变换得到融合图像。经典的多尺度变换方法有金字塔变换、小波变换、多尺度几何分析和边缘保持滤波器。

  与带前缀基函数的多尺度变换IVIF方法不同，基于稀疏表示（SR）的方法通过学习过完备字典，可以有明显效果地地表示和提取图像信息。然而，配准误差或噪声可能会对融合后的多尺度表示系数造成偏差，造成视觉伪影。SR利用滑动窗口技术将图像分成多个重叠的块，将其矢量化以减少伪影并提高对配准不良的鲁棒性。

  基于SR的IVIF方法有三个关键步骤：构建过完备字典、稀疏编码和融合策略。过完备字典的质量决定了稀疏编码的信号表示能力，可以将基于SR的方法按照构建过完备字典分为两类：固定基和基于学习的方法。用固定基构建过完备字典简单且计算效率高，而基于学习方法构建的过完备字典更灵活有效。

  基于子空间的方法，是传统方法中很常用的一种方法。这种方法通过将高维输入图像投影到低维空间或子空间中，捕获源图像的内部结构。典型的基于子空间的方法有主成分分析、独立成分分析和非负矩阵分解。

  基于显著性的IVIF办法能够保持显著目标区域的完整性，减少噪声、模糊和其他干扰，来提升融合图像的视觉质量和清晰度。权重计算和提取显著对象是红外与可见光融合中两种常见的显著性方法。

  由于神经网络在数据驱动模式下具有较强的非线性拟合能力，为了进一步提升图像融合质量,研究者们提出了一系列基于AE的融合方法，融合框架如图1所示。该类方法一般由两个步骤组成：首先，使用大型数据集预训练自动编码器，其中编码器用于特征提取，解码器用于图像重建。然后，大多结合手工设计的融合策略将编码特征进行融合以实现最终的图像融合。

  基于AE的方法都采用了手动设计的融合策略，尽管取得了不错的融合效果，但融合结果可能并不理想。解决手工设计融合策略问题是改进基于AE方法的一个研究方向。

  CNN是一种典型的神经网络模型，具有很强的特征提取能力。基于CNN的IVIF方法（如图2）通常依靠神经网络强大的拟合能力，在精心设计的损失函数或真值标签下实现有效信息的提取和重构。

  随着生成对抗网络（GAN）的出现，由于其能够生成信息丰富、视觉效果良好的图像，因此在图像IVIF领域得到了广泛应用。基于GAN的图像融合网络（如图3）主要由生成器和判别器组成，通过利用判别器对生成器生成的融合图像与判别依据进行判别，其中判别依据可以是源图像，也可以是其他方法生成的融合图像。如果判别为假，通过不断调整生成器的参数重新生成融合图像，直到判别器判别为真，通过上述对抗过程最终生成更高质量的融合图像。

  现有的基于深度学习的方法一般会用卷积操作进行特征提取，捕获图像局部特征；但容易忽略图像中存在的远距离依赖关系，训练过程中会损失一定的全局信息。近年来，一些最新的图像融合研究工作发现，Transformer在处理序列数据和建模远距离依赖关系方面表现出色，研究人员提出了很多基于Transformer的IVIF方法，融合框架如图4所示。

  IVIF技术已大范围的应用于目标识别、视频监控和医疗卫生等领域。然而，不同融合方法得到的融合图像具有不一样特点，而融合图像的质量特别大程度上影响着实际应用中的性能。因此，研究人员提出了许多方法来评估融合图像的质量，这一些方法可以分为主观评价方法和客观评价方法。

  主观评价方法是最直接的评价方法，可以反映人类对多种因素（如清晰度、对比度、颜色自然度等）的主观感知，从而更真实地评估图像融合结果对视觉的影响，更接近实际应用中人们的实际感受。然而，受主观性和主观偏见等因素的影响，为了更准确地评估图像融合算法，通常会将主观评价与客观评价方法相结合，以获得更全面、可靠的评价结果。

  客观评价方法旨在量化评估融合图像与源图像之间的差异，以判断融合算法的性能和效果。这一些方法利用各种指标和技术来测量融合后图像的质量、信息保留程度、对比度、颜色平衡等方面的特征。

  综上所述，红外与可见光图像融合的客观评价指标主要从融合图像的信息量、特征、结构、视觉效果和相关系数等方面做评价。其中，信息论类指标主要关注图像信息的增益，特征类指标反映图像的亮度、对比度等特征，结构相似性类指标注重衡量图像结构的相似性，视觉感知类指标强调图像视觉信息的保留量，而相关性类指标主要考虑图像之间的相关性。因此，在实际应用中能够准确的通过任务需求选择适当的指标类别，或者根据详细情况考虑不同类别的指标来评价融合结果的性能。

  本文对三大工程类在线年相关论文发表情况做了分析，并单独对各类基于深度学习的IVIF算法文献发表数量统计分析，研究发展的新趋势，为IVIF的新技术探讨研究提供参考。同时，在此基础上回顾了IVIF技术的研究现状，介绍了传统方法，并详细比较了基于深度学习的方法。此外，还对五大类IVIF图像融合性能评价办法来进行了比较分析。

  目前红外与可见光图像融合技术已许多成果，但是仍有还存在许多问题亟待研究者们去解决。在未来一段时间内，改进红外与可见光图像融合方法将包括以下几个方面：

  （1）图像配准方法的研究。现有融合算法大多都是基于已配准的源图像。然而，在实际应用中，不一样传感器很难捕获空间严格对齐的图像，空间信息的不匹配将极大影响融合图像的质量。因此，精确的配准算法的研究就显得很重要。

  （2）融合图像色彩保真度问题。现有IVIF方法大多只关注于融合可见光图像的梯度信息和红外图像的强度信息，很少注意到保留可见光图像中颜色信息的重要性。但是从Yue等人研究中可以清楚地发现具备高色彩保真度的图像更适合人类的视觉感知。因此，在保留强度信息和梯度信息的同时，保留可见光图像的色彩保真度是未来提升融合图像质量的一个重要研究方向。

  （3）提升图像融合的效率。近年来研究者基于深度学习的方法，提出了更大更深的模型来提升图像融合的性能，但同时影响了图像的融合效率。未来IVIF方法的高效性也是研究者的重点关注方向之一。

  （4）创新基于Transformer的方法。目前，已经涌现了很多基于Transformer的IVIF方法，但是，将Transformer应用到IVIF任务中还处于起步状态，未来将会浮现出更多基于Transformer的IVIF方法，Transformer解决全局依赖关系的能力会被更多、更好的挖掘。

  （5）结合高级视觉任务。现有的大部分IVIF 方法都能够很好的加强红外与可见光融合的图像视觉质量，获得不错的定量指标。但是，目前方法中针对下游应用任务的要求考虑较少，不能很好的满足下游应用的具体需求。所以，在保持良好图像融合效果的情况下，又能符合具体视觉任务需求将是今后研究的一个重要课题之一。

  （6）完善的性能评价方法。红外与可见光图像融合由于没真值标签，如何准确评估融合算法的性能没有统一完善的标准。不同的研究需求和应用领域可能会选不一样的评价指标，这使得比较不同方法的结果变得有挑战性。所以，要进一步建立一种更为通用、公平和能被广泛接受的图像融合评价标准。

  文章出处：【微信号：MEMSensor，微信公众号：MEMS】欢迎添加关注！文章转载请注明出处。

  据麦姆斯咨询报道，近期，印度科学理工学院（IISc）的研究人员制造了一种可将短波

  频率范围的装置。 光的上转换具有多种应用，尤其是在国防和光通信领域。首先，印度科学

  近日，印度科学研究所（IISc）的研究人员取得重大突破，成功制造出一种能够将

  的新型设备。►►►科普光转换技术：是一种将光从一种波长转换为另一种波长的技术。波长决定了光的颜色和性质

  通信未来 /

  据麦姆斯咨询报道，韩国标准与科学研究院（KRISS）开发出一种新型量子传感技术，能利用量子纠缠现象，通过

  区域的扰动 /

  通信的范围是可控的，且不容易被窃听或截取，因此应用于室内私人物联网通信、及涉密部门信息传输中具有非常好的通信安全性。

  输电线路视频监测装置前端主要由摄像机、控制主机、太阳能板等组成，安装在输电线路杆塔上，安装的地方视详细情况而定。摄像机采用AI云台40倍变焦镜头+热成像镜头，可实时采集线路

  通信（Visible Light Communication, VLC），

  通信系统组成工作原理 /

  波段的吸光度。它大范围的应用于化学、生物、医药等领域的科研和实验室工作中。本文将详细的介绍紫外

  模块应用在各种各样的环境和条件下都能提供出色的性能和精确的频率输出。让QMEMS振荡器YSO690PR成为交换机、对讲机、充电桩、打印机等行业的理想选择！

  模块性能：低抖动石英可编程晶振QMEMS振荡器YSO690PR /

  通信系统 /

  InGaN（氮化铟镓）激光二极管作为一种先进的半导体发光器件，已慢慢的变成为激光技术领域的研究热点。

  光的发光器件，它由多种材料构成，包括材料硅、砷化铝镓、砷化铝等，大多数都用在通信、安全、遥控等领域。那么，

  与激光工程》联合河北工业大学共同出版“河北工业大学校庆专刊“，特邀请齐瑶瑶副教授撰写“

  波段涡旋光的产生技术分析和展望 /

  通信技术的无线通信形式，它利用LED灯泡发出的变化频率的光信号进行数据传输。Li-Fi相比传统的无线通信技术（如Wi-Fi）具有一些独特的优点和一些缺点。

  波段的超连续谱光源在光电对抗、光学相干层析成像和高光谱激光雷达等方面具有广泛的应用前景。

  波段超连续谱光源研究进展 /

  瑞萨RX MCU功能安全解决方案简介（3）Self-Test自检软件包

  【GD32F303红枫派开发板使用手册】第三十讲 CAN -CAN通信实验

  【飞凌嵌入式OK527N-C开发板体验】切换显示到hdmi以及sdk编译

  在AvaotaA1全志T527开发板上使用AvaotaOS 部署 LNMP 服务