英文原题：Progressive pseudo-label framework for unsupervised hyperspectral change detection

中文题目：渐进式伪标框架签赋能无监督高光谱变化检测

论文作者：Qiuxia Li (李秋霞), Tingkui Mu (穆廷魁)，Abudusalamu Tuniyazi (阿卜杜萨拉木·图尼亚孜)，Qiujie Yang (杨秋杰)，Haishan Dai (代海山）

通讯作者：穆廷魁，西安交通大学 物理学院 空间光学研究所；

杨秋杰，中科院上海技术物理研究所 第二研究室

引用格式：

Qiuxia Li(李秋霞), Tingkui Mu*(穆廷魁), Abudusalamu Tuniyazi(阿卜杜萨拉木 图尼亚孜), Qiujie Yang*(杨秋杰), Haishan Dai(代海山), "Progressive pseudo-label framework for unsuperised hyperspectral change detection", International Journal of Applied Earth Observation and Geoinformation 127, 103663 (2024).

论文链接：

https://www.sciencedirect.com/science/article/pii/S1569843224000177 

背景介绍

变化检测（CD）是一项通过分析双时图像获取变化信息的任务；高光谱图像（HSI）蕴含着丰富的光谱信息，可有效地表征多样的地物信息。高光谱变化检测（HSI-CD）是一项利用双时相高光谱图像获取更精细的变化信息的任务，已被广泛应用于城市扩展、土地覆盖制图、环境监测等领域。HSI-CD目的是检测出强烈变化和微弱变化（相似地物之间的变化），抑制虚假变化（由光照、季节等不同拍摄条件引起的在同一地物上的光谱差异）。近年来，随着深度学习方法的不断涌现，基于伪标签的HSI-CD方法逐渐受到关注，其无需依赖真实标签的特性使其具备广泛的应用潜力。然而，现有的基于伪标签的HSI-CD方法容易引起虚警过多或者漏检过多的情况，如图1所示。因此，提升伪标签的质量对于改善检测性能至关重要。

图1. 伪标签示意图及相应的检测结果。虚线框包含虚假变化和微弱变化。(a)按变化幅度排列的所有样本，(b)~(d)三种伪标签，(e)是由(b)或(c)引起的检测结果，(f)是由(d)引起的检测结果

方法及创新点

本文提出了一个新颖的渐进式伪标签框架，简称PPL，如图2所示。输入为双时相高光谱图像T1和T2，输出为变化图。PPL框架包括以下步骤:

1）根据预分类模块得到伪标签；

2）以迭代的形式利用贝叶斯网络所估计的不确定度更新伪标签，利用已更新的伪标签训练网络并得到最终结果；

该方法的创新之处体现在：

1）本文首次将贝叶斯网络估计的不确定度应用于HSI-CD；

2）设计了一种多尺度预分类方法，生成准确且多样的初始伪标签，为后续迭代提供了高质量的起点；

3）实验结果表明PPL框架可以捕捉强烈的和微妙的变化，同时抑制虚假的变化。

图2. 用于高光谱变化检测的PPL框架

实验数据和结果

用于验证PPL框架性能的数据集包括River数据集和Hermiston数据集，如图3，每个数据集包括双时相高光谱图像和参考变化图。有关数据集的来源和统计信息如表1。

Hermiston数据集覆盖美国俄勒冈州赫米斯顿市的灌溉农田，分别于2004年5月1日和2007年5月8日获取；土地覆盖类型包括土壤、灌溉田、河流、建筑物、农田类型和草地；几乎所有的变化都与作物、土壤或农田含水量的变化有关，由不同的灌溉水量引起。

River数据集是在中国江苏省于2013年5月3日和12月31日获取，主要变化是河流中物质的消失，可从http://rslab.ut.ac.ir  获取。

             (a)                                    (b)

图3. 实验所用的数据集：(a) River数据集，(b)Hermiston数据集。每个数据集包含双时相图像和参考变化图（黑：未变化；白：变化）

表1 数据集信息

本文提出的方法（PPL）及8种对比方法在两个数据集上的实验结果如图4所示。可见，PPL框架的结果与参考变化图最为一致，PPL能够较为完整的检测到Hermiston数据集中的微弱变化，还能抑制River数据集中的大量虚假变化。此外，量化评估结果如表2所示，PPL框架在OA（Overall Accuracy），F1，Kappa三个指标上均优于8种对比方法，这进一步凸显了PPL框架在性能方面的卓越表现。

图4. 采用不同方法所得的River数据集和Hermiston数据集的CD结果: (a) CVA，(b) SSIM，(c) ISFA，(d) IRMAD，(e) MaxtreeCD，(f) 变化强度热度图，(g) Unet，(h) SGCL，(i) SSCF，(j) PPL，(k) 地面真值图，(l) PPL框架正确检测到的三个像素的变化光谱曲线

表2. 9种HSI-CD方法所得变化检测结果的OA、F1和Kappa指标

总结

本文提出了一种用于HSI-CD的渐进式伪标签(PPL)框架，与现有基于固定伪标签的HSI-CD方法不同，PPL框架利用贝叶斯网络不断提高伪标签的质量和检测性能。PPL框架的有效性和泛化能力已在公开数据集上得到了充分验证。此外，PPL框架估计的不确定度值与预测误差吻合较好，使不确定度成为检测结果的可信度度量。如果存在真实标签信息，PPL框架可以通过将真实标签代替初始伪标签而转变为半监督学习模式。PPL框架适用于需要精确监测细微和强烈变化的场景，例如植被状态、水质、作物生长和土壤质量的监测。

相关论文发表在期刊International Journal of Applied Earth Observation and Geoinformation（中科院一区top，影响因子为7.5），西安交通大学物理学院博士生李秋霞为论文的第一作者，西安交通大学穆廷魁教授和中科院上海技术物理研究所副研究员杨秋杰为通讯作者。

论文信息：

Qiuxia Li(李秋霞), Tingkui Mu*(穆廷魁), Abudusalamu Tuniyazi(阿卜杜萨拉木 图尼亚孜), Qiujie Yang*(杨秋杰), Haishan Dai(代海山), "Progressive pseudo-label framework for unsuperised hyperspectral change detection", International Journal of Applied Earth Observation and Geoinformation 127, 103663 (2024).

https://www.sciencedirect.com/science/article/pii/S1569843224000177 

致谢

这项工作得到了国家自然科学基金、陕西省重点发展计划项目、陕西省基础科学研究项目、中央高校基本科研业务费专项资金的支持。

通讯作者信息：

穆廷魁 西安交通大学，教授，博士生导师，物理学院院长助理、空间光学研究所副所长。

2012年博士毕业于西安交通大学理学院，2014-2016在美国亚利桑那大学光学中心从事2年博士后研究工作。主要从事先进光学成像与遥感、目标智能检测与识别、大气光学探测与反演等方向的研究工作。先后主持包括国家自然科学基金在内的多项科研项目，先后荣获陕西省优秀博士论文、西安交通大学优秀博士论文、教育部学术新人奖、优秀西部科技创新成果奖等荣誉。在Advanced Photonics Nexus、Optics Express、Optics Letters、Optics and Lasers in Engineering、IEEE TGRS、JAG、IEEE JSTAR、Remote Sensing等国际高水平学术光学和遥感类期刊发表学术论文100余篇，授权发明专利20余项。中国光学工程学会计算成像专委会委员、中国宇航学会空间遥感专委会委员、中国光学工程学会高级会员、中国光学学会高级会员、陕西省光学学会理事、陕西省光学工程学会理事； Sensors期刊专题编辑；第六届高光谱技术及其应用研讨会AI处理专题主席。

杨秋杰 上海技术物理研究所，副研究员，硕士生导师

2017年博士毕业于中国科学院大学物理电子学专业。主要从事空间热辐射探测应用的甚长波红外（5-50μm）新型光电载荷关键技术研究，验证甚长波红外分光技术、甚长波室温探测技术。围绕“甚长波红外新型光电载荷关键技术攻关”，在国家自然科学基金、上海市自然科学基金等项目支持下，建立了甚长波红外波段的，发明了基于立体相位光栅的新型分光技术，研制了基于立体相位光栅的静态傅里叶光谱仪原理验证装置，验证了甚长波红外室温探测的可行性；围绕“太极计划新型光学粘接工艺关键技术攻关”，在中科院先导专项、中科院**重点实验室基金等项目支出下，建立了超低应力光学粘接过程控制工艺，正在开展高精密自动装调设备的研制。共发表学术论文13余篇，申请发明专利14项，其中已授权8项。