[GitHub-unofficial]代码本人所写,没有预训练权重,代码仅供参考
此SIamFT网络是利用光学和红外图像进行数据融合,并应用于视频跟踪领域。阅读此博文前推荐先阅读[VIF-Net:红外和可见图像融合的无监督框架]。VIF-Net就给出了一种无监督的数据融合网络,但是网络只是进行数据融合,没有应用于其他的领域。另外,普通的视频跟踪方法,并没有使用多种数据,阅读此博文前推荐先阅读[视频跟踪]中的论文解读,其中都是基于孪生网络的深度学习方法。
视频跟踪方法上,比较流行的方法是深度学习方法和相关滤波算法,前者取得了更好的性能,后者拥有更好的效率。
视频跟踪数据上,大多数视频跟踪算法是针对可见图像(RGB图像)开发的。 尽管取得了显着进步,但基于可见图像的跟踪算法可能会失败,因为在某些情况下它们可能不可靠。 例如,当照明条件差时。 相反,红外图像显示了物体的热信息,并且对这些因素不敏感。 它们可以为可见图像提供补充信息,并在黑暗等情况下显示被伪装的物体。 此外,在某些情况下,RGB图像比红外图像更可靠,因为它们具有颜色特征并可以提供更多细节,如下图所示。
通过利用可见光和红外图像中的补充信息,可以显着提高跟踪算法的鲁棒性。 因此,基于可见光和热红外图像的目标跟踪已成为研究的热点,被称为RGB红外融合跟踪。
在本文中,作者提出了一种有高效的RGB红外融合跟踪方法,该方法可以实时跟踪并可以与目前先进跟踪器相互竞争的性能。 也就是作者提出了一种基于完全卷积的孪生网络的融合跟踪方法,并将其称为SiamFT。
SiamFT的流程图如下图所示。可以说SIamFT使用了双重的孪生网络,可见光网络和红外网络。 它们分别用于处理可见图像和红外图像。backbone使用的是SiamFC网络,网络权值可能不共享,可见光部分的网络权值共享,红外部分网络权值共享,也就是下图灰色的部分。
backbone的结构在下图中给出。可以看出,除最后一个卷积层之外,每个卷积层之后都是ReLU层。 而且,仅在前两个卷积层之后使用池化层。 此外,该CNN是完全卷积的,因此对输入图像的大小没有限制要求。
在网络输入方面,与SiamFC相同,都是从中心截取。对于模板图像,在第一帧中以标记中心为中心截取 127 × 127 × 3 127×127×3 127×127×3的图像。对于搜索图像,以上一帧框中心为中心截取 255 × 255 × 3 255×255×3 255×255×3的图像,如果尺寸不够裁剪,则在裁剪后以平均像素值进行填充。
SiamFT网络在数据融合上,要经过模板特征融合和搜索特征融合。
①模板特征融合
在可见光和红外模板图像经过backbone后产生的深层特征进行相连,这里是通道相连,产生融合特征。
②搜索特征融合
在可见光和红外搜索图像经过backbone后产生的深层特征送入特征融合网络,网络的具体操作会在后面说明。
最后,生成新的模板特征和搜索特征,进行相互卷积,生成响应图,意义就是在搜索图像中模板图像的响应值。这一部分的具体内容和[SiamFC:利用全卷积孪生网络进行视频跟踪]中没有区别。
如果可见光部分backbone操作为 φ φ φ,红外部分backbone操作为 φ ′ φ′ φ′, z v z_v zv和 x v x_v xv分别为输入可见光部分的模板图像和搜索图像, z t z_t zt和 x t x_t xt分别为输入红外部分的模板图像和搜索图像,那么生成响应图可以表示为: r e s p o n s e M a p = ( φ ( z v ) ⊕ φ ′ ( z t ) ) ∗ ( φ ( x v ) ⊕ φ ′ ( x t ) ) responseMap=(φ(z_v)⊕φ′(z_t))*(φ(x_v)⊕φ′(x_t)) responseMap=(φ(zv)⊕φ′(zt))∗(φ(xv)⊕φ′(xt))其中 ∗ * ∗代表相关运算也就是卷积操作, ⊕ ⊕ ⊕代表特征融合,注意两个 ⊕ ⊕ ⊕的融合方法是不一样的但是都是特征融合。作者为了方便研究令 φ φ φ与 φ ′ φ′ φ′相同,权值共享。
下面的算法流程展示了SiamFT的过程。
算法1:基于孪生网络的融合跟踪算法(SiamFT) |
---|
1 输入可见图像和红外图像,第一帧的Groundtruth |
2 输出 每个帧中目标的预测位置和大小 |
3 初始化 |
4 裁剪可见光图像获得模板图像 z v z_v zv |
5 裁剪红外图像获得模板图像 z t z_t zt |
6 跟踪 |
7 对于 每一帧 i i i 运行 |
8 裁剪当前帧可见光图像获得搜索图像 x v x_v xv |
9 裁剪当前帧红外图像获得搜索图像 x t x_t xt |
10 将 z v z_v zv和 x v x_v xv送入可见光部分网络得到 φ ( z v ) φ(z_v) φ(zv)和 φ ( x v ) φ(x_v) φ(xv) |
11 将 z t z_t zt和 x t x_t xt送入红外部分网络得到 φ ′ ( z t ) φ′(z_t) φ′(zt)和 φ ′ ( x t ) φ′(x_t) φ′(xt) |
12 基于 z v z_v zv和 x v x_v xv计算可见光特征模态权重 |
13 基于 z t z_t zt和 x t x_t xt计算红外特征模态权重 |
14 利用特征融合网络融合 φ ( z v ) φ(z_v) φ(zv)和 φ ′ ( z t ) φ′(z_t) φ′(zt),得到融合模板特征 φ ( z v ) ⊕ φ ′ ( z t ) φ(z_v)⊕φ′(z_t) φ(zv)⊕φ′(zt) |
15 利用特征融合网络融合 φ ( x v ) φ(x_v) φ(xv)和 φ ′ ( x t ) φ′(x_t) φ′(xt),得到融合搜索特征 φ ( x v ) ⊕ φ ′ ( x t ) φ(x_v)⊕φ′(x_t) φ(xv)⊕φ′(xt) |
16 根据公式 r e s p o n s e M a p = ( φ ( z v ) ⊕ φ ′ ( z t ) ) ∗ ( φ ( x v ) ⊕ φ ′ ( x t ) ) responseMap=(φ(z_v)⊕φ′(z_t))*(φ(x_v)⊕φ′(x_t)) responseMap=(φ(zv)⊕φ′(zt))∗(φ(xv)⊕φ′(xt))计算响应图 |
17 对响应图上采样获得目标的预测位置 |
18 循环结束 |
这一部分具体介绍了特征融合的操作。下图展示了特征融合网络的结构。特征融合网络的目的是对可见光和红外的搜索特征进行融合,同时作者也利用搜索图像的特征,生成新的搜索特征。注意生成新的模板特征只是通过多通道叠加,生成新的搜索特征利用新的网络。
特征融合网络的关键是模态权重的计算,在本研究中,作者提出了一种基于从互相关计算中获得的响应值的模态权重计算方法。简单理解就是,可见光和红外特征的贡献是不一样的,可以赋上一组权重,叫做模态权重。权重的计算主要依赖与哪一种搜索特征与模板特征更相似,更相似的就更容易进行跟踪,其对应的模态权重也就越大。这也与注意力机制相似,使网络更注重与需要的特征。
如上图所示(原论文中图片错误,在作者更正论文中进行了更正,上图正确)
,上面一排是可见光图像,下面一排是红外图像,下面的折线图中,蓝色是可见光响应图的最大值,红色是红外响应图的最大值。
左边图像序列第3帧中可见光图像比红外图像更清晰,所以可见光特征的响应图最大值高于红外特征,所以需要更多利用可见光特征进行融合。
右边是由于黑暗导致可见光图像目标不清晰,在可见光质量不好的情况下,需要更多利用红外特征进行融合,所以红外特征的模态权值会更高,也就是红色的线会高于蓝色。这些也可以说明通过互相关层的响应图最大值可以作为模态权重。所以模态权重可以定义为:
weight i = { max ( R i ) , i f d < threshold max ( R i ) d , i f d ≥ threshold \text { weight }_{i}=\left\{\begin{array}{ll} \max \left(R_{i}\right), if & d<\text { threshold } \\ \frac{\max \left(R_{i}\right)}{\sqrt{d}}, i f & d \geq \text { threshold }\end{array}\right. weight i={
max(Ri),ifdmax(Ri),ifd< threshold d≥ threshold 其中 i i i代表模态,就是可见光和红外两种, R i R_i Ri代表 i i i的响应图,其中作者引入 d d d是连续两帧目标的距离,在视频跟踪中,两帧之间的距离不会过大,所以一旦超出一个阈值,会对模态权重进行限制。然后进行权重归一化:
ω v = weight v weight v + weight t ω t = weight t weight v + weight t \begin{aligned} &\omega_{v}=\frac{\text {weight}_{v}}{\text {weight}_{v}+\text {weight}_{t}}\\ &\omega_{t}=\frac{\text {weight}_{t}}{\text {weight}_{v}+\text {weight}_{t}} \end{aligned} ωv=weightv+weighttweightvωt=weightv+weighttweightt其中 ω v ω_v ωv和 ω t ω_t ωt分别是可见光特征和红外特征的归一化模态权重。
模板是从第一帧获得的,并且在跟踪过程中未更新,因此,融合后的模板为:
φ ( z v ) ⊕ φ ′ ( z t ) = c o n c a t ( φ ( z v ) , φ ′ ( z t ) ) φ(z_v)⊕φ′(z_t)=concat(φ(z_v),φ′(z_t)) φ(zv)⊕φ′(zt)=concat(φ(zv),φ′(zt))
这里只是在第一帧,将两个模板特征通道叠加,没有赋予权重。而在第二帧开始将会结合模态权重:
φ ( z v ) ⊕ φ ′ ( z t ) = c o n c a t ( ω v × φ ( z v ) , ω t × φ ′ ( z t ) ) φ(z_v)⊕φ′(z_t)=concat(ω_v×φ(z_v),ω_t×φ′(z_t)) φ(zv)⊕φ′(zt)=concat(ωv×φ(zv),ωt×φ′(zt))其中 ω v ω_v ωv和 ω t ω_t ωt分别是可见图像和红外图像的模态权重。
利用网络的输出和标记的响应图,计算损失函数:
L ( y , v ) = 1 ∣ D ∣ ∑ u ∈ D log ( 1 + exp ( − y [ u ] ⋅ v [ u ] ) ) L(y, v)=\frac{1}{|D|} \sum_{u \in D} \log (1+\exp (-y[u] \cdot v[u])) L(y,v)=∣D∣1u∈D∑log(1+exp(−y[u]⋅v[u]))
其中 y [ u ] y[u] y[u]与 v [ u ] v[u] v[u]分别表示网络的输出和Groundtruth,对响应图遍历取平均值。
训练50epoch,一个epoch50K个图像对,学习率为 1 0 − 2 − 1 0 − 5 10^{-2}-10^{-5} 10−2−10−5。
具体性能指标可以阅读[视频跟踪数据集指标分析]。其中SR类似于VOT中的Accuracy,PR类似于VOT中的Center Error。
在十九种RGB红外视频的所有比较跟踪器中,作者提出的SiamFT在SR方面均达到最佳结果,在PR方面获得次优(略差于最佳)。 特别是,在SR方面,SiamFT在7个序列上均优于所有追踪器,在PR方面,它在6个序列上均优于所有追踪器。 此外,SiamFT在SR的16个视频和PR的13个视频中均排名前三。 这清楚地证明了SiamFTin在RGB红外融合跟踪中的有效性。
SR方面如下表,表格中红色最好,绿色第二,蓝色第三。
PR方面如下表,表格中红色最好,绿色第二,蓝色第三。
下图展示了一些视频上不同跟踪器之间边界框的定性比较,这从视觉上证明了作者方法的有效性。 可以发现,在某些挑战性条件下(例如遮挡,比例尺变化,照明条件较差),建议的跟踪器更加强大。
作者提出的跟踪器的运行速度约为28-32FPS,因此可以满足实时性要求。 这比速度仅为几个FPS的方法(例如SGT(5 FPS)和LGMG(7FPS))更快,更实用,证明了所提方法的效率。
◉ RGB红外
数据集
[TNO-RGB红外图像]
[FLIR-RGB红外图像]
[Multispectral Image Recognition-RGB红外目标检测]
[Multispectral Image Recognition-RGB红外语义分割]
[INO-RGB红外视频]
[SYSU-MM01行人重识别可见光红外数据]
论文
[VIF-Net:RGB和红外图像融合的无监督框架]
[SiamFT:通过完全卷积孪生网络进行的RGB红外融合跟踪方法]
[TU-Net/TDeepLab:基于RGB和红外的地形分类]
[RTFNet:用于城市场景语义分割的RGB和红外融合网络]
[DenseFuse:红外和可见图像的融合方法]
[MAPAN:基于自适应行人对准的可见红外跨模态行人重识别网络]
◉ 多光谱高光谱
数据集
[高光谱图像数据]
论文
[Deep Attention Network:基于深层注意力网络的高光谱与多光谱图像融合]
◉ RGBSAR
数据集
[待更新]
论文
[待更新]
◉ RGB红外SAR
数据集
[待更新]
论文
[待更新]
大家有数据融合方向的优秀论文可以在评论分享一下,感谢。
文章浏览阅读1.6k次。安装配置gi、安装数据库软件、dbca建库见下:http://blog.csdn.net/kadwf123/article/details/784299611、检查集群节点及状态:[root@rac2 ~]# olsnodes -srac1 Activerac2 Activerac3 Activerac4 Active[root@rac2 ~]_12c查看crs状态
文章浏览阅读1.3w次,点赞45次,收藏99次。我个人用的是anaconda3的一个python集成环境,自带jupyter notebook,但在我打开jupyter notebook界面后,却找不到对应的虚拟环境,原来是jupyter notebook只是通用于下载anaconda时自带的环境,其他环境要想使用必须手动下载一些库:1.首先进入到自己创建的虚拟环境(pytorch是虚拟环境的名字)activate pytorch2.在该环境下下载这个库conda install ipykernelconda install nb__jupyter没有pytorch环境
文章浏览阅读5.2k次,点赞19次,收藏28次。选择scoop纯属意外,也是无奈,因为电脑用户被锁了管理员权限,所有exe安装程序都无法安装,只可以用绿色软件,最后被我发现scoop,省去了到处下载XXX绿色版的烦恼,当然scoop里需要管理员权限的软件也跟我无缘了(譬如everything)。推荐添加dorado这个bucket镜像,里面很多中文软件,但是部分国外的软件下载地址在github,可能无法下载。以上两个是官方bucket的国内镜像,所有软件建议优先从这里下载。上面可以看到很多bucket以及软件数。如果官网登陆不了可以试一下以下方式。_scoop-cn
文章浏览阅读4.5k次,点赞2次,收藏3次。首先要有一个color-picker组件 <el-color-picker v-model="headcolor"></el-color-picker>在data里面data() { return {headcolor: ’ #278add ’ //这里可以选择一个默认的颜色} }然后在你想要改变颜色的地方用v-bind绑定就好了,例如:这里的:sty..._vue el-color-picker
文章浏览阅读640次。基于芯片日益增长的问题,所以内核开发者们引入了新的方法,就是在内核中只保留函数,而数据则不包含,由用户(应用程序员)自己把数据按照规定的格式编写,并放在约定的地方,为了不占用过多的内存,还要求数据以根精简的方式编写。boot启动时,传参给内核,告诉内核设备树文件和kernel的位置,内核启动时根据地址去找到设备树文件,再利用专用的编译器去反编译dtb文件,将dtb还原成数据结构,以供驱动的函数去调用。firmware是三星的一个固件的设备信息,因为找不到固件,所以内核启动不成功。_exynos 4412 刷机
文章浏览阅读2w次,点赞24次,收藏42次。Linux系统配置jdkLinux学习教程,Linux入门教程(超详细)_linux配置jdk
文章浏览阅读3.3k次,点赞5次,收藏19次。xlabel('\delta');ylabel('AUC');具体符号的对照表参照下图:_matlab微米怎么输入
文章浏览阅读119次。顺序读写指的是按照文件中数据的顺序进行读取或写入。对于文本文件,可以使用fgets、fputs、fscanf、fprintf等函数进行顺序读写。在C语言中,对文件的操作通常涉及文件的打开、读写以及关闭。文件的打开使用fopen函数,而关闭则使用fclose函数。在C语言中,可以使用fread和fwrite函数进行二进制读写。 Biaoge 于2024-03-09 23:51发布 阅读量:7 ️文章类型:【 C语言程序设计 】在C语言中,用于打开文件的函数是____,用于关闭文件的函数是____。
文章浏览阅读3.4k次,点赞2次,收藏13次。跟随鼠标移动的粒子以grid(SOP)为partical(SOP)的资源模板,调整后连接【Geo组合+point spirit(MAT)】,在连接【feedback组合】适当调整。影响粒子动态的节点【metaball(SOP)+force(SOP)】添加mouse in(CHOP)鼠标位置到metaball的坐标,实现鼠标影响。..._touchdesigner怎么让一个模型跟着鼠标移动
文章浏览阅读178次。项目运行环境配置:Jdk1.8 + Tomcat7.0 + Mysql + HBuilderX(Webstorm也行)+ Eclispe(IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持)。项目技术:Springboot + mybatis + Maven +mysql5.7或8.0+html+css+js等等组成,B/S模式 + Maven管理等等。环境需要1.运行环境:最好是java jdk 1.8,我们在这个平台上运行的。其他版本理论上也可以。_基于java技术的停车场管理系统实现与设计
文章浏览阅读3.5k次。前言对于MediaPlayer播放器的源码分析内容相对来说比较多,会从Java-&amp;gt;Jni-&amp;gt;C/C++慢慢分析,后面会慢慢更新。另外,博客只作为自己学习记录的一种方式,对于其他的不过多的评论。MediaPlayerDemopublic class MainActivity extends AppCompatActivity implements SurfaceHolder.Cal..._android多媒体播放源码分析 时序图
文章浏览阅读2.4k次,点赞41次,收藏13次。java 数据结构与算法 ——快速排序法_快速排序法