wordpress 音乐播放器插件,宁波seo整体优化,帝国cms使用手册,网页制作特效代码大全Multi-Modal MRI Image Synthesis via GAN With Multi-Scale Gate Mergence 基于GAN的多尺度门合并多模态MRI图像合成背景贡献实验方法生成器gate mergence (GM) strategy#xff08;门控融合策略#xff09;判别器 损失函数Thinking 基于GAN的多尺度门合并多模态MRI图像合成… Multi-Modal MRI Image Synthesis via GAN With Multi-Scale Gate Mergence 基于GAN的多尺度门合并多模态MRI图像合成背景贡献实验方法生成器gate mergence (GM) strategy门控融合策略判别器 损失函数Thinking 基于GAN的多尺度门合并多模态MRI图像合成
IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS, VOL. 26, NO. 1, JANUARY 2022
背景
多模式磁共振成像MRI在当今临床诊断和治疗中起着至关重要的作用。MRI的每种模式都有其自己的特定解剖特征这些特征作为其他模式的补充信息可以提供丰富的诊断信息。然而由于时间和成本的限制患者的一些图像序列可能会丢失或损坏这对准确诊断构成了障碍。尽管目前的多模态图像合成方法能够在一定程度上缓解这些问题但它们还远远不能有效地融合模态。
贡献
考虑到不同模态在每个尺度上的特征的特异性及其对目标模态合成的不同贡献我们的方法在每个下采样层应用融合模块通过组合来自同一尺度的特征来补充来自可用模态的更多相关信息。我们引入了一种门合并GM策略以在每个尺度上对来自不同编码器的模态特征进行融合而不是使用传统的简单和硬的融合策略。通过自学习矩阵网络可以跨位置适当地调整每个模态的权重以合并对目标合成更有用的补充信息。在公共BRATS2015数据集上进行评估后我们的MGM-GAN相对于几种多模态合成方法取得了最先进的性能。
实验
BraTs 2015 Add、Conv-cat、Cat-conv、GM的消融实验
方法
从两个源模态合成目标模态为例生成器将模态1和模态2都作为输入通过多尺度的卷积块和融合模块生成逼真的合成目标模态。之后以源输入和真实或合成目标模态作为输入组鉴别器打算将伪组与真实组区分开来
生成器
有多种模态作为输入进行处理。如前所述不同模态的固有特征信息是独特的。为了保持这种特异性有必要将每个模态逐一对应于一个独立的编码器而不是简单地将它们堆叠作为输入 gate mergence (GM) strategy门控融合策略
引入了门合并GM策略作为主要的集成机制该策略能够针对不同模态的特征学习自动权重矩阵从而增强相关信号并抑制噪声
判别器
鉴别器包含多个卷积块每个卷积块使用4×4kernel stride2。第一层生成64个特征图每个后续层的特征图数量将增加一倍。在最后一层应用S形激活来确定输入是真实图像组还是合成组。
损失函数
对抗损失、一致性损失、图像梯度差分损失GDL函数
Thinking
