Welcome to Journal of Beijing University of Chemical Technology, Today is
Email Alert　 RSS

Journal of Beijing University of Chemical Technology >

2025 , Vol. 52 >Issue 4: 85 - 95

DOI: https://doi.org/10.13543/j.bhxbzr.2025.04.010

Mechanical Engineering and Informatics

Elastic ultrasound image segmentation of thyroid nodules based on transfer learning

  • DongMei YANG 1 ,
  • JianLin WANG , 1 ,
  • ChiFan YAN 1 ,
  • EnGuang SUI 1 ,
  • JiaJia TANG 2, 3 ,
  • JiaoJiao MA 3 ,
  • Bo ZHANG 2, 3, 4
Expand
  • 1. College of Information Science and Technology，Beijing University of Chemical Technology，Beijing 100029
  • 2. Chinese Academy of Medical;Sciences & Peking Union Medical College，Beijing 100730
  • 3. Department of Ultrasound，China⁃Japan Friendship Hospital，Beijing 100029
  • 4. National Center for Respiratory Medicine； Clinical Research Center for Respiratory Diseases； Institute of Respiratory Medicine，Chinese Academy of Medical Sciences； Center of Respiratory Medicine，China⁃Japan Friendship Hospital，Beijing 100029，China

Received date: 2024-04-26

  Online published: 2025-07-30

Fold

Abstract

Thyroid nodule elastography ultrasound images contain information about nodule stiffness and morphology. Accurate segmentation of these images can significantly enhance the accuracy of thyroid nodule diagnosis. While deep learning⁃based thyroid nodule ultrasound image segmentation has shown promising results， its accuracy in elastography image segmentation remains limited due to the small dataset sizes. To address the low segmentation accuracy of thyroid nodule elastography images， we propose a transfer learning⁃based method that leverages shared features between grayscale ultrasound and elastography images. We first introduce a large-kernel attention mechanism to develop a multi⁃scale feature extraction network， capturing both local structural details and long-range dependencies in thyroid nodules. U⁃Net is then employed as the backbone network to build the grayscale ultrasound segmentation model. On this basis， we use the conditional generative adversarial network （CGAN） to align the feature distributions of grayscale ultrasound images （the source domain） and elastography ultrasound images （the target domain）. A weight-sharing strategy is applied to transfer the feature extraction parameters， establishing a segmentation model for elastography ultrasound images. Experimental results show that the proposed segmentation method affords Dice coefficient， intersection over union （IOU）， Recall， and Precision values of 77.09%， 65.20%， 78.19%， and 81.05%， respectively.

Key words： thyroid nodule segmentation; elastic ultrasound image; transfer learning; multi-scale attention

Cite this article

DongMei YANG , JianLin WANG , ChiFan YAN , EnGuang SUI , JiaJia TANG , JiaoJiao MA , Bo ZHANG . Elastic ultrasound image segmentation of thyroid nodules based on transfer learning[J]. Journal of Beijing University of Chemical Technology, 2025 , 52(4) : 85 -95 . DOI: 10.13543/j.bhxbzr.2025.04.010

引　言

甲状腺结节是常见的内分泌疾病，结节的准确诊断对于鉴别良恶性、制定治疗方案至关重要。超声影像利用超声波进行检查和成像，具有无创性、无放射性损伤及操作简便等优点，在临床医学中是甲状腺结节的首选治疗手段。甲状腺超声影像可以显示甲状腺的大小、形态、结构和血流情况等信息，临床上常用常规灰阶超声、弹性超声等多种模态超声对甲状腺进行检查［1］。与常规灰阶超声相比，弹性超声影像能够量化组织硬度，有助于医生更精准地判断病变组织的性质与状态［2］。而实现甲状腺结节弹性超声的分割，获得结节边缘和位置信息，是提高甲状腺结节良恶性诊断准确性的有效途径。
现有的甲状腺结节超声影像分割方法可分为基于区域、基于轮廓和基于深度学习的方法。基于区域和轮廓的甲状腺结节分割方法分别利用区域间灰度统计特性［3］、设定初始轮廓和先验形状信息［4-5］获取最小化能量函数，来实现甲状腺结节超声影像的分割。然而上述方法需要通过人工设计特征，建模困难且分割精度不高。基于深度学习的方法通过深度神经网络捕获甲状腺结节超声影像高级语义关系和上下文信息，具有较高的分割精度。Ma等［6］首次将卷积神经网络（convolutional neural network，CNN）应用于甲状腺结节超声影像分割，但分割过程存在计算复杂度高、输入影像尺寸受限等问题。Long等［7］提出基于全卷积神经网络的甲状腺结节超声影像分割方法，但分割过程存在位置信息丢失问题，导致分割准确度下降。Ronneberger等［8］提出基于U⁃Net的甲状腺结节分割网络，采用编码器和解码器结构以及跳跃连接，减少了分割过程中的信息丢失问题。近年来也出现了用于甲状腺超声影像分割的U⁃Net变体，如Unet++［9］、Attention U‑net［10］、ASPP⁃UNet［11］、CMU⁃Net［12］、TransUnet［13］等。然而，这些方法忽略了甲状腺结节超声影像的长距离依赖关系，使得特征提取不够充分，影响了甲状腺结节的分割精度。
大核注意力（large⁃kernel attention， LKA）通过引入具有较大感受野的注意力核，使模型能够捕获图像中更广泛的上下文信息，从而提高分割精度。Azad等［14］提出一种名为D-LKA Attention的可变形大卷积核注意力机制，用于处理医学图像分割中计算需求高和跨层信息丢失的问题。然而，受弹性超声样本标注成本高、算法数据需求量大等限制，该方法难以直接应用于甲状腺结节弹性超声影像分割。迁移学习［15-17］能够解决医学影像标注数据不足的问题，提高模型泛化能力，已被用于医学影像分割。Chen等［18］提出一种无监督特征对齐的医学图像分割方法，从影像和特征两个角度进行领域的协同对齐，实现磁共振成像（magnetic resonance imaging，MRI）和计算机断层扫描（computed tomography，CT）影像之间的双向跨模态适应。Ding等［19］通过最大化源域标签与目标域标签之间的多尺度系数，对齐源域和目标域间的结构特征，并通过实验验证了其在左心室和肝脏分割任务中的有效性。Ma等［20］对源域和目标域像素和特征进行双向对齐，缩小了源域和目标域之间的分布差异，提高了分割网络的泛化能力。然而，甲状腺结节灰阶超声和弹性超声影像的成像机制差异较大，以上方法难以解决甲状腺结节超声影像间的模态差异问题，从而影响甲状腺结节弹性超声影像的分割精度。
为提高甲状腺结节弹性超声影像的分割精度，本文提出基于迁移学习的甲状腺结节弹性超声影像分割方法。首先结合U⁃Net骨干网络，构建多尺度注意力模块，并设计Dice损失函数与二元交叉熵损失函数的联合优化策略，建立基于多尺度注意力机制的甲状腺结节超声分割模型。在此基础上，构建灰阶超声影像（源域）和弹性超声影像（目标域）的特征分布对齐网络，将源域和目标域的特征分布进行对齐，克服源域和目标域间特征分布差异对弹性超声影像分割的影响，并采用权值共享策略将源域分割模型迁移到目标域，获得用于甲状腺结节弹性超声影像分割的模型，实现甲状腺结节弹性超声影像的准确分割。

1 多尺度注意力U⁃Net的甲状腺结节分割方法

本文结合自注意力机制和大内核卷积优点，充分考虑甲状腺结节灰阶超声影像局部和全局信息，引入大核注意力机制，构建多尺度注意力模块，采用不同类型的卷积和不同尺度的卷积核，捕获长距离特征信息，降低甲状腺结节超声影像背景对分割结果的影响；将多尺度注意力模块应用于U⁃Net跳跃连接层，减少特征融合过程中的信息丢失；采用Dice损失函数和二元交叉熵损失函数之和作为模型损失函数，建立基于多尺度注意力机制的甲状腺结节超声影像分割模型，实现甲状腺结节灰阶超声影像的分割。

1.1 多尺度注意力模块

构建的多尺度注意力模块由批量标准化、GELU激活函数、大核注意力机制和卷积前馈网络组成，其结构如图1所示。
图1 多尺度注意力模块

Fig.1 Multi⁃scale large kernel attention module

大核注意力机制通过构建一个大内核卷积（大小 k × k）捕获长距离依赖关系，由深度卷积（depth⁃wise convolution，DW⁃Conv）（大小为 k d × k d）、深度膨胀卷积（depth⁃wise dilation convolution，DWD‑Conv）（大小为 ( 2 d - 1 ) × ( 2 d - 1 )，膨胀率为 d）和点卷积组成，这种分解方式减少了单独的较大深度卷积核尺寸产生的计算成本。考虑分割模型的计算复杂度，本文选择 k = 21， d = 3，利用少量计算成本和参数估计某一区域的重要性，并生成注意力权重，其计算式为
        A t t e n t i o n = C o n v 1 × 1 ( D W D ‑ C o n v - C o n v ( D W ‑ C o n v - C o n v ( I n p u t ) ) )
O u t p u t = A t t e n t i o n ⊗ I n p u t
式中， I n p u t ∈ R C × H × W是输入特征； A t t e n t i o n ∈ R C × H × W表示注意力权重，C为通道数，H为特征图高度，W为特征图宽度。
模块中的批归一化（batch normalization，BN）层可以加快网络收敛速度，引入GELU激活函数可以增加网络的非线性表达能力。输入图像经过多尺度注意力模块，可以提取到超声影像中的局部结构信息和长距离依赖关系，使得特征提取更加充分。

1.2 多尺度注意力U⁃Net甲状腺结节灰阶超声影像分割网络

针对灰阶超声影像中甲状腺结节尺寸多变且周围结构复杂影响分割精度的问题，采用U⁃Net作为主干网络，设计了一种基于多尺度注意力U⁃Net（multi⁃scale attention U⁃Net，MSA U⁃Net）的甲状腺结节灰阶超声影像分割网络，结构如图2所示。
图2 Multi⁃scale attention U⁃Net网络结构

Fig.2 Multi⁃scale attention U⁃Net network structure

U⁃Net是全卷积神经网络（fully convolutional neural network，FCN）的一种变体，采用编码器-解码器结构，编码部分用于特征提取，解码部分用于图像还原。然而，U⁃Net采用拼接裁剪的方式将浅层网络提取的纹理信息和深层网络提取的高层语义信息进行融合，会丢失部分特征信息，降低分割的准确率。本文构建的MSA U⁃Net网络利用多尺度大核注意力机制提取底层空间信息，然后通过特征融合提取甲状腺结节超声影像的多尺度信息，提高特征信息利用率，减少医学超声影像细节信息缺失，进而提高分割精度。
Dice损失函数常用于类别不平衡问题的处理，由于Dice系数能够衡量两个集合的相似度，因此Dice损失函数可有效地关注小区域的分割精度。二元交叉熵（binary cross entropy，BCE）损失函数能够为超声影像中每个像素点提供独立的分类概率，有利于获得更精确的甲状腺结节边界。因此，本文采用Dice损失函数和BCE损失函数之和作为网络的损失函数，其计算式为
ℒ = ℒ d i c e + ℒ B C E
式中， ℒ d i c e是Dice损失函数； ℒ B C E是二元交叉熵损失函数。
Dice损失函数是区域相关的度量函数，用于评估两个区域的相似性，其计算式为
ℒ d i c e = 1 - 2 | X ⋂ Y | | X | + | Y |
式中， | X ⋂ Y |是区域 X 和区域 Y 的交集； | X |和 | Y |分别表示区域 X 和区域 Y 的面积。
BCE损失函数常用于衡量模型预测值与真实值的差异程度，其计算式为
ℒ B C E = - ( y l n p + ( 1 - y ) l n ( 1 - p ) )
式中， y表示真实值； p表示预测值。

2 迁移多尺度注意力 U⁃Net甲状腺结节分割方法

甲状腺结节弹性超声影像中不同的颜色级别表示硬度大小，侧重于提供甲状腺结节的功能性信息；灰阶超声影像中不同的灰度级别表示声阻抗的大小，侧重于提供甲状腺结节的形态学信息。两者均包含甲状腺结节的边缘形态信息，具有共性知识和特征。甲状腺结节弹性超声影像数据通常只有少量标注样本，影响了分割模型的精度。因此，为提高甲状腺结节弹性超声影像分割精度，本文提出迁移多尺度注意力U⁃Net（transfer multi⁃scale attention U⁃Net，TMSA U⁃Net）的甲状腺结节弹性超声影像分割方法。结合条件生成对抗网络构建特征分布对齐网络，实现灰阶超声影像（源域）和弹性超声影像（目标域）的特征分布对齐。在此基础上，构建特征分布对齐网络，将源域分割模型迁移到目标域，建立TMSA U⁃Net的甲状腺结节弹性超声影像分割模型，能够在不同数据空间中全面度量两种模态之间的语义差异，实现甲状腺结节超声影像的跨模态精准分割。

2.1 TMSA U⁃Net甲状腺结节超声影像分割网络

TMSA U⁃Net甲状腺结节超声影像分割网络由特征提取层、域适应层和分割层3部分组成，结构如图3所示。特征提取层由多层卷积网络构成，用于提取超声影像特征；域适应层通过最小化域适应损失函数，并采用权值共享策略更新目标域分割模型特征提取层参数，减少源域和目标域之间的特征分布差异，用于迁移源域分割模型的特征提取层参数；分割层由多个上采样层构成，用于生成目标域分割掩码。
图3 基于迁移学习的甲状腺结节弹性超声影像分割网络结构

Fig.3 Segmentation network structure of elastic ultrasound image of thyroid nodules based on transfer learning

最大均值差异（max mean discrepancy，MMD）损失不需要假设数据分布的具体形式，适用于处理复杂的分布差异。相关性对齐损失函数（correlation alignment loss，CORAL）在减少数据分布差异的同时，能够保留个体特征差异，有助于提高迁移模型的适应性。因此采用MMD损失函数和CORAL损失函数之和作为域适应损失 ℒ D A，其计算式为
ℒ D A = ℒ M M D + ℒ C O R A L
式中， ℒ M M D为MMD损失函数； ℒ C O R A L为CORAL损失函数。
MMD损失函数能够度量两个分布的相似性，计算式为
ℒ M M D = 1 n ∑ i = 1 n ϕ ( x i ) - 1 m ∑ j = 1 m ϕ ( y j ) H 2
式中， ϕ ( · )为非线性映射函数； n、 m分别为源域和目标域数量。
CORAL损失函数通过计算源域与目标域分布的二阶矩来表征分布的差异性，其计算式为
  ℒ C O R A L = 1 4 d 2 | | C S - C T | | F 2
式中， d为特征位数； C S、 C T分别为第 l层源域特征 F S l和目标域特征 F T l经过域适应层输出向量的协方差矩阵，具体定义为
C S = 1 n s - 1 ( F S l ) T F S l - 1 n s ( I T F S l ) T ( I T F S l )
C T = 1 n T - 1 ( F T l ) T F T l - 1 n T ( I T F T l ) T ( I T F T l )
式中， n s和 n T分别为源域和目标域样本个数； I为全1向量。
通过结合损失函数和正则化项，构建甲状腺结节弹性超声影像分割网络的目标函数。目标函数由Dice损失函数、BCE损失函数和正则化项组成，其中正则化项为域适应损失，用于引入领域分布距离的先验知识，减小领域分布差异。通过误差的反向传播，不断更新模型参数，使目标函数收敛。目标函数 ℒ可表示为
m i n θ ℒ = ℒ + λ ℒ D A
式中， θ为模型参数； λ为正则化系数。

2.2 TMSA U⁃Net甲状腺结节超声影像分割方法

TMSA U⁃Net甲状腺结节超声影像分割算法流程如图4所示，主要步骤包括数据预处理、基于多尺度注意力机制的甲状腺结节灰阶超声影像分割模型预训练和基于迁移学习的甲状腺结节弹性超声影像分割模型构建。具体步骤如下。
图4 基于迁移学习的甲状腺结节弹性超声影像分割算法流程图

Fig.4 Transfer learning⁃based flow chart for thyroid nodule elastic ultrasound image segmentation

首先分别构建甲状腺结节灰阶超声影像数据集、甲状腺结节弹性超声影像数据集，通过将原始影像旋转不同角度实现数据增强，并进行标准化完成甲状腺结节超声影像数据预处理。
然后，设置训练参数和网络初始化参数。采用甲状腺结节灰阶超声影像数据集训练源域分割模型，迭代网络参数至损失函数收敛，建立基于多尺度注意力机制的源域分割模型。
最后，加载源域分割模型参数，利用构建的特征分布对齐网络迁移源域分割模型的特征提取层参数，将源域分割模型迁移到目标域，建立甲状腺结节弹性超声影像分割模型，实现甲状腺结节弹性超声影像的精准分割。

3 实验及结果分析

3.1 实验环境

本文实验均在Ubuntu 18.04系统下进行，硬件配置为CPU Intel（R） Xeon（R） Gold 5217 3.00 GHz 64 GB；显卡为两张NVIDIA GeForce RTX 2080 Ti，显存均为11 GB，CUDA版本为11.6；实验代码均基于python 3.8语言编程实现。

3.2 实验数据集与评价指标

3.2.1 实验数据集

本文所用数据集包括TN⁃SCUI 2020数据集［21］、GU⁃TN自建数据集和EU⁃TN自建数据集。TN⁃SCUI 2020数据集是目前规模最大的甲状腺结节灰阶超声影像公开数据集，一共包含7 288张超声影像，分别为1 641例良性病例和2 003例恶性病例。GU⁃TN和EU⁃TN数据集是由北京市某三甲医院自2021年10月至2023年8月10日期间收集的甲状腺结节多模态数据，包含218例病例，共计3 800余张影像，格式为JPG。GU⁃TN数据集包含2 992张灰阶超声影像及其对应的PNG格式的标签文件，EU⁃TN数据集包含700张JPG格式的灰阶超声影像、700张JPG格式的弹性超声影像和对应的PNG格式的标签文件。为构建适用于甲状腺结节超声影像分割任务的实验数据集，对每个病例截取适当大小的超声影像作为样本。两位超声科专家采用Labelme（COCO数据集的标注工具）绘制样本影像中的甲状腺结节边缘形状，并生成JSON格式的标注文件，再经过批量二值化处理转为PNG格式的标签文件。所有的数据集分别按照8∶1∶1的比例构建训练集、验证集和测试集，实验验证方法的有效性。

3.2.2 评价指标

本文实验采用Dice系数、平均交互比（IOU）、召回率（Recall）、精确率（Precision）作为性能评价指标［22］，计算式分别为
D i c e = 2 A ⋂ B A + B   × 100 %
I O U = A ⋂ B A ⋃ B   × 100 %
R e c a l l = T P T P + F N × 100 %
P r e c i s i o n = T P T P + F P × 100 %
式中， A和 B分别表示 A和 B的像素数量； A ⋂ B和 A ⋃ B分别表示 A和 B的交集与并集的像素数量； T P为正确分类为特定类别的像素数量； F P为错误分类为特定类别的像素数量； F N为未能正确分类为特定类别的像素数量。

3.3 实验参数设置

训练过程采用随机梯度下降（stochastic gradient descent，SGD）优化算法迭代更新网络节点权值，初始学习率设置为1×10-5，训练动量选为0.9，权值衰减系数为1×10-8，并在梯度回传以后进行梯度裁剪防止梯度爆炸。采用ReduceLROnPlateau学习率调整策略，根据验证集的Dice系数动态调整模型的学习率，当验证集Dice系数连续25个epoch不提升时，学习率减小为之前的10%。

3.4 MSA U⁃Net方法实验结果与分析

为了验证基于多尺度注意力机制的甲状腺结节灰阶超声影像分割方法的有效性，采用TN⁃SCUI 2020数据集和GU⁃TN数据集，将MSA U⁃Net方法与U⁃Net、Unet++、Attention U⁃net、ASPP⁃UNet分割方法进行对比。为防止训练初期由于学习率过大导致的模型参数更新不稳定，将初始学习率设置为1×10-5，动量为0.9。较小的初始学习率有助于模型不跳过局部最小值，动量的引入显著提高了训练的效率，在处理复杂的网络结构时模型能够更快收敛，并且在训练过程中减少了震荡。梯度裁剪策略避免了训练过程中的梯度爆炸。在没有梯度裁剪的情况下，模型训练后期容易受到梯度极端值的影响，采用ReduceLROnPlateau策略来动态调整学习率，能够进一步微调模型参数，在不增加训练时间的情况下提高分割精度。训练批次大小（batch size）为8，训练轮次为150个epoch。最终结果如表1和表2所示。
表1 TN⁃SCUI 2020数据集分割方法对比实验结果

Table 1 Comparative experimental results of segmentation methods using the TN⁃SCUI 2020 dataset

方法 Dice系数/% IOU/% Recall/% Precision/%
ASPP⁃UNet 79.37 69.72 78.13 87.95
U⁃Net 83.47 75.15 83.80 88.92
Unet++ 83.96 75.71 84.31 89.01
Attention U⁃net 84.29 76.10 84.44 89.30
MSA U⁃Net 84.49 76.27 84.54 89.40
表2 GU⁃TN数据集分割方法对比实验结果

Table 2 Comparative experimental results of segmentation methods using the GU⁃TN dataset

方法 Dice系数/% IOU/% Recall/% Precision/%
U⁃Net 76.43 66.80 78.23 82.33
ASPP⁃UNet 76.55 66.28 76.28 84.28
Unet++ 76.68 66.45 78.67 83.25
Attention U⁃net 77.88 68.20 79.55 83.57
MSA U⁃Net 79.40 69.97 80.27 84.88
表1展示了MSA U⁃Net与其他4种分割方法在TN⁃SCUI 2020数据集上Dice系数、IOU、Recall和Precision这4个评价指标的对比结果。由表可知，MSA U⁃Net在4个评价指标上都取得了最好的效果。U⁃Net分割方法通过跳跃连接获得不同尺度的信息，分割指标均高于ASPP⁃UNet；Unet++分割方法虽然在U⁃Net的基础上融合不同尺寸的U⁃Net网络，整合不同层次的特征信息，但在融合过程中只融合了下一层的信息，使得部分结节超声影像分割结果丢失边缘和位置信息，分割指标均低于Attention U⁃net；Attention U⁃net方法在特征融合过程中引入注意力机制，调整了编码器的输出特征，虽然实现了对甲状腺结节边缘的关注和对无关背景区域的抑制，但全局特征信息提取能力较差，导致分割结果不是最佳；MSA U⁃Net通过引入多尺度注意力机制，有效提高了局部特征信息和全局特征信息的提取能力，分割效果最优。
从表2可以看出，MSA U⁃Net的效果最好，U⁃Net分割方法的分割效果最差。Unet++分割方法在数据集数量较小的情况下分割性能不佳，在IOU指标上略低于U⁃Net。而MSA U⁃Net在两个数据集上分割的评价指标均优于其他方法，验证了MSA U⁃Net方法的有效性。本文提出的基于多尺度注意力机制的甲状腺结节灰阶超声影像分割方法在真实数据集上的精确率达到了84.88%，优于使用相同主干网络的其他方法。
为了更直观地展现各分割方法的分割效果，分别从两个数据集随机选取4张甲状腺结节灰阶超声影像的分割结果，如图5和图6所示。图中展示了不同大小和位置的真实影像经过4种方法分割后的结果。根据图中的视觉效果，可以看到MSA U⁃Net未出现甲状腺结节分割错误的情况，甲状腺结节边缘分割结果较其他方法更佳，与真实标签的相似度最高，进一步验证了MSA U⁃Net方法的准确性。
图5 TN⁃SCUI 2020数据集上的甲状腺结节灰阶超声影像分割方法结果图

Fig.5 Results of the gray scale ultrasound image segmentation method for thyroid nodules using the TN⁃SCUI 2020 dataset

图6 GU⁃TN数据集上的甲状腺结节灰阶超声影像分割方法结果图

Fig.6 Results of the gray scale ultrasound image segmentation method for thyroid nodules using the GU⁃TN dataset

3.5 TMSA U⁃Net方法实验结果与分析

本文设计了消融实验，验证特征分布对齐网络模块的有效性，实验结果如表3所示。
表3 特征分布对齐网络消融实验结果

Table 3 Experimental results of feature distribution alignment network ablation

方法 Dice系数/% IOU/% Recall/% Precision/%
基础模型 75.09 62.99 76.05 81.75
基础模型+CORAL 75.49 63.26 76.93 80.42
TMSA U⁃Net 77.09 65.20 78.19 81.05
由消融实验可知，加入特征分布对齐网络后，甲状腺结节超声影像分割性能整体提升，且在Precision相差不大的情况下，其他指标均有2%左右的提升。说明本文设计的特征分布对齐网络在不损耗精确度的情况下，提高了甲状腺结节超声影像分割的相似度和对甲状腺结节边缘的敏感度，实现甲状腺结节的有效分割。
为了验证基于跨模态迁移学习的甲状腺结节超声影像分割方法的有效性，在EU⁃TN数据集上将TMSA U⁃Net与U⁃Net、Unet++、Attention U⁃net、ASPP‑UNet、SAMUS［23］和MSA U⁃Net分割方法进行了实验对比，训练批次大小（batch size）为16，训练轮次为100个epoch，实验结果如表4所示。
表4 EU-TN数据集上的分割方法对比实验结果

Table 4 Comparative experimental results of segmentation methods using the EU⁃TN dataset

方法 Dice系数/% IOU/% Recall/% Precision/%
U⁃Net 72.61 60.14 74.65 78.33
Unet++ 72.76 60.91 75.43 77.28
Attention U⁃net 73.30 61.63 76.55 78.41
ASPP⁃UNet 74.21 61.69 75.62 78.29
SAMUS 69.79 55.89 78.33 83.74
MSA U⁃Net 74.38 62.55 77.30 79.38
TMSA U⁃Net 77.09 65.20 78.19 81.05
由表4可知，相较于U⁃Net分割方法，SAMUS分割方法在Recall和Precision指标上结果较优，在Dice系数、IOU上表现较差，这是由于甲状腺结节在超声影像中占比小，SAMUS方法倾向于产生更大的区域，使得分割结果中的假正类样本较多。TMSA U⁃Net的Dice系数、IOU结果分别为77.09%、65.20%，均为最优值，TMSA U⁃Net的IOU系数较U⁃Net、Unet++、Attention U⁃net、ASPP⁃UNet、SAMUS、MSA U‑Net分别有5.06%、4.29%、3.57%、3.51%、9.31%、2.65%的提升，表明TMSA U⁃Net能够更准确地捕捉结节的形态和边界信息，提高分割结果与真实值之间的相似度，提升了甲状腺结节弹性超声影像分割的精度。
图7为对比实验中随机选取的4张甲状腺结节弹性超声影像分割结果图。观察图像可知，在甲状腺结节形状和大小变化较大且弹性超声影像背景复杂度较高的情况下，U⁃Net、Unet++、Attention U‑net、ASPP⁃UNet和SAMUS这5种方法的分割效果并不理想，存在明显的边缘分割不准确、区域遗漏或过度分割等问题。相比之下，本文提出的分割方法展现出更优越的性能，其分割结果整体更为精确，边缘信息保留得更为完整，与真实标签之间的相似度更高。由实验结果定量和定性分析可知，TMSA U‑Net在各个指标上均表现最佳，充分验证了TMSA U‍‑Net在甲状腺结节弹性超声影像分割上的有效性。
图7 EU⁃TN数据集上的甲状腺结节弹性超声影像分割方法结果图

Fig.7 Results of the elastic ultrasound image segmentation method for thyroid nodules using the EU⁃TN dataset

4 结束语

针对数据样本量少影响甲状腺结节弹性超声影像分割精度的问题，本文提出一种TMSA U⁃Net甲状腺结节弹性超声影像分割方法。通过构建多尺度大核注意力机制来扩大特征提取时的感受野，提高了全局信息提取能力，结合Dice损失函数与二元交叉熵损失函数的联合优化策略，建立甲状腺结节灰阶超声影像分割模型，提高了甲状腺结节灰阶超声影像的分割精度；其次，通过构建跨模态特征分布对齐网络，减少了灰阶超声与弹性超声特征分布的差异性，结合采用权值共享策略，建立了基于迁移学习的甲状腺结节弹性超声影像分割模型，解决了甲状腺结节弹性超声影像分割精度低的问题；并采用分割损失和正则化项联合的优化损失函数，改善了样本数据不足引起的过拟合现象，提升了分割模型的鲁棒性。实验结果表明，本文提出方法有效提高了甲状腺结节弹性超声影像分割精度，在Dice系数、IOU、Recall和Precision等指标上均优于对比方法。本文方法有助于甲状腺结节的早期诊断、病情评估及临床治疗决策支持等，并为提高甲状腺结节诊疗水平提供技术支撑。

References

Publishing order | Descend order by publishing year | Descend order by cited within
[1]
CHEN J Y， YOU H J， LI K. A review of thyroid gland segmentation and thyroid nodule segmentation methods for medical ultrasound images［J］. Computer Methods and Programs in Biomedicine， 2020，185：105329.

[2]
MONPEYSSEN H， TRAMALLONI J， POIRÉE S， et al. Elastography of the thyroid［J］. Diagnostic and Interventional Imaging， 2013， 94（5）： 535-544.

[3]
倪豪， 郑慧峰， 王月兵， 等. 基于自动种子区域生长的超声 B 图像缺陷分割方法［J］. 计量学报， 2018， 39（6）： 878-883.

NI H， ZHENG H F， WANG Y B， et al. Ultrasonic B image defect segmentation method based on automatic seeded region growing ［J］. Acta Metrologica Sinica， 2018， 39（6）： 878-883. （in Chinese）

[4]
KASS M， WITKIN A， TERZOPOULOS D. Snakes： active contour models［J］. International Journal of Computer Vision，1988，1（4）： 321-331.

[5]
MCINERNEY T， TERZOPOULOS D. T⁃snakes： topology adaptive snakes［J］. Medical Image Analysis， 2000， 4（2）：73-91.

[6]
MA J L， WU F， JIANG T A， et al. Ultrasound image⁃based thyroid nodule automatic segmentation using convolutional neural networks［J］. International Journal of Computer Assisted Radiology and Surgery， 2017， 12： 1895-1910.

[7]
LONG J， SHELHAMER E， DARRELL T. Fully convolutional networks for semantic segmentation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（4）： 640-651.

[8]
RONNEBERGER O， FISCHER P， BROX T. U⁃Net： convolutional networks for biomedical image segmentation［M］//NAVAB N， HORNEGGER J， WELLS W， et al. Medical image computing and computer⁃assisted intervention ⁃ MICCAI 2015. MICCAI 2015. Lecture Notes in Computer Science， vol 9351. Cham： Springer， 2015.

[9]
ZHOU Z W， RAHMAN SIDDIQUEE M M， TAJBAKHSH N， et al. Unet++： a nested U‑net architecture for medical image segmentation［M］//STOYANOV D. Deep learning in medical image analysis and multimodal learning for clinical decision support. DLMIA ML⁃CDS 2018. Lecture Notes in Computer Science， vol 11045. Cham： Springer， 2018： 3-11.

[10]
OKTAY O， SCHLEMPER J， FOLGOC L L， et al. Attention U⁃net： learning where to look for the pancreas［DB/OL］. （2018-05-20）［2024-03-20］. arXiv： 1804.03999.

[11]
CUI S G， ZHANG Y N， WEN H， et al. ASPP⁃UNet： a new semantic segmentation algorithm for thyroid nodule ultrasonic image［C］//2022 International Conference on Artificial Intelligence， Information Processing and Cloud Computing （AIIPCC）. Kunming， 2022： 323-328.

[12]
桂林斌.一种基于空洞卷积的网络用于超声图像分割［J］.电子技术与软件工程，2022（10）：156-159.

GUI L B. A hollow convolution based network for ultrasonic image segmentation ［J］. Electronic Technology and Software Engineering， 2022（10）：156-159. （in Chinese）

[13]
CHEN J N， LU Y Y， YU Q H， et al. TransUnet： transformers make strong encoders for medical image segmentation［DB/OL］. （2021-02-08）［2024-03-20］. arXiv：2102.04306.

[14]
AZAD R， NIGGEMEIER L， HÜTTEMANN M， et al. Beyond self⁃attention： deformable large kernel attention for medical image segmentation［C］//2024 IEEE/CVF Winter Conference on Applications of Computer Vision （WACV）. Waikoloa， 2024：1276-1286.

[15]
TZENG E， HOFFMAN J， SAENKO K， et al. Adversarial discriminative domain adaptation［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu， 2017： 2962-2971.

[16]
SANKARANARAYANAN S， BALAJI Y， CASTILLO C D， et al. Generate to adapt： aligning domains using generative adversarial networks［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City， 2018： 8503-8512.

[17]
TAN C Q， SUN F C， KONG T， et al. A survey on deep transfer learning［M］// KŮRKOVÁ V， MANOLOPOULOS Y， HAMMER B， et al. Artificial neural networks and machine learning⁃ICANN 2018. ICANN 2018. Lecture Notes in Computer Science， vol 11141. Cham： Springer， 2018.

[18]
CHEN C， DOU Q， CHEN H， et al. Unsupervised bidirectional cross⁃modality adaptation via deeply synergistic image and feature alignment for medical image segmentation［J］. IEEE Transactions on Medical Imaging， 2020， 39（7）： 2494-2505.

[19]
DING W B， LI L， ZHUANG X H， et al. Cross⁃modality multi⁃atlas segmentation via deep registration and label fusion［J］. IEEE Journal of Biomedical and Health Informatics， 2022， 26（7）： 3104-3115.

[20]
MA W X， LI X P， ZOU L， et al. Symmetrical awareness network for cross⁃site ultrasound thyroid nodule segmentation［J］. Frontiers in Public Health， 2023， 11： 1055815.

[21]
GIREESHA H M， NANDA S. Thyroid nodule segmentation and classification in ultrasound images［J］. International Journal of Engineering Research and Technology， 2014，3（5）： IJERTV3IS052114.

[22]
AVOLA D， CINQUE L， FAGIOLI A， et al. Ultrasound medical imaging techniques： a survey［J］. ACM Computing Surveys， 2021， 54（3）： 67.

[23]
LIN X， XIANG Y Y， YU L， et al. Beyond adapting SAM： towards end⁃to⁃end ultrasound image segmentation via auto prompting［M］//LINGURARU M G. Medical image computing and computer assisted intervention⁃ MICCAI 2024. MICCAI 2024. Lecture Notes in Computer Science， vol 15008. Cham： Springer， 2024.

Options
Outlines

/

〈 〉

Copyright © Journal of Beijing University of Chemical Technology, All Rights Reserved.
Powered by Beijing Magtech Co. Ltd,.
support@magtech.com.cn
Total visitors:　 Visitors of today: 　 Now online: