正在加载图片...
Also,the color distribution of one human ear image is relatively consistent,so the transition among the three regions maybe not obvious,which will cause poor adaptability for traditional edge extraction methods when extracting key physiological curves of human ears.To address this problem,this paper proposes an improved YOLACT instance segmentation model based on ResNeSt backbone and "the screening mask"strategy,which improve the original YOLACT model from two aspects:localization and segmentation.Our ResNeSt based YOLACT model is trained with labeled ear images from the USTB-Helloear image set.In the prediction stage,the original cropping mask strategy is discarded and replaced with our proposed screening mask strategy to ensure the integrity of the edges of the segmentation area.These improvements enhance the accuracy of curve detection and extraction,and can accurately segment different regions of the human ear and extract key physiological curves.Compared with other methods,our proposed method in this paper shows better segmentation accuracy on the test image set,and shows robustness to posture variation of human ear KEY WORDS Human Ear;Physiological Curves Extraction;Instance Segmentation:Improved YOLACT;ResNeSt 人耳作为一种重要的生物特征,对人耳的形态分析和归类对与人耳相关的医疗等工作有着重要 的价值。但是由于人耳形态结构复杂,外耳形态结构分型的研究至今难有个统一标准的分类方法。 杨月如等山从医学角度提出外耳形态分型,依据外耳轮的形态特征以及耳轮结节的形态,将外耳分 为六种形态。齐娜等四从声学角度分析,主要依据耳甲艇和耳甲腔的莲通状态把耳廓分为四大类。耳 垂在整个外耳形态中具有非常重要的作用,耳垂形状的不同可以升起视觉上明显的差别感,Azaria 则根据耳垂与面颊交叉点角度对耳垂进行的归类)。上述研究者分别通过人耳的其中一块关键区域 进行分类,这些区域都是人耳结构的重要组成部分,通过提取出耳轮、对耳轮和耳甲等关键区域的 轮廓作为人耳的关键曲线,就能能够实现对这些关键区域的精细划分,并且描述出它们的形状特征。 提取出高精度的人耳的关键曲线进而能够有效的帮助完成对人耳的形态分析和聚类工作,同时也有 助于实现人耳外轮廓提取和重要区域的分割。但是,年图像在颜色分布上较为一致,部分人耳在 重要区域之间的过渡不明显,采集图像时还能存在光照差异,这些因素都会导致传统边缘提取的 方法在提取人耳关键曲线上话应性较差。 在图像分割领域中,语义分割4任务旨在实现对图像中的每个像素都划分出对应的类别,而实 例分割9不但要进行像素级别的分类,还需在具体的类别基础上区分该像素属于该类别中的具体 实例。Daniel Bolya在2019年提出X实时实例分割网络YOLACTI,类比Mask R-CNNU31之于Faster R-CNN4,YOLACT是在目标检测分支上添加一个语义分割分支来达到实例分割的目的,但没有 使用区域建议网络。 驴语义分割会对像素属性相似的像素点划为同一类别,而人耳区域像素 值很相似,部分人耳在重要区域之间的过渡不明显,故语义分割方法不适用于人耳上关键生理曲线 区域的分割。 因此,本文提母种改进YOLACT算法来进行人耳关键区域分割,并提取耳轮、对耳轮和耳甲 的关键曲线。为了提高定位和分割精度,将主干网络由ResNet101更换为ResNeSt101us1,并在预 测阶段摒弃原有的裁剪模板的处理,设计了新的筛选模板的结构,保证了分割区域边缘的完整性, 提高了曲线检测提取精度。 1基于ResNeSt和筛选模板策略的改进YOLACT算法 本文提出的改进YOLACT模型用来提取人耳的耳轮、对耳轮和耳甲区域的关键生理曲线,系统 框图如图1所示。首先使用主干网络ResNeSt-.l0l结合特征金字塔网络(Feature Pyramid Networks,FPN)I获取不同尺寸下的特征图,接下来特征金字塔提取的特征图传输进两个并行分 支。第一个分支接收特征金字塔生成的所有尺寸的特征图作为输入,用来完成目标检测任务预测目 标位置、类别,同时也完成对模板叠加系数的预测:第二个分支接收特征金字塔获取的感受野为91 的特征图(对应图1中的P3)作为输入,用来生成一系列原型模板,实现对背景和前景的分离,对Also, the color distribution of one human ear image is relatively consistent, so the transition among the three regions maybe not obvious, which will cause poor adaptability for traditional edge extraction methods when extracting key physiological curves of human ears. To address this problem, this paper proposes an improved YOLACT instance segmentation model based on ResNeSt backbone and “the screening mask” strategy, which improve the original YOLACT model from two aspects: localization and segmentation. Our ResNeSt based YOLACT model is trained with labeled ear images from the USTB-Helloear image set. In the prediction stage, the original cropping mask strategy is discarded and replaced with our proposed screening mask strategy to ensure the integrity of the edges of the segmentation area. These improvements enhance the accuracy of curve detection and extraction, and can accurately segment different regions of the human ear and extract key physiological curves. Compared with other methods, our proposed method in this paper shows better segmentation accuracy on the test image set, and shows robustness to posture variation of human ear. KEY WORDS Human Ear; Physiological Curves Extraction; Instance Segmentation; Improved YOLACT; ResNeSt 人耳作为一种重要的生物特征,对人耳的形态分析和归类对与人耳相关的医疗等工作有着重要 的价值。但是由于人耳形态结构复杂,外耳形态结构分型的研究至今难有一个统一标准的分类方法。 杨月如等[1]从医学角度提出外耳形态分型,依据外耳轮的形态特征以及耳轮结节的形态,将外耳分 为六种形态。齐娜等[2]从声学角度分析,主要依据耳甲艇和耳甲腔的连通状态把耳廓分为四大类。耳 垂在整个外耳形态中具有非常重要的作用,耳垂形状的不同可以引起视觉上明显的差别感, Azaria 则根据耳垂与面颊交叉点角度对耳垂进行的归类[3]。上述研究者分别通过人耳的其中一块关键区域 进行分类,这些区域都是人耳结构的重要组成部分,通过提取出耳轮、对耳轮和耳甲等关键区域的 轮廓作为人耳的关键曲线,就能能够实现对这些关键区域的精细划分,并且描述出它们的形状特征 。 提取出高精度的人耳的关键曲线进而能够有效的帮助完成对人耳的形态分析和聚类工作,同时也有 助于实现人耳外轮廓提取和重要区域的分割。但是,人耳图像在颜色分布上较为一致,部分人耳在 重要区域之间的过渡不明显,采集图像时还可能存在光照差异,这些因素都会导致传统边缘提取的 方法在提取人耳关键曲线上适应性较差。 在图像分割领域中,语义分割[4-8]任务旨在实现对图像中的每个像素都划分出对应的类别,而实 例分割[9-11]不但要进行像素级别的分类,还需在具体的类别基础上区分该像素属于该类别中的具体 实例。Daniel Bolya 在 2019 年提出了实时实例分割网络 YOLACT[12],类比 Mask R-CNN[13]之于 Faster R-CNN[14],YOLACT 是在目标检测分支上添加一个语义分割分支来达到实例分割的目的,但没有 使用区域建议网络[15-16]。由于语义分割会对像素属性相似的像素点划为同一类别,而人耳区域像素 值很相似,部分人耳在重要区域之间的过渡不明显,故语义分割方法不适用于人耳上关键生理曲线 区域的分割。 因此,本文提出一种改进 YOLACT 算法来进行人耳关键区域分割,并提取耳轮、对耳轮和耳甲 的关键曲线。为了提高定位和分割精度,将主干网络由 ResNet101[17]更换为 ResNeSt101[18],并在预 测阶段摒弃原有的裁剪模板的处理,设计了新的筛选模板的结构,保证了分割区域边缘的完整性, 提高了曲线检测提取精度。 1 基于 ResNeSt 和筛选模板策略的改进 YOLACT 算法 本文提出的改进 YOLACT 模型用来提取人耳的耳轮、对耳轮和耳甲区域的关键生理曲线,系统 框 图 如 图 1 所 示 。 首 先 使 用 主 干 网 络 ResNeSt-101 结 合 特 征 金 字 塔 网 络 ( Feature Pyramid Networks,FPN)[19]获取不同尺寸下的特征图,接下来特征金字塔提取的特征图传输进两个并行分 支。第一个分支接收特征金字塔生成的所有尺寸的特征图作为输入,用来完成目标检测任务预测目 标位置、类别,同时也完成对模板叠加系数的预测;第二个分支接收特征金字塔获取的感受野为 91 的特征图(对应图 1 中的 P3)作为输入,用来生成一系列原型模板,实现对背景和前景的分离,对 录用稿件,非最终出版稿
<<向上翻页向下翻页>>
©2008-现在 cucdc.com 高等教育资讯网 版权所有