近日，创新创业学院深度学习实践班一篇本科生学术成果CSANet for Video Semantic Segmentation with Inter-Frame Mutual Learing被IEEE Siginal Processing Letters（SCI JCR Q2区）录用。论文第一作者为大连理工大学信息与通信工程学院三年级本科生袁亦忱同学，由创新创业学院深度学习实践班王一帆老师指导完成。
视频语义分割旨在生成具有时域空间一致性的语义分割结果，在深度学习领域仍然是一项非常具有挑战性的任务。该论文提出一种自注意力（self-attention）和互注意力（cross-attention）并行的孪生神经网络（Siameseneural network）。与之前的方法相比，该网络不仅能从相邻帧之间传播时域空间特征，还被用来聚合当前帧内空间语义信息。论文的另一个贡献是在损失函数的层面上，提出了相邻帧之间互学习（mutual learning）的训练策略，在这种损失函数的约束下训练网络可以确保互注意力模块（cross-attention module）能够学习到语义层面上的区域相关信息，以更好的传播时域空间特征。与之前的方法相比，该神经网络在两个最重要的数据集上（Cityscapes，CamVid）都取得了最好的结果。
学校始终致力于创新人才培养工作，构建全方位教育平台，探索大学生创新能力培养体系化、系统化长效机制，为学生提供多元化、多角度的发展平台，取得丰硕成果。创新创业学院会进一步落实大连理工大学创新创业教育改革策略，提高创新拔尖人才培养质量，培养新时代一流创新人才。
本文版权归原作者所有，文章内容不代表平台观点或立场。如有关于文章内容、版权或其他问题请与我方联系，我方将在核实情况后对相关内容做删除或保留处理！联系邮箱: yzhao@koushare.com