近日，西湖大学生命科学学院孙一团队在 Current Biology 发表题为 "Behavioral signatures of structured feature detection during courtship in Drosophila" 的研究论文，报道了在社交场景下的多维物体识别与感觉运动整合研究中的最新成果。
论文链接：
https://doi.org/10.1016/j.cub.2022.01.024
社会交互中个体间的感知识别是社会行为的基本过程之一。果蝇通过精简的神经系统实现了社交等复杂的自主行为，同时具有发达的遗传学工具便于神经环路研究，通过精确定量解析这一简洁模型有望率先揭示神经网络的一般性原理。
然而迄今的个体感知识别研究往往通过将个体简化为低维物体。虽然这一简化带来便利，但却回避了作为社会行为核心的复杂性。
自然界的实际物体在多个维度上以一定的结构表现出极其丰富的特征，如何在复杂场景下建立多维特征和行为的一般性关系是研究多维物体识别的一大挑战。
为了解决这一挑战，孙一团队从神经系统的基本架构出发进行考虑。感知识别环境中的相关信息并作出行为反应是脑的基本功能，这一感觉运动转换过程在二元社交互动中具有独特的对称性，即此个体的行为活动同时也是彼个体的感觉信息，反之亦然。这一“感觉运动二相性”是社交行为在感觉运动层面的关键特征之一，这也意味着，如果能够定量测量个体行为，那么作为输入的感觉信息和作为输出的行为活动都将同时被精确刻画，进一步应用系统辨识，将为建立这一输入输出关系提供可能，解决前述挑战。以这一设想为基础，结合一系列技术开发，孙一团队在多维物体识别问题上打开了一个窗口。
解决这一问题首先需要测量行为。行为测量常受困于涨落，而规律则隐藏在涨落之后。提高数据量是有效手段，但已有技术不适于动态复杂的社交行为分析。通过发展新技术对数万对果蝇在三年多时间中采集数十亿帧图像并深入分析，发现参照系坐标变换后果蝇求偶过程稳定表现出一种独特的“圆舞 (circling)”。
图1 参照系坐标变换发现果蝇求偶过程中的“圆舞”行为
定量分析发现“圆舞”具有良好的运动协调性。有趣的是，在雄性为雌性起舞后，雌性同样会跟随雄性而动，并最终实现动作的同步。这就提示目标驱动的行为过程。
图2 “圆舞”动作的协调与个体间动作的同步
通过阻断不同感觉输入，发现这一“二蝇转”在受益于多模式整合的同时高度依赖于视觉信息。为揭示“圆舞”发生的潜在动机，通过回顾性分析证实 “圆舞”为目标驱动的求偶过程。
图3 回顾性分析揭示“圆舞”为求偶过程中目标驱动的视觉行为
目标驱动的社会行为中感觉运动信息常表现出强偶联关系，并高度依赖物体识别过程。以“圆舞”为模型，通过研究感觉运动关系展开了个体识别过程的深入研究。首先，雄蝇多个动作参数的概率分布密度依赖于其观察雌蝇的视角。视角依赖的物体识别初步提示多维特征检测。
图4 发现视角依赖的雄性动作参数分布并提示视角依赖的物体识别过程
雄蝇动作参数还受到雌蝇特定部位空间位置的影响。通过二值化定量行为进行检测分析，发现雌蝇头部和尾部位置信息对于雄蝇的抉择起关键作用。这就需要神经系统对个体各部位特征具有检测和分辨能力，从而为多维特征检测提供了直接证据。
图5 雌蝇特定部位的空间位置影响雄性动作参数
雄蝇动作参数还受到雌蝇运动速度和运动方向也就是运动矢量的影响，提示矢量化的动态多维特征检测。这一发现同时提示运动结构算法 (SfM) 可能参与结构化特征的检测。
图6 雌蝇运动矢量决定雄性动作参数
课题组进一步通过广义线性模型 (GLM) 、逆相关 (RC) 等系统辨识方法测量感觉运动传递函数，发现了雄蝇动作与雌蝇特征之间的一般性关系：雄蝇的特定动作参数与雌蝇特定部位的空间位置和运动方向等特定姿态特征以特定时延具有稳定的时空关系。空间上，距离变化影响动作的发生时间，而角度的变化易于影响动作的方向；时间上，过去而不仅是当前时刻的特征都会影响动作，提示经验依赖性，从而解决了这一挑战。
图7 系统辨识建立感觉运动传递函数揭示依赖时空结构化特征检测的行为模型
这一工作建立了多维物体识别的新研究模型，给出了一系列感觉运动传递函数，并总结提出了“结构化特征检测 (SFD) ”这一新理论，为个体识别问题奠定了一套独特的理论框架。如一位审稿人所评论，“该研究的发现和最新的空间建模与物体识别理论紧密结合”。此外，该工作还研究了社交行为中动作的协调，以及个体间动作的相互同步。如另一位审稿人所说，“该研究不仅对于果蝇研究而且对于整个感觉运动整合领域都具有很大价值”。未来有望揭示如何在紧凑的神经网络上实现这些复杂的计算，并最终阐明其中的一般性原理，启发未来智能系统的设计。
在技术上，这一工作公开了首个果蝇社交行为标注数据集 SDPD-15k (关于果蝇社交行为的 ImageNet )；通过将自上而下的模块化架构和高分辨卷积神经网络相结合，开发了果蝇社交行为运动分析工具 SoAL，性能数倍于 DeepLabCut 等常用工具；开发了多相机同步成像控制工具 MIAS，支持多种国产相机，为后续下一代高精度行为测量奠定了基础；发展了系统辨识方法应用于高维行为数据分析。
这些在成像、运动预测、标注数据集和系统辨识方面的一系列新技术构成了自然行为的完整研究技术体系。如一位审稿人所说，该研究发展了用于未来计算行为学研究的工具，特别是这些高分辨行为数据与系统辨识方法的结合。
本文第一作者为孙一团队博士生宁静，通讯作者为孙一。研究受到国家自然科学基金、西湖实验室、西湖教育基金会等资助。