鼠标、键盘和触摸屏是我们日常和计算机交互的方式。但在有些场景下，人们追求更加契合的交互方式。实体交互界面（Tangible User Interface，TUI）是人机交互领域一个经久不衰的研究重点。实体交互寻求在物理世界与数字世界之间建立更加直接的联系，它通过实体物品令用户更生动直观地感受并控制数字世界。“召唤你的Amiibo™吧！”，正如任天堂游戏带给玩家最直观的实体交互体验，用户可使用游戏人物手办同与虚拟游戏世界建立联系。不仅是游戏，实体交互还可与众多领域结合，比如应用于流体力学模拟、音频处理和交互式故事生成。
实体交互界面设计中的关键问题是如何追踪物理实体的位置和朝向。主流解决方案使用视觉定位技术、射频识别（RFID）定位技术和触摸屏技术等。然而这些方法都需要相机、RFID传感器和大尺寸触摸屏等额外的硬件支持，或价格高昂，或不便安装。促进实体交互的应用和推广需要造价低廉又易于实现的方案。
信息学院杨智策团队长期以来在人机交互领域寻求创新，产出众多成果。近日，研究团队利用生活中广泛存在的光电鼠标传感器，在普通显示器上实现了实体交互功能。鼠标传感器通过感知不同显示区域中肉眼不可见的高频可见光信号，在显示器上实现了高精度定位，进而来支持实体交互方案的实现（图1）。
图1. 通过可见光信号进行定位的原理。
图2. 用于实体交互的手办（左）及其内部拆解（右）。
该研究基于鼠标传感器进一步实现了一种用于实体交互控制的手办（图2）。其成本低廉、功能可定制的特点有望大大丰富应用场景。
图3.示例展示了使用该实体交互界面的一些应用：拼图板、青蛙天平、调色旋钮和混合游戏板。其中，拼图板和青蛙天平可培养幼儿对语言、色彩和数字的认知，调色旋钮可辅助图像编辑，而混合游戏板通过更多感官刺激来增强玩家的游戏体验。
该研究成果以“Enabling Tangible Interaction on Non-touch Displays with Optical Mouse Sensor and Visible Light Communication”为题，在人机交互领域国际知名会议-- ACM Conference on Human Factors in Computing Systems (CHI 2022)上发表。CHI是中国计算机学会推荐的“人机交互与普适计算类”三个A类会议之一，专注于交互式数字技术研究。此项工作由上海科技大学独立完成。课题组博士生严亦晖为论文第一作者，本科生黄泽喆、徐杜飞扬共同参与了此项工作。信息学院杨智策教授为通讯作者。
文章和会议视频链接：https://programs.sigchi.org/chi/2022/program/content/71941