卡内基梅隆大学研究人员开发出能够看到和重建声音的相机

宾夕法尼亚州匹兹堡卡内基梅隆大学的研究人员开发了一种相机系统，该系统可以“以如此精确和细节的方式观察声音振动，从而可以重建乐队或管弦乐队中单个乐器的音乐。

这种由计算机科学学院机器人研究所(RI)开发的新型系统使用一对相机和一台激光来“感测高速，低振幅的表面振动”。然后，振动用于重建声音并捕获隔离的音频，而不会受到干扰或麦克风。即使是高方向性的麦克风也很难消除附近的声音并处理环境噪音。此外，传统麦克风无法消除音频捕获过程中的声学效果。

“我们发明了一种看到声音的新方法，”机器人研究所照明与成像实验室(ILIM)的博士后研究员Mark Sheinin说。“这是一种新型的摄像系统，一种新的成像设备，能够看到肉眼看不见的东西。

研究团队已经成功地演示了他们的新系统。该团队“捕获了同时演奏的独立吉他和同时演奏不同音乐的单个扬声器的隔离音频。

CMU的相机系统并不是同类产品中的第一个。一些最早的可视麦克风是由麻省理工学院的研究人员在2014年开发的。CMU的系统以多种方式改进了早期的工作，包括实用性和成本。“我们使光学麦克风更加实用和可用，”RI教授兼ILIM负责人Srinivasa Narasimhan说。“我们在降低成本的同时提高了质量。CMU的方法使用普通相机，这比先前研究中使用的高速相机便宜得多。

该系统分析了“斑点图案”与使用卷帘快门和全局快门拍摄的图像的差异。然后，算法用于计算两个不同视频流中斑点模式的差异。然后将这些差异转换为振动以重建原始声音。CMU写道：“斑点图案是指相干光从粗糙表面反射后在空间中的行为方式。该团队通过将激光瞄准产生振动的物体表面来创建斑点图案，就像吉他的琴身一样。这种斑点图案随着表面振动而变化。卷帘快门通过快速扫描图像(通常从上到下)来捕获图像，通过将一行像素堆叠在另一行像素上来生成图像。全局快门一次在单个实例中捕获图像。

“Mark Sheinin(左)和Dorian Chan(右)是CMU研究团队的一员，该团队开发了一种相机系统，该系统可以非常精确地观察声音振动，从而可以捕获同时演奏的独立吉他的隔离音频。学分：卡内基梅隆大学

该研究论文“双快门光学振动传感”在最近的2022年IEEE / CVF计算机视觉和模式识别会议(CVPR)上获得了“最佳论文”荣誉奖。如果您错过了，NVIDIA还在CVPR会议上介绍了对AI工具的研究，该工具可将一系列2D图像转换为3D模型。

光学振动感应相机的实际用途包括允许音响工程师在混音时无需听到其他仪器的情况下监控单个仪器，监控工业设备的振动以检查问题，测量机械的机械健康状况等。要了解有关该研究的更多信息，请访问CMU成像网站。

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！