MIT取得AR技术重大突破 让你摸到视频里的物体

MIT的计算机科学与人工智能实验室(CSAIL)，在AR技术的交互领域取得了重大进展，可以让观众“摸”到视频中的物体了。

IDV | 图片来源CSAIL

CSAIL展示了他们在“互动动态视频”(Interactive Dynamic Video， IDV)上的成果。IDV可以学习一段几秒钟的含有动态物体的视频，例如被风吹动的树叶或被手指拨动的琴弦，然后分析出物体的示例震动模式(example vibration mode)，通过算法推断、模拟出物体在其他条件下的震动模式。而IDV的最终成果是，人们可以在画面上与该物体进行互动，比如用鼠标拖拽让物体变形。

这项研究的重要性在于，人们今后不必再对特定物体进行复杂而昂贵的3D建模，只利用IDV就能够对物体做出模拟。CSAIL表示，这项技术今后可用于建筑安全性预测、电影特效及AR/领域。将来人们在玩《口袋妖怪 GO》的时候，就可以借助于IDV来和宠物小精灵互动了。在现有的的游戏界面里，宠物小精灵只是覆盖在真实世界上面上的一层贴纸，玩家并不能和它们自由互动，精灵们也不能与环境互动。

IDV | 图片来源CSAIL

领导这一项目的是CSAIL博士Abe Davis，他表示“这项技术可以让我们捕捉到物体的物理动态，让我们在虚拟空间里和物体玩耍。”据判断判断，可能利用了类似傅立叶变换或小波变换的方法。Abe Davis对此不置可否，他告诉记者，具体的算法将于近期公开。

在被问及IDV项目与Magic Leap、微软HoloLens等在技术上的差别时，Abe Davis告诉记者“Magic Leap等专注于显示技术，我们的工作则是捕获并生成内容，这些内容未来可能在他们的设备上显示。他们所做的工作激动人心，但我所看到的Demo没有表明他们在研发同样的事情。”Abe Davis强调，AR技术与混合现实技术正在飞速发展，他很期待将来能与Magic Leap、HoloLens等展开合作。

2003年，MIT将计算机科学实验室与人工智能实验室合并，建立了CSAIL。无论是人数还是研究领域，CSAIL都是美国大学中最大规模的实验室。多位图灵奖得主都出身于此实验室，一般认为黑客文化也起源于此。