迪士尼在研究一种AI 让声音和画面的剪辑同步

从技术的视角来看，擅长叙述梦幻故事的迪士尼，在这方面的积累深厚无比。那些隐藏于上海迪士尼乐园的奇妙技术，只是其冰山一角。如今，迪士尼正投身于人工智能研究领域，意图助力视频剪辑师们的工作更加得心应手。

迪士尼研究部门，携手瑞士的苏黎世联邦理工学院，正致力于开发一套前所未有的系统。这套系统具备一项独特的本领——在识别画面的基础上，将画面与相关的声音紧密相连。

听起来似乎颇为玄妙，但其实这是我们日常生活中的常见现象。例如，当我们看到关门的动作时，便会“想象”出特定的关门声音。本质上，是人们将视觉信息与声音信息相互关联。而这项研究的初衷，就是培养机器拥有这种关联性。

在建立画面和声音的紧密关联上，最大的挑战是处理那些与画面中的物体运动无关的声音。比如，汽车在马路上行驶的声音，附近公放的音乐，这些都可能成为干扰源。

他们的训练方式颇为独特，给机器人喂食一系列随手拍摄、带有声音的视频。在喂食前，他们利用软件精心筛选，剔除画面中那些含有较低杂音或纯背景音的部分，然后将剩余的画面和声音输入系统，进行训练。

在欧洲的一次大会上，这些研究员展示了初步的的研究成果。他们训练的AI系统成功地将画面和声音进行配对，如关门、杯子碰撞和汽车在马路上行驶的声音与画面。

虽然目前尚不清楚这项研究将如何具体帮助迪士尼，但在研究报告中，研究员们称，他们的技术除了有助于视频画面的声音匹配外，还可能有助于视频资料的分类和运动识别。这些听起来或许能够帮助剪辑师在后期剪辑时提高效率。

作为支援部门，迪士尼研究部门的研究看似与其他科技公司无异，但其研发的主要目的都是为了应用于迪士尼的旗下业务。值得一提的是，去年这个研究部门还推出了一项新的眼球追踪技术，几乎可以逼真地复制人眼。他们运用大量摄像头和灯光来捕捉人眼的每一个细节，并且确保复制品能够根据环境的变化而发生改变。

或许在不久的将来，我们可以期待这些技术在迪士尼的各大乐园、电影、电视剧以及短片中得以应用，为观众带来更为沉浸式的体验。而这一切，都离不开迪士尼研究部门的不懈努力和。题图摘自维基百科。