虚拟现实设计中“手”是如何使用的？

今天我们将探讨一个有趣的问题中手的使用。这次的文章是根据Jakob Johansson（CEO Gleechi）和Kai Hubner，PhD （CTO Gleechi）在DC讲座中整理的。

请大家攥紧拳头试想一下没有手的生活是多么不便，我们不能翻开书本，不能抓取杯子，不能弹奏乐器，不能和朋友击掌，等等。灵活的双手为生活带来了太多便利，是生活中不可或缺的一部分。Gleechi公司致力于研究机械手已经有8年的时间，直到市场的打开，Gleechi公司发现机器人和中的角色人物有太多相似的地方，关于如何抓取物品，如何与物体交互？这个在机器人研究中的关键问题，也成为了领域所需要解决的问题。

现在很多的游戏，关于手的操作都有很大的问题，例如物体直接跳到虚拟手上，虚拟手穿过物品，或者当使用隐形的虚拟手时，我们只能看到物体悬浮在空中。而导致这些的原因是因为人手的结构非常复杂，尤其实在人们尝试用手和物品进行交互时，事情就变得更加复杂了。下面我们将具体谈谈如何在开发中解决这些问题。

历史上。世界第一个机械手是由devol&Engelberger，Unimate (1960年) 发明的。这个机械手自由度为1DOF (degree of freedom)，只能在一个维度上抓取物品。现在的机械手发展与真实世界的手更加接近了。我们将基于以下三个方面谈谈机械手和虚拟手的发展

1、手的设计和输入（Hands Design & input）

关于这个话题，我们将通过性能（performance）和灵活性（flexibility）两个方面做出介绍，正如下图

高性能的手在工厂里经常使用，它快速，强大，准确，适合做重复性工作。

高灵活性的手与不同的物体有更多交互，但性能可能较差。

人手处于居中位置。

所以在应用开发中，我们如何选择输入设备呢？这个问题也可以通过性能和灵活性两个方面做出解答。拥有高性能的动作控制器（motion controller）提供了友好的操作，用户只需要按下简单的按钮去完成任务。对于复杂的手指跟踪我们更愿意选择灵活度高的摄像机。

2、物体交互（object interaction）:

物体是交互中重要的一部分，物体会决定手的交互方式。谈到这个问题我们先来介绍一个简单的概念可供性（affordances）: 是环境与生物体之间的关系，通过一系列的刺激，为生物体提供一个机会执行动作。 比如机器人看见一个锅手把，他会与手把交互，举起锅子。如果看到一个轮子，他会想旋转它，如果是斧子，他会想举起它。

3、抓取分类（Grasp Taxonomies）:

我们对不同的抓取进行了等级分类，如下图所示

力量抓取（poer grasp）和精确抓取（precision grasp）。根据不同物品和你将对物体进行不同的操作，例如握住一个球或者夹起一根笔。我们从可供性，工具和分类三个方面，决定了如何抓龋Aaron M. Dollar两年前的一个有趣的研究，他对一个佣人和一个机械工程师的日常手部操作进行观察研究发现，两人超过50%的操作都集中于三种抓取动作，佣人的力量抓取比例大于精确抓取，而工程师相反。

那么在下图的游戏开发中，我们应该怎么做呢？

我们可以看到场景中有各种物品，我们需要使用力量抓取去得到一个重物例如图中的铁锅，而抓取一个较小的叉子，我们使用精度抓龋

了解了概念之后，我们开始进入重点，虚拟抓取（virtual Grasp）。我们关注于如何让虚拟手在世界中更加贴近自然手的操作，我们将从

手的展示（Representation of hands）。

物体交互(Object interaction) 。

输入 (Input) 。

三个方面的细节谈谈虚拟手。

1、避免恐怖谷(Avoid the uncanny valley) 恐怖谷理论是一个关于人类对机器人和非人类物体的感觉的假设，它在1969年被提出，其说明了当机器人与人类相像超过一定程度的时候，人类对他们的反应便会突然变得极反感，即哪怕机器人与人类有一点点的差别都会显得非常显眼刺目，从而整个机器人有非常僵硬恐怖的感觉，有如面对行尸走肉。如果游戏中，我们使用与人类手非常相像的一双虚拟手，虚拟手的行为却不自然，那么用户就会感到害怕和不适。

2、避免特性手 (Avoid hand personalities)，比如很大或者很小的虚拟手。或者一双行动自然的虚拟手，皮肤颜色与用户不同。

3、Be consistent(一致性)关于虚拟手的一致性，比如当我们在应用中选择与真实人手最接近的模型来进行交互时，我们希望交互的效果是最自然的。当我们选用机械手的模型进行交互时，物体可能会跳到虚拟手上。隐形手可能是一种解决虚拟手和物体交叉穿过的好办法。卡通手会在抓取到物体的时候消失。我们也可以让虚拟手拿一个工具来进行交互。

例如下表所示

上图表格从上到下，手的展示越来越抽象，下图表格，随着手的展示抽象感增强，交互的复杂度随之减少。

4、忽略手臂(skip the arms) 因为手臂在虚拟场景中会有很大浮动，影响整体效果。

5、思考关注场景中的每个物体(think long and hard about every object in the scene) 让场景中的物品尽可能的与虚拟手交互。

6、使交互物品可观察 (make is obvious ho to interact ith object) 不要使对一个物品有很多复杂的操作，这样开发会变得更复杂。

7、选择最自然的抓取 (pick the most natural grasps): 思考人们想在虚拟环境中对物体做什么操作，比如一个杯子，我们会用它喝水，把他放进洗碗机，把它摔在地上..等等。，正如我们之前提到的，抓取操作有很多种，物体的不同，使用目的不同，抓取的方法也会不同。

8、根据使用案例选择控制器 (choose controller based on the use case)如之前我们谈到过的运动控制器（Motion controller）在游戏中更容易使用，用户不用考虑太多，只需要按下按钮。而当我们用到肢体语言时，手指的追踪就显得尤为重要了。

9、反馈（use feedback）告诉用户他成功的拿起了物品，比如使用声音，或者视觉上感受到物体被拿起，或者高亮被操作的物品。

10、有时手的操作回馈会显得奇怪(Some times hands and feedback gets eird)有时玩家对物体进行预测不到的操作，可能会得到奇怪的反溃

虚拟手的操作是开发中的重要部分，希望大家通过这篇文章对于虚拟手有了更深层次的了解，对于虚拟手在应用中的选择也有了更准确的把握。