分享到微博 分享到人人 分享到LinkedIn 分享到Email
隐秘之桥——人机交互技术探秘
作者 微软研究院
2010年2月25日

文章转自《大众软件》
记者 冰河
大众软件封面 2010年对于中国网民来说拥有一个眼花缭乱的开头。虽然百度被黑和谷歌发火引起了一些注意力,但所有人都相信这很快会过去,中国互联网是世界上最活跃也是最有发展潜力的领域,所以搜索引擎翻不起什么风浪,没有了这个,一定会有那个来顶上,无论是谷歌还是百度莫不过如此。所以与其关注搜索引擎那些事儿,不如上网看看《阿凡达》的IMAX3D档期还有多久,并且想办法去买张票。毕竟2D影片已经被撤,只能看3D。而BT china已死,我们固然还能娱乐,但下载是不可能啦。而且对于《阿凡达》这样的3D电影,下载版根本不能体会到其妙处。詹姆斯·卡梅隆这个电影技术狂人,再一次将我们引领到了一个无可比拟的新世界中。

《阿凡达》的3D技术固然绚丽,但还说不上是最让人关注的技术亮点。3D画面这种更加让人深入视频体验的技术方式,事实上早已存在很多年,无论是NVIDIA在2009年推出的3D效果显卡,或者是三星、明基推出的3D效果显示器,乃至于网络游戏业界目前热炒的3D效果网络游戏,都证明3D技术目前已经到了比较成熟的应用阶段。《阿凡达》对于熟悉电脑信息技术的人来说,最大的亮点是其中呈现的各种各样先进的人机交互技术。这部电影里呈现了太多曾经出现在我们梦想中的东西。比如那个著名的“阿凡达”,就是游戏行业上下梦想多年的真人代入游戏体验的样板。影片中对于文件的转移处理,都是直接采用手势识别,用手做个拉拽的姿势,就把文件转移到另一个存储器中。更不要说人类军队在商议进攻神树之前,细致而逼真的激光全息立体投影沙盘。很多技术都是业界早已研究多年的内容,不过如此集中而逼真的呈现在公众面前,这还是第一次。因此《阿凡达》对于普通人来说,不仅仅是抵抗强制拆迁的钉子户传奇,或者是3D立体CG画面的大杂烩,更是信息技术未来发展前景的提前预演。托《阿凡达》和卡梅隆的福,我们终于看到了未来我们可能面临的生活,就如同电影表现的那样。可能有各种各样让人沮丧、失意乃至愤怒出现。但人终究能用技术给自己找到一条出路,而并不仅仅是成为技术的奴隶。

所以,这一次我们选择探讨一下人机交互技术,看看我们如今的生活,距离《阿凡达》还有多远。

一、“第六感”的启示

2009年2月10日,在美国加州的TED(technology、entertainment和design)组织的技术大会上,来自麻省理工学院媒体实验室(MIT Media Lab)的研究员普拉纳夫(Pranav Mistry)向公众展示了一项传感技术研究,这项研究被他称作“第六感(Six Sense)”系统,是一个可佩戴的姿态交互系统,通过摄像头、投影播放器、手势感应器等一系列技术上并不复杂的小装备,有机的组合工作,将用户周围的事物,与互联网无缝连接在一起,用户可以通过自然手势与电子设备进行输入输出交互。根据普拉纳夫的现场讲解,在上百万年的进化中,人类一直在学习感知周围的世界。当遇到某事某人,或来到某地时,我们使用天生的视觉、听觉、嗅觉、触觉、味觉这五感来收集信息,然后决定采取什么样的行动。可是实际上,大多数有用信息并不来自五感,而来自人类千百万年来对万事万物积累下来的各种数据、体验和知识,这也是人类得以超越其他物种成为生物链最顶端物种的根本原因所在:人具备学习和传承的能力。但在互联网时代,这些信息在互联网上已经逐渐汇聚成信息的海洋,拥有信息已经不是个最关键的问题,如何处理信息并作出相应反馈成了阿基里斯的脚后跟。虽然目前计算机设备的小型化技术已经可以让我们把电脑放进口袋,随时随地保持与数字世界的连接,但是仍然无法让数字设备直接参与我们与真实世界之间的互动:信息只能被印在纸上,或是显示在屏幕上。而第六感系统的技术先进性就在于跨越了原有交互界面的鸿沟,将无形的数字信息和有形的世界连接了起来,让我们能够通过自然手势与这些信息交流,并通过各种方式展示出来。第六感系统通过无缝整合信息和现实世界,突破了对信息的限制,将整个世界集成放进了随身的处理器中。

第六感系统的原型设备由一个便携投影播放器和一个摄像头组成,它可以像手机那样挂在脖子上。投影仪和摄像头连接到用户口袋中的移动计算设备,投影仪可将输出的虚拟信息投影到任意平面上(墙面、桌面、地面、商品包装、书籍封面、手臂、别人的衣服等等),摄像头则采集视频数据。通过图像识别技术可以区分用户手势与自然物体,使用简单的计算视觉技术就可以跟踪用户指头上彩色指套的轨迹(称为虚拟轨迹基准点),这些基准点的移动和排列被翻译成与机器交流的语言,用户手势中有效指头的数目与基准点的最大数目有关。第六感系统还支持多处同时点击以及多用户交互。

第六感系统的原型实现了多个功能,充分展示了系统的实用性、灵活性和发展潜力:用户可以调出一幅地图,通过手势,可以像在其他电子产品上那样对地图进行浏览缩放,从一地拖到另一地。用户还可以用手指当笔,在任意平面上作画。第六感系统可以识别用户的特定手势,例如,两手比出一个“相框”的手势就可以将相框内的景色照下来,之后可以随时在平面或墙面上翻看照下来的相片。当用户在空气中绘制出一个‘@’符的时候,系统就会打开邮箱查收邮件。第六感系统还可以将搜索到的当前场景里物体的信息投影到物体的表面供用户参考,想象读一份报纸的时候,相关的视频直播新闻或是动态信息就会打到纸面上,其实际效果可以参考电影《哈利·波特》中的魔法报纸。用户只要在空气中划一个圆,就会瞬间在手腕上制造出一只手表等。总之,第六感的应用范围看上去更多的是受制于人类的想象力,而不是受制于信息技术。

从表面上看,普拉纳夫的这项研究在技术上并没有呈现出太超前的先进性,但其应用原理却达成了许多研究者多年以来试图达到的突破:电脑通过彩色指套的虚拟轨迹基准点识别人的手势,并通过软件正确解读手势所代表的意图。这种技术堪称鼠标诞生以来最重要的人际交互设备技术,这其中的“识别&解读”是突破的意义所在。其实相对“手势识别”来说,更方便更具有超前性的“语音识别”,乃至“意识识别”都已经研究多年,但首先识别的精确性和容错能力始终达不到要求,其次对于识别信号的解读更是遥遥无期。因此“第六感”的系统原理也许不能为其他的人机交互技术直接套用,但也是非常有价值的经验积累。此前索尼也有类似的视频摄像头识别技术应用EyeToy,但效果并不算理想。普拉纳夫的展示则证明这种手势识别交互手段在技术上已经足够成熟,可以投入大规模应用。目前,普拉纳夫的“第六感”原型系统的成本大约为350美元,远远低于很多信息处理设备的价格,而它的应用领域却要远远高于传统信息处理设备。对于如今贫富分化日益严重的社会来说,这是个不折不扣的福音。

普拉纳夫的“第六感”系统展示视频首次出现于2009年2月的TED加州会议,在2009年11月的TED India上,他再次展示了经过改进的“第六感”系统,在稳定性、精确性和手势识别范围上都得到了有效的提升,已经能够映射实现越来越多的日常行为。更难能可贵的是他表示愿意将此技术开源,使得更多的平常人能从中获益。为此《连线》杂志的主编Chris Anderson评价他为当今全球最伟大的几个发明家之一,这不仅仅是出于对他技术成就的肯定,也是因为对其所拥有的分享精神的高度评价。而普拉纳夫在TED India上的展示视频,也迅速成为2010年初互联网电脑技术爱好者们最为追捧的视频。但对于普通人来说,第六感也有非常高的启示意义,它展示在现有技术基础上,合理的想象力对于技术应用的拓展。“创新”并不仅仅意味着技术上的突破,更多的在于应用上的奇思妙想。人机交互技术在中国也并不算是什么特别新兴的科技领域,无论是中科院还是国家几所重点高校,在这方面的技术研究也有很多年的积累,但在实际的应用上却一直乏善可陈,其表现甚至不如2007年南方市场骤然涌现的山寨机设计应用。如何合理的把握技术与应用的均衡,寻找到合适的突破点,“第六感”系统对于中国的人机交互技术研究者以及普通的IT技术开发者来说,都是一个良好的研究典范。

名词解释:人机交互技术

人机交互技术(Human-Computer Interaction Techniques)是指通过计算机输入、输出设备,以有效的方式实现人与计算机对话的技术。它包括机器通过输出或显示设备给人提供大量有关信息及提示请示等,人通过输入设备给机器输入有关信息及提示请示等,人通过输入设备给机器输入有关信息,回答问题等。计算机用户界面设计是人机交互中的重要内容之一。它与认知学、人机工程学、心理学等学科领域有密切的联系。

二、未来不是梦

普拉纳夫在进入麻省理工学院媒体实验室之前,曾经在微软研究院就职用户体验研究员。而微软在人机交互技术上的研究也一直走在世界的前列。Windows7的多点触摸技术是近年电脑平台上人机交互技术应用的突破之一。除了多点触摸技术,微软在人机交互技术其他领域的研究与储备也是有目共睹的,微软亚洲研究院院长洪小文就是国际公认的语音识别专家。无法断定普拉纳夫的“第六感”系统是不是在微软的技术研究体系中也有相似的成果,但从微软每年的技术展示来看,相关方面的技术应用研究内容也是极为丰富的。因此,采访微软亚洲研究院的人机交互技术研究,就成了无法回避的选择。为此本刊记者联系了微软亚洲研究院,负责人机交互研究的研究员赵晨博士接受了本刊记者的采访。她从入门的层面进行了详细的讲解。

“人机交互技术听上去是一门很尖端的科技,但实质上它是一门偏重于应用多于技术理论的研究,用户(就是人)跟系统(就是机器)之间互动的关系,这个系统可以从大到小,小到日常用的鼠标、键盘或者汽车上的GPS导航,大到飞机里的飞行操纵系统等,人机交互实际上跟普通人的生活息息相关。一个最容易被理解的例子就是电话,最早的电话都是人工转接,只有负责插线的接线员有人机交互的工作,后来出现了自动转接的转盘电话,接着又演变成按键电话,使得拨号时的错误率下降了约30%,这就是因为人机交互界面上的改进带来的效率提升,使大家拨号更简便。而进入手机时代,由于手机承担的功能更多,不仅仅是简单的拨号和通话,还可能需要承担发短信、写邮件、计算汇率乃至玩游戏的功能,手机上的输入界面变得更加复杂而多样化,既有传统的12键界面,也有黑莓手机样式的全键盘界面,还有诺基亚NGAGE式样的分离式键盘界面。总之因为应用功能的拓展,人机交互技术在其中发挥的作用越来越大。

那么人机交互到底是如何发挥作用的呢?可以把它简单分成两个方面来表述,一方面是改进,一方面是改变,改进就是使现有的技术越来越好用,改变就是说我们研究人员在想未来生活是什么样,然后试图用我们所进行的技术研究去实现对于未来的设想。对于技术的改进,微软的Office Word软件演变过程就是一个非常好的典范。最早的Office Word软件只有几个应用条,然后到Office Word1994的时候,就出现了大家非常熟悉的右键下拉菜单。到Office2003的时候改进就更多了。这是通过研究用户使用习惯和规律,使软件越来越好的满足大家需求。到今天的Office2007,可以看到最早Word1.0的时候,软件大概只有五十多个功能,如今已经有超过250个功能了。 大家可能注意到Office Word 2007 的界面与以前的版本相比,有较大的不同. 用户最常使用的菜单命令都只需要一次点击就可以完成. 在Office Word 2007设计之初做了大量数据分析和用户体验研究, ,发现最常用的5个命令是粘贴、保存、复制、撤销、加粗这种非常基本的操作, 因此这几个操作被放在界面的最左上角, 这是整个界面中用户注意焦点之一. 这个新界面的设计改变也许很多用户来说不是多么大创新, 但如果考虑到Office的众多用户, 即使每个用户每天节省1秒钟, 也是很大的贡献. Office界面设计的改进是关于如何改进现有技术的事例,而如果谈到如何改变这个世界,那么这个话题就非常广阔了。最容易被用户所理解的一个例子,是电脑的输入输出手段,40年代的时候大家用的是控制板,通过编译命令之后转化成二进制的语言,然后据此制作穿孔纸带输入计算机,让计算机理解人的命令。后来键盘这种直接输入设备出现,操作系统也变得更加直观可视化,字符操作界面就出现了,大家比较熟悉的DOS操作系统就是基于这种人机交互体系,然后Windows将大家带入图形操作界面,鼠标和键盘成为最简便的人机交互工具。这个发展过程在计算机技术的早期是很难预想到的,技术并不一定能将研究带往这个方向。但是当人对于操作系统界面引入‘桌面’的联想后,图形界面特别是现在这种图标快捷方式的界面就被技术一点点实现出来。”

根据微软亚洲研究院方面提供的材料,微软的人机交互组采用基础研究与易用性、用户体验、交互设计实践相结合的研究模式,旨在推动人机交互学科的发展。利用计算机科学、行为科学、交互设计的综合背景来从事众多类型的项目,从而创想,构建和评估新交互界面和技术。从概念设计草图到孵化新产品,其研究目标是让技术成为促进人和信息交互的媒介,平衡用户在强大功能和简洁界面间的需求,从而扩展人机交互的潜能。目前主要致力研究的技术领域主要集中在以下的内容。

自然的云+端交互项目

如今真实和虚拟世界之间的界限逐渐变得模糊。这意味着人们在真实世界中活动时,对获取数字信息并与之交互的需求也大大提高。“自然的云+端交互”研究主题旨在探索那些能够增强和扩展用户自身能力的方式,其目标是在多样化的现实情景中帮助用户从“云端”实时获取其所需的大量信息。

企业级社会计算

随着web 2.0 技术和社会化媒体的迅速增长,势必也会对人们的工作方式产生深刻的影响。“企业级社会计算”研究主题致力于理解工作情境中的社会交互范式,企业团体内部社会网络的形成机制,社会网络结构对信息传递速度的影响,以及社会网络结构对团队绩效的影响,从而设计适用于企业环境的社会软件以实现采撷大众之智慧推动创新的终极目标。

互联网用户体验

随着互联网演化为提供丰富的多媒体内容的平台,就需要创新的视觉化方法、搜索界面和网络功能模块来浏览和探索多元化的社会、科学、文化、语言和地理等方面的数据。在“互联网用户体验”这个研究主题之下,主要采用以布署为驱动的研究方式来设计和评估新的界面概念,革新用户的在线体验。

这三个领域是目前互联网应用研究最热门的方向,除了微软之外,苹果、谷歌、索尼、任天堂等企业分别从不同角度在其中选择开发独特的技术应用。但对于微软来说,人机交互技术的开发并不集中于尖端科技的突破,如何从应用层面上入手,寻找真正具备应用价值的方向是更重要的选择。毕竟对于微软这样一个企业来说,需要用全新的技术突破来证明自己的年纪已经过去了。如何最大限度的满足最多用户的丰富需求,才是真正有说服力的证据。微软亚洲研究院向本刊记者提供了来自微软和中国科学院软件研究所的一些技术方向上已经相对成型,可望在未来投入实际应用的具体研究项目细节。

1.用于计算机自然界面的手指动作感应

几十年来,键盘和鼠标一直是我们与计算机互动时所使用的主要输入方式。虽然它们非常有效,却无法继续支持我们希望与计算机互动的所有情境——比如移动计算和无处不在的计算。我们的研究考察了可穿戴的传感器,使我们能够用更自然的手势与我们身边的计算机进行互动。在这项工作中,我们特别设计和制作了一个臂圈传感器,它能够直接感应肌肉活动,推断现实世界中用户的手指动作。这些手指动作构成了丰富的信号,可以输入计算机,控制它们的运转。目前这个项目存在的问题还是在于精确性和意图识别。精确性可以通过软件的模糊计算和硬件的敏感度提升两方面来改进,意图识别则需要对用户的行为进行更详细更本质的归纳,然后进行针对性的应用设置。

2.通过隐形眼镜提供随时可见的显示

计算机显示器一般都坐落在固定地点环境中,例如我们的书桌,甚至我们口袋里的移动电话。然而,移动和随处计算技术所取得的进展让我们看到了新的机遇——源源不断地向用户提供信息。在这个项目中,我们制作了隐形眼镜原型,可以直接显示增强的现实场景。只要用户佩戴这个装置,我们就能够随时随地将信息叠加在他所看到的现实世界场景之上。例如,它可以在用户看到他人时提示对方的姓名,或者在一个陌生城市指示方向。经过一些处理,它就可以把场景中出现的文字翻译成用户能够理解的语言。它也可以用来跟踪诸如交通和天气信息等,就好像你随时随地都能让桌面显示器出现在视野中。目前这个研究存在的问题在于隐形眼镜显示器的温度控制,人眼对于温度的变化非常敏感,镜片温度高于人眼环境温度0.5度就会让人眼受不了。所以目前的镜片最多只能佩戴5秒钟左右,实用意义不大。未来将会在镜片的发热量控制,舒适性还有稳定性等方面进行改进。

3.IdeaNote:辅助思维的笔式智能工具

知识的产生是人类社会进步的标志,对于当今社会非常重要。在知识形成的前期,人们所拥有的往往只是一些模糊的认识或经验,这些信息是不成熟、片段性的,但其中却蕴含着闪光和最有创造性的内容。因此,对于思维信息的管理是整个知识管理阶段非常关键的一个时期,如果能通过先进的计算技术帮助人们快速记录想法,高效组织和管理思维片段,就可以辅助人们启发思维,完善认识。目前,传统的办公软件无法满足这一需求。IdeaNote是一个专门用于辅助思维的笔式智能工具。利用UMPC/Tablet PC等笔式移动设备,IdeaNote支持用户随时随地用笔记录想法,并进行高效编辑。通过机器学习等智能化技术,IdeaNote能智能化地理解、组织和编辑用户思维片段中的常见结构,如列表结构、树型结构等。同时,IdeaNote提供了对思维片段的智能检索,用户手写输入关键内容,就可以在以前的思维片段中找到相关的结果。该工具相关的研究成果发表在计算机领域著名的国际会议ACM Intelligent User Interface 2009上,获得国际同行的高度认可。

4.UbiGreen:鼓励环境保护

UbiGreen通过行动推断技术,将运输活动信息显示在个人的手机屏幕背景上,随时提醒机主的每周交通工具使用情况以及二氧化碳减排量。UbiGreen帮助人们更多地了解自己的出行方式,而且如果这些方式可以减少对环境的影响(如步行、骑自行车或乘坐公共交通工具),就会给他们积极的反馈。UbiGreen可以帮助用户通过个人习惯的转变来改善全球环境。如果用户在过去一周内实践了绿色出行,树上就会长出叶子并开花。UbiGreen还会高光显示屏幕下方代表绿色行为指数值的图标。在这个案例中,省钱和体育锻炼成了步行的副产品。

5.记事空间:增强现实记事贴

人们希望将来可以很方便的在不同地点获得同样的媒体和信息,并且是跨越不同的设备上获得-从PC到手机,从投影仪到头戴式显示器。我们怎样能为用户提供一致的和方便易行的方式来让他们和对他们而言很重要的信息和媒体(提醒,社会和新闻,书签)进行交互?我们怎样能够帮助用户自然的从当前的工作中心(如看电影,写了一份文件,浏览网页)切换走,来与这些特别意义的事情进行定期交互互动?这个项目的目的就在于探索与任何类型的数字信息或媒体进行互动的新的方式,它显示为“记事贴”状图标,悬浮在环绕用户的三维空间中。这些记事贴只有通过“增强现实”才看的见 ,用户会看到事先已被软件修改过的实际场景的视频。我们称这样的增强现实记事贴的个人媒体空间为“记事空间” 。用户通过把摄像头指向他感兴趣的方向(例如对着她的电脑显示器)并且设定他当前环境的方位地图来圈定“记事空间”的起始点,接下来,用户通过移动她的摄像头来扩展环境地图并插入事先创建好的记事贴。无论用户何时何地访问他的“记事空间” ,他都会看到在同样的相对位置有同样的记事贴,我们的项目是基于物理交互的互动方式来让用户方便的和一致的在不同设备之间交互,并支持定时的与增强现实便条进行交互(如每隔5-15分钟)-来显示那些特殊的或者正在进行的对用户而言很重要的事情(如社会网络活动)。这个项目的主要特点是它能够利用任何的只要有摄像头和显示屏的计算设备,使用户能够建立一个丰富的“周边”信息和媒体,来帮助她的生活,工作和娱乐。这种从使用鼠标的间接浏览和整理图标的两维显示到使用摄像头在三维空间安排便条的过渡,目的是让用户感觉那些对他而言特别重要的事情总是随时随地可触的。

“记事空间”概念确实是一种新的方式来思考我们如何与各种数字信息和媒体进行交互。这不仅包括文字便条,文件,应用程序快捷方式的静态排列,更是能够将各种媒体收集(如照片,专辑封面)投射到真正的三维空间,并动态的根据从社会网络,新站点和合作文件空间等等来的信息源的演变来创建和重新安排。在工作中,从电子邮件和其他处来的提醒通知可以在空间中呈现,随着摄像头的移动轻轻飘动。在家中,可以在环绕现实事物的虚拟屏幕上切换频道,可以用手机来浏览选择。无论用户处于何地,都可以通过共享的“记事空间”开展交流 。这个研究领域有许多可能性,我们才刚刚开始探讨这个方向。

三、人的认知?决定技术的方向

在采访中,赵晨博士的专业方向引起了本刊记者的注意。心理学博士,这样一个偏重于社会科学的专业会出现在微软亚洲研究院这样一个以计算机科学研究为主的机构中,着实有些奇特。赵晨博士认可了本刊记者的质疑,她告诉记者,类似的质疑对于她来说并不是第一次遇到,很多人看到她的专业方向时都会询问她是不是在微软负责心理咨询工作或者负责人事招聘工作,这都是源于公众对于人机交互技术研究的不理解。正如前面对人机交互技术概念的解释所表达的人机工程学、心理学, 设计等学科领域在研究工作中都发挥着非常重要的作用。她的工作在整个技术研究中处于非常基础的层面,因为心理学的一个重要内容就是研究人的认知,在人机交互技术研究中,认知可以说左右着技术研究前进的方向。举一个公众都可以理解的例子,公众场所的门,究竟应该采用向外推还是向里拉的方式打开?表面上来说两种方式都是可取的,但是如果从心理学研究的角度来说,向外推是更好的选择,因为对于公众场所来说,出现紧急状况需要立刻疏散大量民众的可能性是必须被考虑进去的,人在紧急的时候向外奔逃,必定会自然的采用向外推的方式来打开门,而且密集人群相互推搡的情况更会强化这一倾向,因此采用向外推的方式必然比向里拉的方式有更大的好处。这个例子反映出的思想属于人机工程学的领域,是人与公共设施系统的互动,人机交互技术研究和人机工程学有不同的侧重,但指导思路和应用的认知心理学原理是一脉相承。决定应用设计研究的因素非常多,心理学只是一个方面,技术的进步和积累也是实现新应用的重要因素。例如目前风行的触摸屏设计,从前使用者还需要配备一根专用的触屏笔,虽然也有直接用手指触摸操作的时候,但多数时间用笔会有更好的效果。后来苹果iPhone的手指触摸,手势控制等操作方式一出现,就立刻风行。从可用性和用户体验的角度来分析,直接采用手指操作,比用笔操作少一个步骤,同时也更自如,是更加进步的手段。不过在当时的技术条件下,触摸屏采用的是电阻式反应设计,主要是对屏幕表面的压力产生电反馈,实现信号的分析和传递,手指的接触面积要比笔大,压力变化体现不明显,信号就不够精确,因此在当时的技术环境下不得不用笔作为更好的技术实现手段。现在的触摸屏采用的是电容式反应设计,主要对屏幕表面的微量摩擦静电产生反应,用笔接触面积小反而不一定能产生足够的静电,于是手指直接触摸自然就是更好的选择。说到底,心理学在技术研究中扮演的角色就是保证在现有的技术条件下,为应用的实现寻找到更便利更人性的解决思路。

对于微软正在进行的下一步技术研究,赵晨博士向本刊记者选择透露了一些。首先是社会性网络交互的应用,例如目前互联网上流行的各种SNS社区,其技术实现难度并不算高,但如何适应更多网民,更复杂的应用需求,是当前研究面对的难题所在。其次是传统类软件面对互联网环境的改进,例如办公类软件、播放器软件存在的互联网内嵌应用需求。还有如今连接到电脑平台的硬件设备越来越多,例如各种移动处理设备、游戏外设等。这些设备相当于电脑平台的一个外延,但在当初的人机交互设计之初并没有考虑这些连接上来的设备,因此如何处理这些不同种类的硬件与电脑平台的交互,也是目前越来越明显的需要。但归根结底,人机交互技术研究的终极目标是自然用户界面,不用通过任何学习,人就能和计算机非常自然的交互,类似人和人的交互。《阿凡达》所展示的应用就是一个缩影。