浅谈情感计算——人机交互技术新前景

2015-2016学年第一学期

《人机交互的软件工程方法》

课程大作业

学生姓名熊利

学号5011213509

所属学院信息工程学院

班级计算机17-5

授课教师范振岐

塔里木大学教务处制

浅谈情感计算——人机交互技术新前景

摘要：情感在人类的认识和人机交互中起着关键性的作用．具有情感能力的计算机就是让计算机能够在和人类相处时更有智能、更为敏感和更为和谐和亲切。情感研究的进展与展望如何，情感计算的应用等都将是本文探讨的内容。

关键字：情感计算；人机交互；应用；展望

目录

1引言................................................................ - 1 - 2情感计算的发展与展望................................................ - 1 - 3情感计算的具体研究内容.............................................. - 2 - 4情感计算的基本内容.................................................. - 4 - 5情感模型的描述语言.................................................. - 6 - 6情感计算在人机交互设计中的应用...................................... - 8 -

6.1人机界面设计................................................... - 8 -

6.2人机接口设计................................................... - 8 -

6.3智能型教学代理人............................................... - 8 - 7情感计算的延伸应用.................................................. - 9 - 8总结............................................................... - 10 - 参考文献............................................................. - 10 -

1引言

情感计算的概念是在1997年由MIT媒体实验室Picard教授提出，她指出情感计算是与情感相关，来源于情感或能够对情感施加影响的计算。中国科学院自动化研究所的胡包刚等人也通过自己的研究，提出了对情感计算的定义：“情感计算的目的是通过赋予计算机识别、理解、表达和适应人的情感的能力来建立和谐人机环境，并使计算机具有更高的、全面的智能”。

2情感计算的发展与展望

情感计算研究的提出最早可以追溯到20世纪90年代初，耶鲁大学心理系的Salovey 教授提出了情感智能的概念，开展了一系列的研究。该概念随后被Goleman发展为与智商(IQ)相对的情商(EQ)，并随着Goleman的畅销书而迅速流行，在心理、认知、计算机等领域掀起了一个研究情感智能的小高潮。MIT的Picard教授根据这些新的概念和研究方向，于1997年出版了《情感计算》一书，希望赋予智能机器感知、理解和表达情感的能力。

很显然，开展认知科学研究不仅仅是为了满足人类智慧上的好奇心，更重要的是服务于人类，提高人类的生活质量。情感计算有广泛的应用前景。计算机通过对人类的情感进行获取、分类、识别和响应，进而可以帮助使用者获得高效而又亲切的感觉，并有效减轻人们使用电脑的挫败感，甚至帮助人们理解自己和他人的情感世界。计算机的情感化设计能帮助我们增加使用设备的安全性，使经验人性化，使计算机作为媒介进行学习的功能达到最佳化。在信息检索中，通过情感分析的概念解析功能，可以提高智能信息检索的精确度和效率。在电子商务领域，在设计购物网站和股票交易网站等时充分利用人的情感因素的作用，以改变客流量。针对人的肢体运动，可以设计一系列运动和身体信息捕获设备，例如，将智能座椅应用于汽车的驾座上，用于动态监测驾驶人员的情感状态，并提出适时警告。多模式的情感交互技术能构筑更贴近人们生活的智能空间或虚拟场景，而机器人、智能玩具、游戏等产业则能构筑出更加拟人化的风格和更加逼真的场景。

情感计算是一个高度综合化的研究和技术领域。通过计算科学与心理科学、认知科学的结合，研究人与人交互、人与计算机交互过程中的情感特点，设计具有情感反馈的

人与计算机的交互环境，将有可能实现人与计算机的情感交互。情感计算研究将不断加深对人的情感状态和机制的理解，并提高人与计算机界面的和谐性，即提高计算机感知情境，理解人的情感和意图，作出适当反应的能力。

进入新世纪以后，特别是近年来，随着普适计算、人本计算、社会计算等概念和研究方向的提出，自然的人机交互日益成为各研究领域的研究内容和目标，情感计算也自然地成为各学科共同关注的热点、焦点。中国国家自然科学基金委也不失时机地支持了“情感计算理论与方法”的研究。

情感计算从本质上，是一个典型的模式识别问题。智能机器通过多种传感器，获取人的表情、姿态、手势、语音、语调、血压、心率等各种数据，结合当时的环境、语境、情境等上下文信息，识别和理解人的情感。在实际的自然交互系统中，智能机器还需要对上述信息作出及时的、恰当的、情感化的反应。情感之间距离的定义和计算方法是情感计算的核心问题，例如需要定义和计算“微笑、笑、大笑、狂笑”之间的距离，以便把它们分别聚类，从而使系统能够识别出不同程度的笑。遗憾的是，目前情感计算的研究还只能对情感进行粗分类，即识别7种典型的情感。

目前，我国在情感计算这一领域的研究主要在人脸识别。这一方面是因为人脸表情容易获取，易于分析处理，其成果具有重要的应用前景等；另一方面，也反映了情感计算研究的一个普遍的问题，即尽管人类是通过表情、语言、动作等各种信息的融合，识别和理解情感，但是，当前多模态情感数据获取、分析、融合、识别和理解，以及情景等上下文信息的融合依然是情感计算研究中富有挑战性的课题。实现具有情感反馈的自然的人机交互是情感计算研究的最终目标，这需要在上述情感理解的基础上，研究人类情感反馈和表达的机制，建立模型。

目前国内的研究成果已有基于已有的情绪模型，提出了虚拟人的认知结构，建立了一种新的基于动机驱动的自主情绪模型。清华大学戴振龙的论文则介绍了一种人脸表情的合成方法，能够生成具有细微表情动作的虚拟说话人。可以看出，这方面的研究在国际上依然是自然交互领域的一个新兴的方向，面临着许多挑战性的问题，具有广阔的发展前景。

3情感计算的具体研究内容

让计算机具有情感能力首先是由美国MIT大学Minsky教授（人工智能创始人之

一）提出的。他在1985年的专著《The Society of Mind》中指出，问题不在于智能机器能否有任何情感，而在于机器实现智能时怎么能够没有情感。从此，赋予计算机情感能力并让计算机能够理解和表达情感的研究、探讨引起了计算机界许多人士的兴趣。这方面的工作首推美国MIT媒体实验室Picard教授领导研究小组的工作。情感计算一词也首先由Picard教授于1997年出版的专著《Affective Computing》中提出并给出了定义，即情感计算是关于情感、情感产生以及影响情感方面的计算。

目前情感计算的研究普遍受到学术界和企业界的关注，国际知名公司，如IBM和British Telecom等均成立了专门的情感计算研究小组。国际知名大学也纷纷建立情感计算研究小组。总的来说，情感计算的研究均处于起步阶段。MIT目前的工作侧重于有关情感信号的获取（如各类传感器的研制）、情感计算的应用和可穿戴计算机。日本学者的研究侧重于感性信息处理方面。在情感计算的研究过程中，与之密切相关的可穿戴计算机的研究近几年来也得到了迅猛的发展（于1997年10月在美国波士顿召开第一次国际研讨会后已连续举行多次国际会议）。这种计算机的特点是可以巧妙地构成日常穿戴的一部分（如眼镜、手表、项链、手镯、腰带、鞋、帽、服装等），使计算机和其穿戴者始终保持形影不离。可穿戴计算机可为情感计算的研究提供一个很好的研究平台，另外情感计算的最终表现形式可能是可穿戴计算机或植入人体的芯片，从而将情感计算、移动计算和计算机融合而真正成为个性化的人机融合。虽说情感计算是一门新兴学科，但以往的研究也为其提供了一定的知识积累。从情感方面来讲，人类心理学和生理学的研究为情感计算提供了坚实的基础；从相关研究内容来讲，如人脸及面部表情识别、人脸及面部表情合成、手语识别与合成、气味识别等也是学术界一直研究的重点；同样各种医学器械、测谎仪等的研制成功也为情感计算提供了一定的依据。

目前人工智能的研究发展已经达到了较高的水平，同时它的研究内容也在逐步扩展和延伸。对人的情感和认知的研究是人工智能的高级阶段，它的研究将会大大促进拟人控制理论、情感机器人、人性化的商品设计和市场开发等方面的进展，为最终营造一个人与人、人与机器和谐的社会环境做出贡献。心理学家认为，人工智能下一个重大突破性的发展可能来自与其说赋予机器更多的逻辑智能，倒不如说赋予计算机更多的情感智能。对人的情感和认知的研究是在人工智能理论框架下的一个质的进步。因为从广度上讲它扩展并包容了感情智能，从深度上讲感情智能在人类智能思维与反应中体现了一种更高层次的智能。对人的情感和认知的研究必将为计算机的未来应用展现一种全新的方

向。在这个领域的研究中主要包括情感计算（Affective Computing）、人工心理（Artificail Psychology）和感性工学（Kansei Engineering）等。

根据情感计算的过程．可将情感计算的研究内容分为以下九个方面：情感机理、情感信息的获取、情感模式识别、情感的建模与理解、情感的合成与表达、情感计算的应用、情感计算机的接口、情感的传递与交流和可穿戴计算机。

从人类情感的交流过程来讲，情感计算的研究可分为四步：通过传感器直接或间接与人接触获得情感信息：通过建立模型对情感信息进行分析与识别；对分析结果进行推理达到感性的理解；将理解结果通过合理的方式表达出来。也就完成了情感交流的全过程。

根据上述过程，情感计算的研究内容主要应包括：情感信号的获取、情感信息的分析与识别、情感信息的理解和情感的表达。

情感信号的获取现在主要通过一些采集输入设备提取人的面部表情、语音语调和肢体动作，也就是特征提取。此外通过测量人的一些生理反应包括心率、血压的舒张压和收缩压、脉搏、瞳孔扩大、呼吸、皮肤导电、荷尔蒙胆汁的分泌以及皮色和体温等用于情感状态的识别理解。

情感信息的分析和识别主要是对所提取到的信息进行预处理、模式分类。

情感信息的理解就是根据上一步的分类结果和数据库中的模板进行比对判断。把所提取到的情感以最大概率确定出来，然后合成表情。

情感的表达就是把上一步理解的结果呈现出来进行交互。在这四个方面的研究中情感的识别和合成是目前的关键部分，也是我们研究的重点

4情感计算的基本内容

人们期盼着能拥有并使用更为人性化和智能化的计算机。在人机交互中，从人操作计算机，变为计算机辅助人；从人围着计算机转，变为计算机围着人转；计算机从认知型，变为直觉型。显然，为实现这些转变，人机交互中的计算机应具有情感能力。情感计算研究就是试图创建一种能感知、识别和理解人的情感，并能针对人的情感做出智能、灵敏、友好反应的计算系统。

情感被用来表示各种不同的内心体验（如情绪、心境和偏好），情绪被用来表示非常短暂但强烈的内心体验，而心境或状态则被用来描述强度低但持久的内心体验。情感

是人与环境之间某种关系的维持或改变，当客观事物或情境与人的需要和愿望符合时会引起人积极肯定的情感，而不符合时则会引起人消极否定的情感。

情感具有三种成分：⑴主观体验，即个体对不同情感状态的自我感受；⑵外部表现，即表情，在情感状态发生时身体各部分的动作量化形式。表情包括面部表情（面部肌肉变化所组成的模式）、姿态表情（身体其他部分的表情动作）和语调表情（言语的声调、节奏、速度等方面的变化）；⑶生理唤醒，即情感产生的生理反应，是一种生理的激活水平，具有不同的反应模式。

概括而言，情感的重要作用主要表现在四个方面：情感是人适应生存的心理工具，能激发心理活动和行为的动机，是心理活动的组织者，也是人际通信交流的重要手段。从生物进化的角度我们可以把人的情绪分为基本情绪和复杂情绪。基本情绪是先天的，具有独立的神经生理机制、内部体验和外部表现，以及不同的适应功能。人有五种基本情绪，它们分别是当前目标取得进展时的快乐，自我保护的目标受到威胁时的焦虑，当前目标不能实现时的悲伤，当前目标受挫或遭遇阻碍时的愤怒，以及与味觉（味道）目标相违背的厌恶。而复杂情绪则是由基本情绪的不同组合派生出来的。

情感测量包括对情感维度、表情和生理指标三种成分的测量。例如，我们要确定一个人的焦虑水平，可以使用问卷测量其主观感受，通过记录和分析面部肌肉活动测量其面部表情，并用血压计测量血压，对血液样本进行化验，检测血液中肾上腺素水平等。

确定情感维度对情感测量有重要意义，因为只有确定了情感维度，才能对情感体验做出较为准确的评估。情感维度具有两极性，例如，情感的激动性可分为激动和平静两极，激动指的是一种强烈的、外显的情感状态，而平静指的是一种平稳安静的情感状态。心理学的情感维度理论认为，几个维度组成的空间包括了人类所有的情感。但是，情感究竟是二维，三维，还是四维，研究者们并未达成共识。情感的二维理论认为，情感有两个重要维度：⑴愉悦度（也有人提出用趋近-逃避来代替愉悦度）；⑵激活度，即与情感状态相联系的机体能量的程度。研究发现，惊反射可用做测量愉悦度的生理指标，而皮肤电反应可用做测量唤醒度的生理指标。

情感是一种内部的主观体验，但总是伴随着某种外部表现，即表情。面部表情、姿态表情、语调表情三种表情被称之为体语，构成了人类的非言语交往方式。面部表情是指通过眼部、颜面和口部肌肉的变化来表现各种情感状态。面部表情不仅是人们常用的较自然的表现情感的方式，也是人们鉴别情感的主要标志。研究表明，人脸的不同部位

具有不同的表情作用，例如，眼睛对表达忧伤最重要，口部对表达快乐与厌恶最重要，前额能提供惊奇的信号，而眼睛、嘴和前额等对表达愤怒很重要。使用特定的仪器可以对面部的微小表情变化进行研究，甚至可以区分真笑和假笑：人在真笑时面颊上升，眼周围的肌肉堆起，大脑左半球的电活动增加；而人在假笑时仅有嘴唇的肌肉活动，下颚下垂，大脑左半球的电活动不明显。脸部运动编码系统FACS通过不同编码和运动单元的组合，可以在脸部形成复杂的表情变化，其成果已经被应用于人脸表情的自动识别与合成。还有MPEG-4 V2视觉标准，定义了3个重要的参数集，即人脸定义参数、人脸内插变换参数和人脸动画参数，其表情参数具体数值的大小代表人激动的程度，可以组合多种表情以模拟混合表情。目前面部表情的研究侧重于对三维图像的更细致的描述和建模，也注重使用复杂的纹理和较细致的图形变换算法，以达到生动的情感表达效果。人的姿态即身体表情，一般伴随着交互过程而发生变化，并表达着一些信息。而语调表情是通过语音的高低、强弱、抑扬顿挫来表达说话人的情感。在人际交往中，语音是人们最直接的交流通道。通过语音人很容易就能感受到对方的情感变化，就像“你真行!”这句话，既可以表示赞赏，也同样可以表示讽刺或妒忌。情感语音研究目前主要侧重于情感的声学特征的分析。语音中的情感特征往往通过语音韵律的变化表现出来（如当一个人发怒时，讲话的速率可能变快，音量变大，音调变高等），但也可同时通过一些音素特征（如共振峰、声道截面函数等）表现出来。中国科学院心理研究所、中国科学院自动化研究所、清华大学计算机系等机构都在从事相关研究。

在人机交互研究中已使用过很多种生理指标，例如，皮质醇水平、心率、血压、呼吸、皮肤电活动、掌汗、瞳孔直径、事件相关电位、脑电EEG等。生理指标的记录需要特定的设备和技术，在进行测量时，研究者有时很难分离各种混淆因素对所记录的生理指标的影响。情感计算研究的内容包括三维空间中动态情感信息的实时获取与建模，基于多模态和动态时序特征的情感识别与理解，及其信息融合的理论与方法，情感的自动生成理论及面向多模态的情感表达，以及基于生理和行为特征的大规模动态情感数据资源库的建立等。

5情感模型的描述语言

智能型计算特性大多采用无所不在的分布式计算模型，因此使用者状况及环境等情境数据有多方的来源．而系统所推导出的情感模型，也需要通过网络传递到其它有兴

趣的模块。因此如何建立外显的情感模型描述语言，并通过适当的网络协议将情感状态完整表达并传递出去，是一个重要的研究课题。目前大部分的情感模型描述语言都是虚拟人体描述语言的一部分。以下就几种包含情感标记的人体描述语言作进一步的说明。

AML(Avatar Markup Language)是一种基于XML的多形式脚本语言．设计的重点之一是希望它可以容易地被动画师了解．也可以容易地由软件产生。AML将脸部动画和肢体动画封装在一个附加同步化信息的表示法中。例如，在MPEG 4标准中．定义了一套关于脸部和身体的低阶动画参数，但并没有提供任何对于代理人的高阶控制方式。在此环境下的系统，中介层(Middleware Layer)显得特别有价值．它提供智能型的软件代理人可以轻易控制三维空间的图像表现，而不需要担负每次产生所有低阶设定的重担，3D内容制作者因此能简易快速地制作与分享丰富的代理人动画，AML的作用就是充当这一中介层。

CML(Character Markup Language)是一种基于XML语言的动画语言，为代理人的结合与在线应用软件或虚拟世界提供帮助。CML使用由上而下的方式，分开描述动作跟虚拟人的功能制定．角色动作、模型和语音定义在一个设定档，将情感等虚拟人的状态定义在另外一个设定档，定义角色特质、情感和行为等高阶属性．整合这些高阶属性，产生具备同步能力的动画脚本。而新的或者未被指定的行为可以由调和基本元素或属性形成。提供开发者一个具有弹性的动画语言。

VHML(Virtual Human Markup Language)是一个逐步形成标准且基于XML的语言，主要控制银幕上的虚拟人。使用VHML的虚拟框架是结合很多技术提供对网站拟人般的互动。VHML对每个型式提供子语言，如GML用于姿势、SML用于说话、BAML

用于身体、FAML用于面部；也提供比较高阶的子语言，如EML用于表情、DMML用于对话。以此实现使用者和虚拟代理人的互动简易化。

PAR(Parameterized Action Representation参数化行为表示)。PAR认为要表示一个行为，构成的要素应当包括行为的核心语义(状态变化、运动、力量)、行为的参与者、应用条件、准备条件、终止条件、后果状态、持续条件、行为目的、父行为、子行为、前行为、后行为、并发行为、开始时间、持续时间、优先级、运动轨迹、行为方式等。它描述了行为的诸多方面的特征．同时给出了行为的主要语义构成以及行为的时间信息，从而一方面可以根据语义对行为分类，另一方面便于实现行为的推理。

6情感计算在人机交互设计中的应用

6.1人机界面设计

情感计算可以用在一般人机界面的设计上，以提升应用的有效性。自然和谐的智能化人机界面的沟通能力特征包括：(1)自然沟通：能看，能听，能说，能触摸；(2)主动沟通：有预期，会提问，并及时调整；(3)有效沟通：对情境的变化敏感，理解用户的情绪和意图，对不同用户、不同环境、不同任务给予不同反馈和支持。而实现这些特征在很大程度上依赖于心理科学、认知科学和计算机科学对人的智能和情感研究所取得的新进展。我们需要知道人是如何感知环境的，人会产生什么样的情感和意图。人如何做出恰当的反应．从而帮助计算机正确感知环境，理解用户的情感和意图，并做出合适反应。因此，人机界面的“智能”不仅应有高的认知智力．也应有高的情绪智力，从而有效地解决人机交互中的情境感知问题、情感与意图的产生与理解问题，以及反应应对问题。以语音接口为例，具有警示作用的语调与速度，对吸引使用者的注意力，有相当大的帮助。而在轻松的情境下，感性缓慢的语调或动画接日将有助于使用者进入舒缓的状态。

6.2人机接口设计

在心理学上．人类通过语言、表情、肢体动作等方式将八个主要类别的情感表达出来。目前分辨人类情感的研究中能从表情中精确辨别出哪一类情感的仍属少数，而且辨别率约在70％左右。通过多模方式提高辨别率是一个新兴的研究方向。然而，情感计算的目的是了解使用者与环境互动过程中的意向或困难．因此是否能精确辨别出标准的情感状态．不是解决问题的必要过程。反而是能根据应用特性，检测出使用情境的感情状态，进而将此情境因素设计在人机接1：1的程序中．应是目前较为有效而值得探讨的作法。

6.3智能型教学代理人

在智能型教学代理人的应用上．一个具有情感功能的教学代理人，比一般的计算机教学软件更能真正根据使用者的情感了解学习情况．进而提出有效的表达方式．提高使用者的学习兴趣。按照教学系统的四大模块，智能型教学代理人可分为下述几个角色：使用者接口模块是与学习者进行互动的沟通者：学生模块是了解学习者认知状况的分析者；教学模块是选取最佳教学法的教学者：教材模块是提供适当教材的编辑者。

沟通者肩负询问、诊断、展示及记录责任。询问的责任是了解有关学习者的基本资料．诊断的责任是获得学习者的能力、认知状况及知识结构等的信息，展示的责任是将

教材呈现在输出装置上供学习者学习，记录的责任是记录学习者在学习时与系统互动的所有历程的信息。因此，沟通者是由询问代理人、诊断代理人、展示代理人及记录代理人所组成。沟通者由接口数据库，取得与学习者交互的方式及画面。分析者分为数据查核代理人、评价检查代理人及学习检查代理人，经询问、诊断及记录代理人取得的数据，由分析者进行分析。分析后，分别将结果储存于学生模块基本数据库、学习成就数据库及学习数据库。

7情感计算的延伸应用

情感计算及其相关研究对电子商务的发展也有较为明显的推动作用。实践表明，图片的差异能引起人类不同的情感认知。例如：老虎，蟑螂，子弹之类的图像较容易引起用户的恐惧心理，而印有大量人民币的图片则会让人类产生十分强烈的欲望反应。将此特征应用到电子商务的模式中，比如在大型线上购物网站上充分考虑这些因素所带来的人类情感认知变化，能很好的控制用户流量，某种程度甚至能影响用户的操作，起到一个统筹全局的作用。在现代化电器和智能设备的设计中，若也能恰如其分的加入人类情绪状态这一因素，能帮助用户更好的进

行对设备的使用。信息检索方面，通过对情感的概念分析，能够有效提高信息检索的准确度和效率。针对时下十分流行的远程教育平台，情感计算能很好的帮助用户解决情感流失问题，吸引学习者的眼球，达到更好的教学效果。通过各种方式的情感交互技巧，帮助用户构建更加贴近生活的场景和智能空间。除此之外，情感计算也可深入机械设计，智能玩具，网络游戏等众多领域，为更加人性的服务打下扎实的基础。

8总结

情感计算为计算机科技发展提出了一个新的课题。情感计算是建立和谐人机环境的

基础之一，同时情感计算是融多学科为一体的学科，它的发展必将带动相关科学的发展。

可穿戴计算机和后PC时代的芯片式计算机将为情感计算提供方便的研究平台和表现形

式，无论从科学意义、学术价值，还是事实需求，情感计算将有巨大的发展潜力和应用

价值。

情感计算是一个多学科交叉的崭新的研究领域。这包括传感器技术、计算机科学、

认知科学、心理学、行为学、生理学、医学、哲学、社会学等。情感计算的最终目标是

赋予计算机类似于人一样，并能够被人所控制的情感能力。要达到这个目标，有许多基

本科学问题有待解决，并具有很大的难度。另一方面，新世纪之中人类对自身的研究将

成为科学探索的重点。情感作为人们心理活动的主要内容之一．存在许多待解之迷。可

以认为，围绕情感计算产生的科学突破将对我们人类生活质量产生重大影响。

参考文献

[1]陈飞翔，杨崇俊，申胜利. 基于LBS的移动GIS研究[J]. 计算机工程与应用，2006，

42(2):200-202.

[2] 孙名奎，王直杰，张珏. 基于PDA-GPRS/GPS/GIS的移动查询监控导航警务系统的设计[J]. 测

绘与空间地理信息，2005，28(5):70-73.

[3] 李晓丽，王晓军. 移动学习模式探讨及系统架构设计[J]. 北京邮电大学学报（社会科学版），

2007，9(5):10-13.

[4] 罗仕鉴，龚蓉蓉，朱上上. 面向用户体验的手持移动设备软件界面设计[J]. 计算机辅助设计与

图形学学报，2010，22(6)：1033-1041.

[5] 马月.网站界面设计[M].北京：北京理工大学出版社，2006

[6] 吴玲达，老松杨，王晖，张茂军.多媒体人机交互技术[M].长沙：国防科技大学出版社，1999

[7] 施奈德曼（Shneiderman,B.）著，《用户界面设计：有效的人机交互策略（第三版）》[M]. [美],2004

[8] 数字报刊的人机交互与界面设计[J],G210.7

[9] 李方园 ,《人机界面设计技术》[M]. 化学工业出版出版,2010

[10] (美)Alan Cooper,软件创新之路[M], 电子工业出版社,2008