一种以体感技术实现人机交互的PC游戏控制系统
龙源期刊网 https://www.360docs.net/doc/a69450545.html,
一种以体感技术实现人机交互的PC游戏控制系统
作者：姚晨雨等
来源：《软件工程师》2015年第01期
摘要：引入最新的健身型体感游戏理念，开发一种感知人体手脚动作的人机交互体感游
戏系统，使用压力传感器感应玩家的脚步动作、加速度传感器感应手部动作，并把感应的动作编码成运动指令，发送给计算机处理并显示。最后完成了软硬件调试，系统成功实现了体感交互方式，玩家从中收获了较好的健身性、趣味性和普适性。
关键词：人机交互；体感游戏；压力传感器；加速度传感器
中图分类号：TP391 文献标识码：A
1 引言（Introduction）
从20世纪80年代开始，“游戏与运动相结合”“健身与娱乐相结合”的设计理念开始在各种商业游戏中有所应用[1]。传统的人机交互方式使用键盘和鼠标，机械性的重复相同的动作致
使玩家的兴趣越来越低[2]，而基于传感技术的人机交互方式将全身动作的感应信号转换为对
游戏的控制信号，将电子游戏与健身运动结合在一起。
如今市场上成功的健身型体感游戏种类繁多，如基于摄像头Kinect平台的《Kinect大冒险》[3]等，这些设备大都价格昂贵，且需要专门的游戏主机。本文的设计目的是以低成本、
适用广为特点，为基于键盘操作的电脑小游戏提供体感交互式的控制模式，系统采用压力传感器和加速度传感器，分别感应玩家腿部和手部动作，而不仅仅只有一个手部遥控装置[4]，玩
家能够获得全身性的运动。
2 系统方案设计（Project design）
本系统包含三个部分：传感器单元、数据采集处理单元和控制显示单元。数据采集处理单元使用三块51单片机，将加速度数据与压力数据分开处理，并实现了玩家手部加速度装置的无线化。整体框图如图1所示。
本系统基于传统的横版过关类游戏，按照常规键盘操作方式使用方向键或其他按键，人物可以前后移动或向上、向前、向后跳跃；人物的手部运动只有一种，其功能视具体游戏而定，在本装置中一律按挥拳攻击处理。
系统使用一个压力感应装置感应玩家的脚步命令动作，该装置有五个区域如图2所示，每个区域下面安装一个压力传感器-广测YZC-1B，其中C区代表“原地”方向，玩家在这个区域跳
人机交互技术的发展与现状
人机交互技术的发展与现状 一.什么是人机交互技术？ 二.人机交互技术（Human-Computer Interaction Techniques）是指通过计算机输入、 输出设备，以有效的方式实现人与计算机对话的技术。人机交互技术包括机器通过输出或显示设备给人提供大量有关信息及提示请示等，人通过输入设备给机器输入有关信息，回答问题及提示请示等。人机交互技术是计算机用户界面设计中的重要内容之一。它与认知学、人机工程学、心理学等学科领域有密切的联系。也指通过电极将神经信号与电子信号互相联系，达到人脑与电脑互相沟通的技术，可以预见，电脑甚至可以在未来成为一种媒介，达到人脑与人脑意识之间的交流，即心灵感应。二. 人机交互技术的发展人机交互的发展历史，是从人适应计算机到计算机不断地适应人的发展史。 1959年美国学者B.Shackel从人在操纵计算机时如何才能减轻疲劳出发，提出了被认为是人机界面的第一篇文献的关于计算机控制台设计的人机工程学的论文。1960年，Liklider JCK首次提出人机紧密共栖（Human-Computer Close Symbiosis）的概念，被视为人机界面学的启蒙观点。1969年在英国剑桥大学召开了第一次人机系统国际大会，同年第一份专业杂志国际人机研究（IJMMS）创刊。可以说，1969年是人机界面学发展史的里程碑。在1970年成立了两个HCI研究中心：一个是英国的Loughbocough大学的HUSAT研究中心，另一个是美国Xerox公司的Palo Alto研究中心。 1970年到1973年出版了四本与计算机相关的人机工程学专着，为人机交互界面的发展指明了方向。 20世纪80年代初期，学术界相继出版了六本专着，对最新的人机交互研究成果进行了总结。人机交互学科逐渐形成了自己的理论体系和实践范畴的架构。理论体系方面，从人机工程学独立出来，更加强调认知心理学以及行为学和社会学的某些人文科学的理论指导；实践范畴方面，从人机界面（人机接口）拓延开来，强调计算机对于人的反馈交互作用。人机界面一词被人机交互所取代。HCI中的I，也由Interface(界面/接口)变成了Interaction(交互)。人机
回顾：人机交互中的手势的可视化解释
本科毕业设计（论文） 外文参考文献译文及原文 学院机电工程学院 专业数字媒体技术 年级班别2008级（1）班 学号3109000746 学生姓名李林钢 指导教师冯开平 2013年6 月
目录 译文：回顾：人机交互的手势的可视化解释 (1) 1 引言 (1) 2手势建模 (3) 2.1定义手势 (3) 2.2手势分类 (5) 2.3 手势的暂时性模型 (5) 2.4空间建模手势 (6) 3手势分析 (7) 原文： Visual Interpretation of Hand Gestures for Human-Computer Interaction: A Review(见同名文献) .................................................. 错误！未定义书签。 1 INTRODUCTION .......................................................................... 错误！未定义书签。 2 GESTURE MODELING ................................................................ 错误！未定义书签。 2.1 Definition of Gestures .......................................................... 错误！未定义书签。 2.2 Gestural Taxonomy ............................................................... 错误！未定义书签。 2.3 Temporal Modeling of Gestures ........................................... 错误！未定义书签。 2.4 Spatial Modeling of Gestures ............................................... 错误！未定义书签。 3 GESTURE ANAL YSIS ..................................................................................... 错误！未定义书签。
仿生机器人关键技术
仿生机器人关键技术 “仿生机器人”是指模仿生物、从事生物特点工作的机器人。，涉及到机械设计、计算机、传感器、自动控制、人机交互、仿生学等多个学科。因此，机器人领域中需要研究的问题非常多。主要研究问题包括以下五个方面： 1 建模问题 仿生机器人的运动具有高度的灵活性和适应性。其一般都是冗余度或超冗余度机器人，结构复杂，运动学和动力学模型与常规机器人有很大差别，且复杂程度更大。为此，研究建模问题，实现机构的可控化是研究仿生机器人的关键问题之一。 2 控制优化问题 机器人的自由度越多，机构越复杂，必将导致控制系统的复杂化。复杂巨系统的实现不能全靠子系统的堆积，要做到整体大于组分之和，同时要研究高效优化的控制算法才能使系统具有实时处理能力。 3 信息融合问题 在仿生机器人的设计开发中，为实现对不同物体和未知环境的感知，都装备有一定量的传感器。多传感器的信息融合技术是实现其具有一定智能的关键。信息融合技术把分布在不同位置的多个同类或不同类的传感器所提供的局部环境的不完整信息加以综合，消除多传感器信息之间可能存在的冗余和矛盾，从而提高系统决策、规划、反应的快速性和正确性。 4 机构设计问题 合理的机构设计是仿生机器人实现的基础。生物的形态经过千百万年的进化，其结构特征极具合理性，而要用机械来完全仿制生物体几乎是不可能的，只有在充分研究生物肌体结构和运动特性的基础上提取其精髓进行简化，才能开发全方位关节机构和简单关节组成高灵活性的机器人机构。 5 微传感和微驱动问题 微型仿生机器人有些已不是传统常规机器人的按比例缩小，它的开发涉及到电磁、机械、热、光、化学、生物等多学科。对于微型仿生机器人的制造，需要解决一些工程上的问题，如动力源、驱动方式、传感集成控制以及同外界的通讯等。实现微传感和微驱动的一个关键技术是机电光一体结合的微加工技术。同时，在设计时必须考虑到尺寸效应、新材料、新、工艺等问题。
人机交互技术及其应用科普_百度文库
人机交互技术及其应用（科普） 信息技术的高速发展对人类生产、生活带来了广泛而深刻的影响。高科技成果为人们带来便捷、快乐的同时，也促进着人机交互技术的发展。作为信息技术的重要内容，人机交互技术比计算机硬件和软件技术的发展要滞后许多，已成为人类运用信息技术深入探索和认识客观世界的瓶颈。因此，人机交互技术已成为21世纪信息领域亟需解决的重大课题和当前信息产业竞争的一个焦点，世界各国都将人机交互技术作为重点研究的一项关键技术，例如，在美国21世纪信息技术计划中，将软件、人机交互、网络、高性能计算列为基础研究内容，美国国防关键技术计划也把人机交互列为软件技术发展的重要内容之一，在我国的“863”、“973”和自然科学基金等项目中，也将人机自然交互理论与方法作为信息技术中需要解决的关键科学问题。 一、人机交互的概念 人机交互（Human-Computer Interaction，HCI）是关于设计、评价和实现供人们使用的交互式计算机系统，且围绕这些方面主要现象进行研究的科学，狭义的讲，人机交互技术主要是研究人与计算机之间的信息交换，它主要包括人到计算机和计算机到人的信息交换两部分。人们可以借助键盘、鼠标、操纵杆、数据服装、眼动跟踪器、位置跟踪器、数据手套、压力笔等设备，用手、脚、声音、姿势或身体的动作、眼睛甚至脑电波等向计算机传递信息，同时，计算机通过打印机、绘图仪、显示器、头盔式显示器、音箱等输出或显示设备给人提供信息。人机交互与计算机科学、人机工程学、多媒体技术和虚拟现实技术、心理学、认知科学和社会学以及人类学等诸多学科领域有密切的联系，其中，认知心理学与人机工程学是人机交互技术的理论基础，而多媒体技术和虚拟现实技术与人机交互技术相互交叉和渗透。作为是信息技术的一个重要组成部分，人机交互将继续对信息技术的发展产生巨大的影响。 二、人机交互的研究内容 人机交互的研究内容十分广泛，涵盖了建模、设计、评估等理论和方法以及在移动计算、虚拟现实等方面的应用研究与开发，在此列出几个主要的方向：人机交互界面表示模型与设计方法（Model and Methodology） 一个交互界面的好坏，直接影响到软件开发的成败。友好人机交互界面的开发离不开好的交互模型与设计方法。因此，研究人机交互界面的表示模型与设计方法，是人机交互的重要研究内容之一。 可用性分析与评估（Usability and Evaluation） 可用性是人机交互系统的重要内容，它关系到人机交互能否达到用户期待的目标，以及实现这一目标的效率与便捷性。人机交互系统的可用性分析与评估的研究主要涉及到支持可用性的设计原则和可用性的评估方法等。
多媒体技术与人机交互
多媒体技术与人机交互 摘要：多媒体技术和人机交互技术相互影响、相互促进。本论文详细分析了多媒体技术的特征及人机交互系统的需求，将多媒体技术和人机交互系统结合起来，探讨了基于多媒体技术的新一代体感式人机交互系统的结构与应用，最后给出了若干具体的多媒体技术与人机交互技术发展的具体建议，对于进一步提高多媒体技术在人机交互系统中的应用具有很好的指导和借鉴意义。 关键词：多媒体；人机交互；体感式交互 1 引言 多媒体技术，是通过计算机实现对文字、图像、照片、声音及视频等多种媒体数据进行综合处理和管理，最后与用户实现信息传输、交互的一种新技术。多媒体技术的最大特征在于将非直观的多源数据信息能够直观的表达、传输给用户，通过刺激用户的感官意识，从而实现信息的传送和交流。实际上，多媒体技术利用计算机实现的与用户之间的信息交流和传输，其本质上就是一种人机交互技术。因此，随着现代化设计水平的不断发展和提高，如何借助于多媒体技术更好的服务于人机交互系统，成为当前很多产品设计，尤其是人机交互系统设计、制造厂商需要解决的首要问题。 本文主要从多媒体技术和人机交互技术的结合角度切入，详细探讨多媒体技术和人机交互技术的结合发展，以及二者之间的相互关系，以实际的具体应用案例分析给出基于多媒体技术的新一代人机交互系统的设计与应用，并以此和广大同行分享。 2 多媒体技术和人机交互技术 2.1 多媒体技术的特征 （1）信息载体多样化。多媒体技术是将传统的数据信息，如文字、图像、照片、声音及视频等资料，通过计算机程序的组织和管理，将多种数据信息融合为一体集中发达。 （2）信息具有交互性。多媒体技术的一个最为突出和重要的特征就是具有交互性。通过计算机技术的使用，能够和用户实现信息的沟通交流，让用户参与到信息的表达过程中，通过交互完成信息在计算机和用户之间的交流与传输。 （3）信息具有实时性。多媒体技术表现和传输的信息具有实时性，只有具备了实时性，才能和用户进行信息的交互和传输。实时性主要表现在，多媒体技术在和用户进行交互时，是多种信息在多个感官刺激下同步进行交互。 （4）信息具有协调性。多媒体技术是将各种数据、信息资源统一的进行表
(完整word版)第五代移动通信的关键技术
第五代移动通信的关键技术 5G 是面向未来的通信发展需求的移动通信系统，第五代移动通信技术兴起的主要驱动力为互联网和物联网，将来人机交互和数据共享是人们日常生活的一部分，在这种交互下，人们的生活将会更加高效舒适。第五代移动通信系统不仅通信容量大，速率高，其可靠性和安全性也比第四代移动通信有了更好的改进，具有很大的发展空间，下面简单介绍几种第五代移动通信的关键技术。 1.Massive MIMO技术 大规模MIMO技术是指基站端采用大规模天线阵列，天线数超过十根甚至上百根，并且在同一时频资源内服务多个用户的多天线技术。大规模MIMO技术将传统的时域、频域、码域三维扩展为了时域、频域、码域、空域四维，新增维度极大的提高了数据传输速率。大规模MIMO天线技术提供了更强的定向能力和赋形能力如图1，大规模MIMO的空间分辨率与现有MIMO相比显著增强，能深度挖掘空间维度资源，使得网络中的多个用户可以在同一时频资源上利用大规模MIMO提供的空间自由度与基站同时进行通信，从而在不需要增加基站密度和带宽的条件下大幅度提高频谱效率。大规模MIMO可将波束集中在很窄的范围内，从而大幅度降低干扰，大幅降低发射功率，从而提高功率效率，减少用户间干扰，显著提高频谱效率。 当基站侧天线数远大于用户天线数时，各个用户的信道将趋于正交，小区内同道干扰及加性噪声趋于消失，系统性能仅受限于邻区导频的复用，这使得系统的很多性能都只与大尺度相关，与小尺度无关。大规模MIMO的无线传输技术将有可能使频谱效率和功率效率在4G 的基础上再提升一个量级。 图1. 大规模MIMO天线技术方向图
2. 非正交多址接入技术（NOMA） 5G的无线接入技术目前还有的观点关注多载波调制，如滤波器组多载波（FBMC，_ lter _bank based multicarrier），其天然的非正交性和不需要先前的分布式发射机同步。一种新的调制方式，被称为通用滤波后的多载波（UMFC）被提出。开始是OFDM信号，通过滤相邻子载波组，以减少时间/频率同步造成的旁瓣水平和载波间干扰。要解决OFDMA正交的时间窗口的缺点，即需要较大的保护带CP，使用多载波滤波器组就可以允许大的传输时延和任意高的频率补偿。日益发展的软件无线电，FFT块的大小，子载波间隔和CP长度可根据信道条件改变。因此，OFDMA允许一些参数可调，可以很好地适应5G的要求。 3. 射束分割多址技术（BDMA） 有限的频谱资源对于移动和无线技术而言是一个重大的挑战，即如何把有限的频率和时间分配给不同用户。由于这个情况，要实现提高系统的容量和质量，目前使用的多址技术包括频分多址（FDMA）、时分多址（TDMA）、码分多址（CDMA）、正交频分多址（OFDMA）等。然而，现在使用的所有多址技术中，通信系统容量依赖于时间和频率。如何发展多址接入系统，提高有限频率的系统容量是一个新的挑战。 目前发明的BDMA技术，根据MS的位置分配天线波束，实现多址接入，从而显著增加系统的容量。按此观点，MS和基站在视距（LOS）的状态，因此他们明确知道彼此的位置。在此条件下，他们能够将波束直接传送到彼此的位置以通信，而不受移动台在小区边缘的干扰。 为了在5G中适应BDMA，就要发展相位阵列天线，智能天线要能够调整波束。调整波束天线通过收集从基站和MS到达角（AOA）信息设置无线配置。自适应天线阵列的使用，是提高能力的一个可能性。 4. 全频段技术 5G网络通信技术将会以智能化、宽带化和多元化为主要的发展方向。未来网络数据业务的发展方向主要在热点密集地区和室内，而当前网络数据的流量如果在少数人使用状态下不存在延迟、低网速等问题，但一旦放开使用用户数量，网络延迟和网络速度都将会是一个巨大的问题，而物联网和智能终端所依赖的移动通信网络将会处于堵塞状态，很难发挥物联网和智能终端的优势。目前5G移动通信技术所研究的超密集组网，可以针对高度使用移动数据的地区提升流量容量1000倍，很好的解决了网络数据使用密集地区的数据传输和数据容量问题。该技术的发展，虽然在数据流量方面提升率非常高，但是由于其拓扑结构也更加复杂，各网络之间的信号干扰也是一个很大的麻烦，大家都知道一旦同一个区域的无线网络过多，就会相互之间产生干扰，影响网络的传输。因此，该技术还需要进一步的研究以适用
基于手势识别的人机交互综述
基于手势识别的人机交互综述 摘要：近年来，得益于虚拟现实、人机界面技术、计算机视觉等领域的发展，基于手势识别的人机交互技术得到大力的推动。本文就基于手势识别的人机交互技术展开综述。首先概括手势交互的涉及领域，回顾其发展史和国内外研究现状。接着阐明它的基本界定和分类，并在此基础上分析其热点关键技术。然后实例讨论了几种类型手势交互的典型应用。最后给出了结论。 关键词：虚拟现实；手势交互；计算机视觉；手势识别；特征跟踪 1．引言 人机交互技术通过输入、输出设备，以有效的方式实现交互主体与交互客体的对话。当前的人机交互技术已经从过去交互主体适应交互客体，发展为交互客体不断地适应交互主体的习惯和以交互主体为中心的新阶段[1,2,3,4]。以用户为中心的，新型、自然的人机交互技术逐渐成为开发者和科研工作者的关注重点。这类交互方式要求输入与输出能够最大限度地符合交互主体的行为习惯，并能够在交互主体的脑中顺利构建交互环路。由于手势具有极强的信息表述功能，加之人手操作行为本身就是人与世界相互作用的主要方式，因此，基于手识别的人机交互技术相关研究有着重要的理论价值和应用价值。基于手势识别的人机交互技术涉及计算机科学、认知心理学、行为学等诸多方面的知识。本文不能面面俱到，仅就手势交互的基本问题：手势语义的分类，以及当前发展概况、研究热点技术和典型系统应用等相关问题进行综述。 2．研究现状 目前，基于视觉的手势交互已被广泛的研究，由于手势本身的多义性及时空差异性，加之手形变的高维度及视觉问题本身的不适定性，基于视觉的手势识别一直是一项极富挑战性的究课题[5]。需要解决的核心问题是对手形的识别，对手势的跟踪等。传统的方法主要分为两大类：（1）基于模型（model-base）的方法；（2）基于表征(appearance-based)的方法[6]。这些方法及其衍生算法极大程度地依赖于计算机科学中虚拟现实、机器视觉、模式识别、人机交互等多个领域的交流与合作。相关的国际会议：CHI、ICCV、CVPR、ICAT、IEEE VR 为研究者提供了一个能充分交流的空间，并吸引了越来越多的研究人员共同参与合作。此外，学科之间的交流也吸引了心理学研究人员的共同参与。他们以从用户为中心出发，为基于手势交互研究和开发提出了宝贵意见[7]。纵观手势交互的发展历程，其研究重点也从早期简单的系统框架、低层特征提取[8]、手形模板匹配[8]等问题转变到关节式物体跟踪[9,10, 11]、跟踪性能评价[12]、操作型手势解析[14]等问题上。我国在基于手势识别的人机交互领域的研究近年来得到了长足的发展。研究机构集中在国内的研究所和高校的科研单位。目前国内手势交互的研究成果主要有：中国科学院软件研究所[15]的研究中，对二阶自回归过程动力学模型（Auto-Regressive Process, ARP）进行训练和学习，进而建立基于ARP 的预测模型，实现了人手运动的鲁棒性跟踪，在出现跟踪丢失的情况下在后续序列中可以自动恢复正确跟踪。中国科学院自动化研究所模式识别实验室提出一种基于区域的多连接体(手指)的三维运动跟踪算法[13]，用多约束融合的方法以及手指的运动特性，建立多刚体的三维运动描述，通过三类基本约束条件，把跟踪问题归结为一个约束误差优化问题。清华大学的崔锦实博士，提出一种基于回归－优化方法的关节式物体的姿态估计方法[16]。该方法把回归分析与全局优化搜索相结合，保证了估计的精度和连续性；针对现有滤波器在高维非线性多峰
项目名称人机交互力反馈遥操作机器人关键技术及应用
项目名称：人机交互力反馈遥操作机器人关键技术及应用 完成人：宋爱国，宋光明，李会军，唐鸿儒，崔建伟，赵国普，徐宝国，吴涓，李建清，卢伟，包加桐 完成单位：东南大学，扬州大学 项目简介： 人机交互力反馈遥操作机器人系统将人的知识智慧与机器人的适应性相结合，通过人与机器人之间传感与控制信息的交互，可以实现各种远地环境或危险环境中的复杂作业任务，是当前各发达国家竞相发展的高技术。随着人机交互遥操作机器人在远程作业、远程监控、远程制造、远程医疗等领域的应用，迫切需要解决多个技术难题与技术瓶颈。本项目针对人机交互力反馈遥操作机器人的力感知、力反馈、大时延控制和人机交互界面设计等关键技术，经过十多年系统深入的研究，突破了多项核心技术，研制成功人机交互遥操作的关键支撑设备，填补了国内空白，并在多个重要领域得到成功应用。 本项目的技术创新点：（1）提出了一种自解耦的机器人多维力传感器的敏感单元设计方法，从传感器的结构设计上有效降低了多维力传感器的维间耦合效应；提出了一种基于误差建模的多维力传感器解耦算法，提高了多维力传感器的测量精度，测量精度可达1%F.S.。（2）提出了一种基于磁流变液控制的无源力觉再现方法，解决了大量程力反馈人机交互设备的体积大、惯性大与不安全问题，实现了大量程安全柔性的力触觉人机交互。提出了一种基于并联机构的异构式机器人力反馈手控器设计方法，解决了力反馈手控器三维平动和三维转动之间运动与力的耦合问题，六维运动位置测量精度达1%F.S.，力反馈精度达2%F.S.。（3）针对人机交互力反馈遥操作机器人在双边通讯环节上存在的短时延（≤2 秒）造成的不稳定问题，提出了力反馈遥操作机器人的多模式控制技术和自适应阻抗匹配无源控制算法，解决了短时延情况下力反馈遥操作机器人的稳定性和操作性问题；针对人机交互力反馈遥操作机器人在双边通讯环节上存在的大时延（>2 秒）造成的不稳定难题，提出了基于虚拟环境建模的力反馈遥操作机器人预测控制技术，给出了基于滑动最小二乘法的环境动力学参数在线辨识算法和模型滚动修正方法，解决了大时延情况下力反馈遥操作机器人稳定性和操作性问题。（4）提出了以提高人的感知能力为目标的交互式力反馈遥操作机器人的多感知界面设计方法，并针对人机交互界面力触觉感知与视觉感知的协调同步问题，提出了一种分布式力触觉交互的快速计算算法和无源稳定性判据，实现了多感知通道人机交互方式下具有力觉临场感的遥操作。 本项目获国家发明专利授权33项；获实用新型专利授权5项；获计算机软件著作权2项。发表论文186，其中SCI收录65篇，EI收录107篇，论文被他人引用1200多次，其中SCI他引375次，并在国际遥控机器人会议上作大会特邀报告。本项目相关成果曾获2010年国家知识产权局中国专利优秀奖、2012年与2013年日内瓦国际发明金奖等。
现代人机交互技术最新情况
现代人机交互技术最新情况 普适计算 1.IBM研发的BlueBoard （蓝板）技术,BlueBoard是一片薄薄的屏幕板，使用者只用其胸前挂着的看上去与普通员工卡没什么两样的小卡片，对准蓝板一下，就可以显示出其个人主页及定制好的其它内容。其后的一切操作和任务都只靠使用者的手指在蓝板上指指划划就全部搞定了，包括查阅资料、共享文件、与同事实时互传信息、发送指令、布置任务、协同工作等。 2. Informedia 数字图书馆系统，Informedia采用了多模态输入方式，用户 可以用语音提出查询请求。当用户要求从数据库中查找指定的电视新闻资料时，系统将根据用户的请求返回相应的视频片段。In formedia集成了语音、图像和自然语言理解技术，在目前的原型系统中，系统可以自动地分析视频数据，从中提取出摘要信息并编加索引。视频数据的分析过程结合了针对视频的镜头检测、 图像分析，以及字幕文本（Close Caption ）和伴音信息分析。与仅采用单一模态数据的分析方法相比，这种合成方式能够更好地提取视频的语义。 3. MIT的Galaxy系统,Galaxy系统向人们展示了系统如何与用户相协调， 从而提供对多种异构数据源的无缝访问。对于用户的请求，系统不仅仅是返回来 自各方面的答案，而且还尽可能地找出不同领域中的相关答案，并根据用户感兴趣的程度排序。随后，用户与系统进行更进一步的对话，最终获得尽可能准确的结果。这种带有联想性质的交互过程使得用户感觉不是在跟一个死板的计算机系 统打交道，而是与一个聪明的代理人交互。 可穿戴计算 从谷歌、苹果、RIM相继发布的智能眼镜系列产品，到Fitbit 、Jaw bone、耐克相继推出的智能腕带，可穿戴计算逐步成为了IT界的热词。iwatch，可以 给智能手机和其他小型电子产品充电的太阳能比基尼，随行键盘牛仔裤，可以使聋人和盲人发送短信的移动框架手套，能更新Facebook状态的社交牛仔裤，能在衣服上呈现任何图案的内置电流回路K服饰，可以打电话的移动手套，电子鼓机T恤，乐器节拍手套，能通过行走的热能给智能手机充电的充电鞋，对饮食和睡眠状态进行跟踪的智能腕带,,,可穿戴计算设备层出不穷，不断丰富着新一代IT产品市场。盛大、百度等企业也不甘落后，近期已相继出手，分别推出了geak智能手表和咕咚健康手环等产品。 多点触控 1. 微软:Surface电脑,5月，《华尔街日报》的“ D:AII Things Digital ”会议上，微软演示了一种Surface Computing（表面计算）技术，并由此组建了一个
体感互动系统
体感互动系统 体感互动的含义 体感互动操作系统采用了先进的计算机视觉技术和光影捕捉技术。在该系统下，随着体验者肢体运动、画面做出相应的变化，产生各种影像，体验者随即进入一种虚实融合的奇妙世界。互动内容可根据应用场合、客户需要进行编程，更换方便，也可将影像区域扩大到任意所需的尺寸，以增强娱乐的效果。 全方位支持玩家自定义体感模式，它包含与Wii一样的横条感应器和一副左右手柄，凭借PC与类似于wii的动作感应手柄方案。可编程动作感应平台完美兼容Wii手柄，利用Wii 手柄的无线设计,配合陀螺仪和内置加速器，通过人体动作替代传统人机输入设备遥控电脑。睿云科技在这个领域拥有国内一流的多媒体技术研发实力。 体感技术，在于人们可以很直接地使用肢体动作，与周边的装置或环境互动，而无需使用任何复杂的控制设备。便可让人们身历其境地与内容做互动。 体感技术 举个例子，当你站在一台电视前方，假使有某个体感设备可以侦测你手部的动作，此时若是我们将手部分别向上、向下、向左及向右挥，用来控制电视台的快转、倒转、暂停以及终止等功能，便是一种很直接地以体感操控周边装置的例子，或是将此四个动作直接对应于游戏角色的反应，便可让人们得到身临其境的游戏体验。 其他关于体感技术的应用还包括：3D 虚拟现实、空间鼠标、游戏手柄、运动监测、健康医疗照护等，在未来都有很大的市场。 拿着手柄在电视上打游戏，握着鼠标在电脑网络游戏中厮杀的的游戏方式可能要落伍了。一项新的游戏方式――体感游戏或许将会成为游戏用户的新“宠儿”，它可以不用任何控制器，用肢体动作就可以控制游戏里的玩家，可以让用户更真实的遨游在游戏的海洋中。并且，随着技术的进步，体感技术还可以用在商场的服装店，甚至用户可以在网上随意试穿自己喜欢的衣服。 产品优势 （1）参与者和地面影像显示实时动态组合，影像随观众参与同步变化。 （2）全新的互动广告娱乐新形式，娱乐性强，吸引观众。 （3）时尚的娱乐体验、双向互动，可满足大量人群同时参与。 应用领域 （1）科技馆、规划馆、博物馆、展厅、展览会、企业展厅等。 （2）活动现场、商场、卖场、汽车站、火车站。 （3）报社，电视台，网站等传媒机构。 （4）电玩城，酒吧、迪厅、KTV、舞台、婚庆婚典等。 发展前景 诚然，体感游戏与网络游戏结合并不局限于互联网。可以想象，在未来三网融合完成后，在互联网电视中有可能出现的体感游戏频道所能够带来的用户数量将是多么的庞大，到那时，用户无需花费较高成本额外购买Wii，PS Move， Kinect等游戏主机，只需一台电视机，就可以让用户随时体验体感游戏。
智能机器人关键技术及其发展趋势
智能机器人的关键技术及其发展趋势 机器人是自动执行工作的机器装置。它既可以接受人类指挥，又可以运行预先编排的程序，也可以根据以人工智能技术制定的原则纲领行动。按联合国标准化组织采纳了美国机器人协会给机器人下的定义，即为：一种可编程和多功能的，用来搬运材料、零件、工具的操作机；或是为了执行不同的任务而具有可用电脑改变和可编程动作的专门系统。 而智能机器人有相当发达的“大脑”。在脑中起作用的是中央计算机，这种计算机跟操作它的人有直接的联系。它给人的最深刻的印象是一个独特的进行自我控制的“活物”。其实，这个自控“活物”的主要器官并没有像真正的人那样微妙而复杂。到目前为止，在世界范围内还没有一个统一的智能机器人定义。大多数专家认为智能机器人至少要具备以下三个要素：一是感觉要素，用来认识周围环境状态；二是运动要素，对外界做出反应性动作；三是思考要素，根据感觉要素所得到的信息，思考出采用什么样的动作。 智能机器人根据其智能程度的不同，又可分为三种： 传感型机器人，又称外部受控机器人。机器人的本体上没有智能单元只有执行机构和感应机构，它具有利用传感信息（包括视觉、听觉、触觉、接近觉、力觉和红外、超声及激光等）进行传感信息处理、实现控制与操作的能力。受控于外部计算机，在外部计算机上具有智能处理单元，处理由受控机器人采集的各种信息以及机器人本身的各种姿态和轨迹等信息，然后发出控制指令指挥机器人的动作。目前机器人世界杯的小型组比赛使用的机器人就属于这样的类型。 交互型机器人，机器人通过计算机系统与操作员或程序员进行人－机对话，实现对机器人的控制与操作。虽然具有了部分处理和决策功能，能够独立地实现一些诸如轨迹规划、简单的避障等功能，但是还要受到外部的控制。 自主型机器人，在设计制作之后，机器人无需人的干预，能够在各种环境下自动完成各项拟人任务。自主型机器人的本体上具有感知、处理、决策、执行等模块，可以就像一个自主的人一样独立地活动和处理问题。机器人世界杯的中型组比赛中使用的机器人就属于这一类型。全自主移动机器人的最重要的特点在于它的自主性和适应性，自主性是指它可以在一定的环境中，不依赖任何外部控制，完全自主地执行一定的任务。适应性是指它可以实时识别和测量周围的物体，根据环境的变化，调节自身的参数，调整动作策略以及处理紧急情况。交互性也是自主机器人的一个重要特点，机器人可以与人、与外部环境以及与其他机器人之间进行信息的交流。由于全自主移动机器人涉及诸如驱动器控制、传感器数据融合、图像处理、模式识别、神经网络等许多方面的研究，所以能够综合反映一个国家在制造业和人工智能等方面的水平。因此，许多国家都非常重视全自主移动机器人的研究。 下面就机器人的控制技术以及列举几种常见的机器人对当前智能机器人的关键技术进行分析。
人机交互技术的发展与现状定稿版
人机交互技术的发展与 现状精编W O R D版 IBM system office room 【A0816H-A0912AAAHH-GX8Q8-GNTHHJ8】
人机交互技术的发展与现状 一. 什么是人机交互技术 二. 人机交互技术（Human-Computer Interaction Techniques）是指通过计算机输 入、输出设备，以有效的方式实现人与计算机对话的技术。人机交互技术包括机器通过输出或显示设备给人提供大量有关信息及提示请示等，人通过输入设备给机器输入有关信息，回答问题及提示请示等。人机交互技术是计算机用户界面设计中的重要内容之一。它与认知学、人机工程学、心理学等学科领域有密切的联系。 也指通过电极将神经信号与电子信号互相联系，达到人脑与电脑互相沟通的技术，可以预见，电脑甚至可以在未来成为一种媒介，达到人脑与人脑意识之间的交流，即心灵感应。二.人机交互技术的发展人机交互的发展历史，是从人适应计算机到计算机不断地适应人的发展史。 1959年美国学者B.Shackel从人在操纵计算机时如何才能减轻疲劳出发，提出了被认为是人机界面的第一篇文献的关于计算机控制台设计的人机工程学的论文。1960年，Liklider JCK首次提出人机紧密共栖（Human-Computer Close Symbiosis）的概念，被视为人机界面学的启蒙观点。 1969年在英国剑桥大学召开了第一次人机系统国际大会，同年第一份专业杂志国际人机研究（IJMMS）创刊。可以说，1969年是人机界面学发展史的里程碑。在1970年成立了两个HCI研究中心：一个是英国的Loughbocough大学的HUSAT研究中心，另一个是美国Xerox公司的Palo Alto研究中心。 1970年到1973年出版了四本与计算机相关的人机工程学专着，为人机交互界面的发展指明了方向。 20世纪80年代初期，学术界相继出版了六本专着，对最新的人机交互研究成果进行了总结。人机交互学科逐渐形成了自己的理论体系和实践范畴的架构。理论体系方面，从人机工程学独立出来，更加强调认知心理学以及行为学和社会学的某些人文科学的理论指导；实践范畴方面，从人机界面（人机接口）拓延开来，强调计算机对于人的反馈交互作用。人机界面一词被人机交互所取代。HCI中的I，也由
体感互动游戏
体感互动游戏 ——思特科技
目录 产品简介 (3) 系统特色 (3) 系统功能 (4) 功能主件肢体动作识别器传感器简介 (4) 产品构成 (5) 原理示意图 (5) 体感互动的定义 (6) 产品优势 (7) 应用领域 (8) 效果展示 (8)
体感互动游戏 产品简介 众所周知，中国游乐场的的娱乐方式已发生变化，传统游乐场已无法满足现代人们的需求，如何吸引客户，如何让客户玩的尽兴，如何增加利润，如何引导潮流是当下被关注的焦点。紧随时代步伐，新奇，科技，时尚必将成为中国游乐场的潮流。思特公司的“互动乐园”是专门针对游乐场开发的游戏系统。系统通过XNA，unity，及多点触摸技术开发而成，多人互动的游戏形式，让小朋友和家长共同参与，体验前所未有的高科技游戏乐趣。近年全世界的游戏玩家都非常热衷进行体感游戏，这一类的体感游戏由于玩法直接简单，吸引了相当多不同年龄和性别的玩家。思特研发的体感游戏，不需要鼠标或游戏摇杆，只需要运动您的身体即可体验互动游戏！思特科技还提供了一系列运动游戏，如音乐游戏，学习游戏，及众多的休闲游戏，这些游戏可应用于主题公园，游乐场，幼儿园。 系统特色 1、高新科技提升档次:运用世界尖端的动作捕捉系统进行游戏，将传统的娱乐场地升值为高新科技的娱乐平台，使您的市场地位领先一步。 2、玩家无需借助任何操作工具：只需要活动身体就可以控制游戏，全身运动，健康玩乐，畅想科技娱乐新体验。 3、多人互动澎湃人气:支持多人同时玩耍，澎湃现场人气。 4、精彩游戏增加收益:全新的益智娱乐，配合10余款刺激好玩的游戏，帮助您吸引新客户，并锁定老客户。
人机交互技术
人机交互技术 学院： 专业： 班级： 学号： ： 2016年4月6日
目录 引言 (3) 1. 人机交互- 基本简介 (4) 2. 人机交互- 行业概况 (4) 3. 人机交互- 发展历史 (5) 4. 人机交互- 输入方式 (5) 5. 人机交互- 交互方式 (6) 6. 人机交互- 穿戴设备技术 (7) 7. 人机交互- 虚拟界面 (9) 8. 人机交互- 理想技术 (9) 参考文献 (10)
引言： 人机交互技术目前已经取得了不少研究成果，不少产品已经问世。侧重多媒体技术 的有：触摸式显示屏实现的“桌面”计算机，能够随意折叠的柔性显示屏制造的电子书，从电影院搬进客厅指日可待的3D显示器，使用红绿蓝光激光二极管的视网膜成像显示器；侧重多通道技术的有：“汉王笔”手写汉字识别系统，结合在微软的Tablet PC 操作系统中数字墨水技术，广泛应用于Office/XP的中文版等办公、应用软件中的IBM/Via Voice连续中文语音识别系统，输入设备为摄像机、图像采集卡的手势识别技术，以IPHONE手机为代表的可支持更复杂的姿势识别的多触点式触摸屏技术，以及IPHONE中基于传感器的捕捉用户意图的隐式输入技术。 人机交互技术领域热点技术的应用潜力已经开始展现，比如智能手机配备的地理空间跟踪技术，应用于可穿戴式计算机、隐身技术、浸入式游戏等的动作识别技术，应用于虚拟现实、遥控机器人及远程医疗等的触觉交互技术，应用于呼叫路由、家庭自动化及语音拨号等场合的语音识别技术，对于有语言障碍的人士的无声语音识别，应用于广告、、产品目录、杂志效用测试的眼动跟踪技术，针对有语言和行动障碍人开发的“意念轮椅”采用的基于脑电波的人机界面技术等。热点技术的应用开发是机遇也是挑战，基于视觉的手势识别率低，实时性差，需要研究各种算法来改善识别的精度和速度，眼睛虹膜、掌纹、笔迹、步态、语音、唇读、人脸、DNA等人类特征的研发应用也正受到关注，多通道的整合也是人机交互的热点，另外，与“无所不在的计算”、“云计算”等相关技术的融合与促进也需要继续探索。
人机交互技术实验四
重庆邮电大学移通学院学生实验报告
实验二：理解设计风格与原则 一、实验目的 （1）熟悉人机交互的风格，掌握人机交互设计的基本原则 （2）了解Windows“辅助功能选项”的人文设计 二、工具/准备工作 需要准备一台带有浏览器，能够访问因特网的计算机。 三、实验内容与步骤 1.知识扩展 硬件人机界面的发展以人类社会的三次技术革命作为分水岭。在发展过程中，出现了许多对后人有着重大影响的设计思潮和流派。请通过因特网搜素，来了解和学习其中的一些内容，并简述记录之。 （1）工艺美术运动：“工艺美术”运动的根源是当时艺术家们无法解决工业化带来的 问题，企图逃避现实，隐退到中世纪哥特时期。运动否定了大工业化与机械生产，导致它没有可能成为领导潮流的主要风格。从意识形态来看，它是消极的但是它却给后来设计家提供了参考，对“新艺术运动”有着深远的影响。因此，这场运动虽然短暂，但在设计史上依然是非常重要的，值得认真研究的。 （2）新艺术运动：是19世纪末20世纪初在欧洲和美国产生并发展的一次影响面相当 大的“装饰艺术”的运动，是一次内容广泛的、设计上的形式主义运动，涉及十多个国家，从建筑、家具、产品、首饰、服装、平面设计、书籍插画一直到雕塑和绘画艺术都受到影响，延续长达十余年，是设计史上一次非常重要的形式主义运动。这场运动实质上是英国“工艺美术运动”在欧洲大陆的延续与传播，在思想理论上并没有超越“工艺美术运动”。新艺术运动主张艺术家从事产品设计，以此实现技术与艺术的统一. （3）德意志制造联盟：德国在19世纪末期的工业水平迅速赶上了老牌资本主义国家 的英国、法国，居于欧洲第一位。德国在上升期不仅要求进一步工业化，而且希望成为工业时代的领袖。为了使后起的德国商品能够在国际市场上与英国抗衡，企业家、艺术家和技术人员组成了全国性的组织──德意志制造联盟，目的在于提高工业制品的质量以求达到国际水平.
人机交互
人机交互技术是指通过计算机输入、输出设备，以有效的方式实现人与计算机对话、交换信息的技术。人们可以借助键盘、鼠标、操作杆、位置跟踪器、数据手套等设备，用手、脚、声音、姿态和身体的动作、视线甚至脑电波等向计算机传递信息；计算机通过打印机，绘图仪、头盔式显示器、音频等输出设备或显示设备给人提供信息。 目前，人机交互技术正处于多通道、多媒体的智能人机交互阶段，已经取得了不少研究成果，不少产品已经问世。侧重多媒体技术的有:触摸式显示屏实现的“桌面”计算机，能够随意折叠的柔性显示屏制造的电子书，从电影院搬进客厅指日可待的3D显示器，使用红绿蓝光激光二极管的视网膜成像显示器；侧重多通道技术的有：“汉王笔”手写汉字识别系统，结合在微软的Tablet PC 操作系统中数字墨水技术，广泛应用于Office/XP的中文版等办公、应用软件中的IBM/Via Voice连续中文语音识别系统，输入设备为摄像机、图像采集卡的手势识别技术，以IPHONE手机为代表的可支持更复杂的姿势识别的多触点式触摸屏技术，以及IPHONE中基于传感器的捕捉用户意图的隐式输入技术。 人机交互技术领域热点技术的应用潜力已经开始展现，比如智能手机配备的地理空间跟踪技术，应用于可穿戴式计算机、隐身技术、浸入式游戏等的动作识别技术，应用于虚拟现实、遥控机器人及远程医疗等的触觉交互技术，应用于呼叫路由、家庭自动化及语音拨号等场合的语音识别技术，对于有语言障碍的人士的无声语音识别，应用于广告、网站、产品目录、杂志效用测试的眼动跟踪技术，针对有语言和行动障碍人开发的“意念轮椅”采用的基于脑电波的人机界面技术等。热点技术的应用开发是机遇也是挑战，基于视觉的手势识别率低，实时性差，需要研究各种算法来改善识别的精度和速度，眼睛虹膜、掌纹、笔迹、步态、语音、唇读、人脸、DNA等人类特征的研发应用也正受到关注，自然语言理解虽然目前在语言模型、语料库等方面有进展外，仍将是人机交互的重要目标，多通道的整合也是人机交互的热点，另外，与“无所不在的计算”、“云计算”等相关技术的融合与促进也需要继续探索。 人机交互技术与计算机始终相伴发展，CPU、GPU的运算能力日趋强大，网络和通信技术的快速发展，显示技术的重大突破都将为人机交互提供新的起点与高度。也许有一天，你的房间的墙壁和窗户都是基于PLED技术的巨型显示器，无需遥控器和控制器，游戏机或电视机就能“感应”到你目光的变化、捕捉到你的手势和动作、听懂你语音的命令，用你的头、手、足、躯干就可以控制游戏中
一种以体感技术实现人机交互的PC游戏控制系统
龙源期刊网 https://www.360docs.net/doc/a69450545.html, 一种以体感技术实现人机交互的PC游戏控制系统 作者：姚晨雨等 来源：《软件工程师》2015年第01期 摘要：引入最新的健身型体感游戏理念，开发一种感知人体手脚动作的人机交互体感游 戏系统，使用压力传感器感应玩家的脚步动作、加速度传感器感应手部动作，并把感应的动作编码成运动指令，发送给计算机处理并显示。最后完成了软硬件调试，系统成功实现了体感交互方式，玩家从中收获了较好的健身性、趣味性和普适性。 关键词：人机交互；体感游戏；压力传感器；加速度传感器 中图分类号：TP391 文献标识码：A 1 引言（Introduction） 从20世纪80年代开始，“游戏与运动相结合”“健身与娱乐相结合”的设计理念开始在各种商业游戏中有所应用[1]。传统的人机交互方式使用键盘和鼠标，机械性的重复相同的动作致 使玩家的兴趣越来越低[2]，而基于传感技术的人机交互方式将全身动作的感应信号转换为对 游戏的控制信号，将电子游戏与健身运动结合在一起。 如今市场上成功的健身型体感游戏种类繁多，如基于摄像头Kinect平台的《Kinect大冒险》[3]等，这些设备大都价格昂贵，且需要专门的游戏主机。本文的设计目的是以低成本、 适用广为特点，为基于键盘操作的电脑小游戏提供体感交互式的控制模式，系统采用压力传感器和加速度传感器，分别感应玩家腿部和手部动作，而不仅仅只有一个手部遥控装置[4]，玩 家能够获得全身性的运动。 2 系统方案设计（Project design） 本系统包含三个部分：传感器单元、数据采集处理单元和控制显示单元。数据采集处理单元使用三块51单片机，将加速度数据与压力数据分开处理，并实现了玩家手部加速度装置的无线化。整体框图如图1所示。 本系统基于传统的横版过关类游戏，按照常规键盘操作方式使用方向键或其他按键，人物可以前后移动或向上、向前、向后跳跃；人物的手部运动只有一种，其功能视具体游戏而定，在本装置中一律按挥拳攻击处理。 系统使用一个压力感应装置感应玩家的脚步命令动作，该装置有五个区域如图2所示，每个区域下面安装一个压力传感器-广测YZC-1B，其中C区代表“原地”方向，玩家在这个区域跳
Kinect体感交互技术的游戏设计与实现
人体交互是一门研究人与计算机通过输入输出设备进行交流互动的技术。随着信息科学技术的发展，人机交互越来越成熟与人性化。目前，人机交互不再像以往的方式依赖输入输出设备，转而以人脸识别、手势识别以及声音等作为人与计算机交流的中间介质，实现沟通与互动。这不但改善了人们对硬件的依赖，增加了用户的参与感，提高了人机交互的自然性和高效性，而且更深层次促进科学技术的研究与发展。其中，Kinect 作为新时代人机交互技术的产物，在人机交互领域带来了革命性的改变。例如，以往的游戏及应用程序借助Kinect 能够摆脱鼠标和键盘，人们只需借助双手或肢体动作即可实现人与机器的互动。本文利用Kinect 体感交互技术、骨骼追踪技术与软件设计相结合，借助微软提供的软件库，即Kinect for Windows SDK ，开发体感交互应用程序，设计相应的游戏软件并实现。设计借助Kinect 体感交互技术的游戏，不仅可以改善人们对硬件的依赖，而且可以让计算机类专业的学生借助Kinect 体验其所写程序的效果，这不但激发了学生的学习兴趣，提升教学的娱乐性，更重要的是，可以让学生们接受到新的科技理念，激发他们的创新意识。 1Kinect 体感技术 1.1Kinect Kinect 设备的结构中拥有三个摄像头[1]，依次是红外投影机、彩色摄像头、红外CMOS 摄像头。彩色摄像头主要用于捕捉用户的骨骼数据，追踪用户的骨骼位置信息；两个红外摄像机构成深度检测系统，提供实时的彩色图像和深度数据。此外，Kinect 还有四个 Kinect 体感交互技术的游戏设计与实现 【摘要】体感交互技术是一项直接使用肢体动作与数字设备互动的智能技术。文章以Kinect 数字设备为基础，采用C#语言定义常用人机互动的手势动作，采用3D Max 和Unity3D 搭建场景模型，设计并实现了一款迷宫游戏软件。游戏测试分析表明，该游戏增强了用户的参与感，提高游戏中交互的自然性与高效性。【关键词】Kinect ；体感交互技术；游戏 【doi:10.3969/j.issn.2095-7661.2019.03.011】【中图分类号】TP391.9 【文献标识码】A 【文章编号】2095-7661（2019）03-0039-04 Game design and implementation of Kinect somatosensory interaction technology （黎明职业大学，福建泉州362000） 吴萍萍 Abstract ：Somatosensory interaction technology is an intelligent technology that directly uses the interaction between body movements and digital devices.Based on the Kinect digital device,this paper defines the gesture action of human-computer interaction in C#language,builds scene model with 3D Max and Unity3D,and designs and implements a labyrinth game software.The analysis of game test shows that the game enhances the user's sense of participation,and improves the naturalness and efficiency of interaction in the game. Keywords ：Kinect;somatosensory interaction technology;game WU Ping-ping (Liming Vocational University,Quanzhou,Fujian,China 362000) [收稿日期][作者简介][基金项目]2019-05-12 吴萍萍（1990-），女，福建泉州人，黎明职业大学信息与电子工程学院实验员，硕士，研究方向：信息处理，图像处理。2017年福建省教育厅中青年教师教育科研项目“基于Kinect 手势识别的体感类教育游戏软件”（项目编号：JAT171086）。 39