中科院软件所戴国忠:智能时代人机交互的一些思考

【导读】在信息技术迅猛发展的背景下, 人工智能的爆发及在诸多行业的成功应用再次引发人们对计算机全方位为人类服务的美好想象。 然而, 作为人与计算机之间信息沟通的桥梁和以人为中心指导系统开发的方法论, 人机交互没有得到应有的同步发展, 其瓶颈效应日益彰显。 究其原因, 可以归纳为以下两点: 一是没有吸取好历史的发展经验; 二是智能时代下应用场景的变化导致新的需求, 对人机交互提出了巨大的挑战。发表在《中国科学：信息科学》2018年第4期“智能时代的人机交互专刊”上的评述“智能时代人机交互的一些思考”，回顾了人机交互的发展历史, 重点讨论了人机交互的发展模式、心理学模型、交互界面、交互设计原则和研究框架等多个核心问题, 并总结了当前人机交互出现的重要思想理论, 提出在智能时代下对人机交互未来发展必要的讨论和思考。

作为人类发明的一种高级工具, 计算机从诞生发展到现在, 对人们的工作和生活都产生了深刻的影响。 人机交互技术作为人与计算机之间信息交流的接口和以人为中心指导系统开发的方法论, 对人和计算机的发展都起着非常重要的作用。 对人机交互的广泛研究, 提供了人们对人的交互意图和相应的生理、心理限制以及相关知识的描述, 发展交互技术, 帮助人们完成以前无法完成的任务。同时, 人机交互的另一个主要研究目的是提供以人为中心的系统设计方法论, 使系统更好满足用户功效性和情感性的需求, 提高用户与计算机之间的交互质量和用户体验。

在智能时代背景下, 随着计算机技术日益广泛地融入人类生活各个领域, 人机交互也越来越无处不在、无时不在。移动互联网的普及使得人们可以时刻在线; 触屏交互技术使各个年龄段的人都可以无障碍使用计算机; 虚拟现实的兴起使人们可以随时沉浸到数字世界; 而人工智能的突破则使机器能更好地理解人的意图, 满足人的需求。然而, 人机交互技术并没有因为信息技术所取得的成就而得到同步发展, 目前人与计算机的主流交互方式仍然是基于“单手单眼” 的传统模式, 这使得人机交互成为了人类和计算机共同发展的瓶颈。究其原因, 主要可以归纳为两个方面: 一是没有充分总结吸取人机交互历史的发展经验, 从历史中寻找发展规律; 二是智能时代下应用场景的变化带来新的问题, 传统的人机交互思想理论无法很好地适应新的需求, 对人机交互提出了巨大的挑战。

人机交互发展历史

在1960年现代人机交互学科的开创者Licklider提出人机共生 (man-computer symbiosis) 的概念, 认为人应该和计算机进行交互。1992年, 国际计算机学会 (ACM) 下的人机交互兴趣小组(SIGCHI)把人机交互定义为一门对人类使用的交互式计算机系统进行设计、评估和实现, 并对其所涉及的主要现象进行研究的学科。1999年美国总统顾问委员会报告中将 “人机交互和信息处理” 列为21世纪信息技术基础研究的4个主要方向之一。2007年美国国家科学基金在其信息和智能系统分支中把以人为本的计算列为3个核心技术领域之一, 其具体主题包含多媒体和多通道界面、智能界面和用户建模、信息可视化以及高效的以计算机为媒介的人人交互模型等。同年, 欧盟第7 框架计划中也包含了自然人机交互的内容。从2012年开始, ACM 在计算机学科领域分类系统中把人机交互列为计算机学科重要分支领域, 标志着人机交互在计算机学科中开始占据重要位置。2016年中国国家自然科学基金在《国家自然科学基金“十三五”发展规划》中把人机交互列为重点支持的课题。

从人机交互相关的文章数量来看, 从1980年的74篇增长到了2014年的11165篇。 其中专注于人机交互的会议有100个, 期刊有25个. 参与研究的单位包括了国内外的许多知名大学和研究机构, 例如Massachusetts Institute of Technology、Carnegie Mellon University、Stanford University、北京大学、清华大学、Microsoft 研究院、Google 研究院、中国科学院软件研究所等。

计算机发展的过程, 也是人机交互发展的过程。 计算机与人的交互方式从无交互到命令语言交互, 再发展到现在占据主流的图形交互, 已经具有直接操作和 “ 所见即所得” 的特点。图形用户界面的产生使得计算机成为人人可以操作的工具, 使Bill Gates “每个人有一台电脑” 的理想成为现实。因此, 可以说是图形用户界面造就了个人计算机时代的辉煌。

在图形用户界面时代, 人机交互系统的研究可以简约看作是模型、范式和开发平台的研究, 在近三十年的发展中取得了不菲的成就。但是这些技术的核心思想和方法大都是在20世纪六七十年代提出和发展的。在多媒体、多通道、虚拟现实、移动计算和人工智能迅速发展的智能时代, 计算机的处理速度和性能仍然在迅猛地提升。虽然计算机硬件技术已经不是障碍, 但是用户使用计算机的交互能力并没有得到相应的提高, 其中一个重要原因就是缺少与新交互需求相适应的、高效自然的人机交互界面, 缺少成熟统一的能满足当代人机交互需求的交互技术。同时, 要完成智能时代对人机交互提出的要求和挑战, 一些阻碍当代人机交互发展的理论问题和技术问题需要得到根本性的解决。其中理论问题包括认知模型、分布式认知理论、基于场景上下文的知识表示、人机交互中新的理论模型研究、全球知识经济中的人机交互等, 技术问题包括用户界面工具、无处不在的交互式计算、社会半透明的人机交互、人机协同设计的交互技术、支持创新工程的交互技术等。

人机交互核心问题

对一个领域中知识的掌握蕴含着对该领域中历史的理解和认同。 通过对人机交互发展历史和研究成果的总结, 归纳出人机交互发展的若干核心问题, 包括: 发展模式、心理学模型、交互界面和研究框架。

心理学模型

研究框架

发展模式

人机交互的新思想理论

人机交互是一个不断变化的领域, 这种变化是为了响应技术革新以及满足随之而来的、新用户的需求。从应用场景来看, 人机交互从图形用户界面过渡到自然用户界面, 发展更人性化的交互界面成为人机交互进一步发展迫在眉睫的任务; 从研究层面来看, 人机交互从微观上升到宏观, 使用计算机技术使个人参与到社会管理活动中的方法成为人机交互关注的重点; 从研究重心来看, 人机交互从交互导向转移到实践导向, 其分析单元由个体交互行为上升到日常的社会实践活动; 从研究范围来看, 人机交互由人类、计算机的二元空间扩展到人类、计算机和环境组成的三元空间, 人类自身所在的环境也成为了人机交互研究重点关注的一部分。

（1）自然用户界面。它是人机交互界面的新兴范式转变。通过研究现实世界环境和情况, 利用新兴的技术能力和感知解决方案实现物理和数字对象之间更准确和最优化的交互, 从而达到用户界面不可见或者交互的学习过程不可见的目的, 其重点关注是传统的人类能力(如触摸、视觉、言语、手写、动作)和更重要、更高层次的过程 (如认知、创造力和探索)。

（2）基于现实的交互。它是对新一代人机交互方式的概括, 如自然用户界面、虚拟现实技术、增强现实技术、上下文感知计算、手持或移动交互、感知和情感计算、语音交互及多模态界面等。

（3）技术媒介的社会参与。随着互联网技术的迅速发展以及互联网在全球范围内快速普及, 越来越多的公众开始接触、熟悉和运用网络平台这一高效沟通工具。他们通过各种表达方式在网络平台上发表对于公共事务及公共话题的意见和建议, 从而促使网络成为一种重要的民意表达方式。

（4）实践导向的方法。相比于传统的面向交互的方法, 面向实践的方法 (practice-oriented approaches, POA) 把视角从交互转移到实践活动上, 其分析单元由个体行动转变为人的日常实践, 关注点从个人行为或者社会规范上升到日常活动的组织和重组。

（5）人机共生系统。计算机在我们生活的各个方面都发挥越来越大的作用, 社会和信息技术在复杂的过程中不断相互渗透和相互影响。在这种情况下, 人机共生系统(CHS) 由人机交互、以人为中心的计算、通用接入、数字社会与技术等发展而来, 并进一步扩展到数字政府、信息隐私、人与机器人交流等概念, 其目的是探索潜在的变革和颠覆性的思想, 以及基本理论和技术的创新, 研究人与计算机之间日益增加的关系, 并提出增进人类能力的广泛目标。

智能时代人机交互的思考

1997年, 电脑 “深蓝” 战胜国际象棋冠军。这场 “人机大战” 是人机竞争的序幕, 展现了一个新时代的来临, 一个我们称之为 “智能时代” 的时代。随着深度学习方法成功应用于多个领域, 人工智能迎来了第3个发展高潮。在最新的一场的 “人机大战” 中, Google的人工智能AlphaGo打败了曾获得多项世界冠军的围棋高手李世石, 再次揭开人们对“智能革命”的关注。另一方面, 可穿戴设备等新的交互设备的出现使得人机交互空间发生了极大变化, 与此同时, 语音分析、手势识别、运动跟踪、凝视控制等技术不断进步, 使用心电图、声音、面部特征等独特个人特征的安全认证技术的发展, 都在引导着人机交互技术的发展轨迹和范围。在计算机技术迅速发展之际, 人机交互却没有取得应有的成果, 因此需要从计算机科学角度, 探讨人机交互的发展。

人机交互的新定义

在智能时代背景下, 人工智能和传感器技术迅猛发展。新技术的发展对人机交互提出了新的要求, 人机交互研究内容从微观到宏观、从交互转向实践、从虚拟转向现实、从心理学层面转到社会学层面。传统的交互定义已经无法满足人机交互发展的需求。因此, 从定义上对人机交互进行重新审视显得十分必要。

未来的人机交互, 将会演变成 “交互人” 和 “智能机” 在物理空间、数字空间及社会空间等不同空间上的交互。这里的“交互人” 指的是能和计算机自然交互的人类, “智能机” 指的是具有人的意图表达和感知能力的智能计算机。未来人机交互技术的发展, 除从各类不同角度上对人机交互的各类因素进行研究外, 人作为人机交互的核心, 也将随着技术的发展与交互设备融为一体。因此, 未来的人机交互将趋同于 “感知”, 计算机的主要交互行为将变成感知行为、感知自然现象、感知人的现象、感知人类行为, 从而实现为人类服务。

从人机交互到人机共生

如果说电脑改变了人们的工作方式, 那么目前正以前所未有的方式快速发展的智能手机、可穿戴设备等正在改变人们的生活方式。由于对这些移动设备的依赖, 某种程度上人与计算机已经在一定程度上形成了一种 “共生” 关系。

人机交互发展的总体趋势是持续向着以用户为中心、交互方式更加直观的方向发展。在发展过程中, 首先是侧重于交互的人机交互(HCI), 然后到以人为中心的计算(HCC), 最终走向去中心化的人机共生系统(CHS)。

人机交互与人工智能

随着人工智能的突破性发展, 体现出超越人类智力、带动产业变革和深入社会生活的趋势。人工智能迅猛发展的势头给人类社会的进步带来了美好的憧憬, 同时也带来了关于人类未来的隐忧, 甚至不少著名的专家学者发出人工智能有可能威胁人类自身生存的警告。有些专家则认为, 人工智能发展的未来是人机合作。智能时代下的社会是人的智能和人工智能共同创造的, 智能社会是人机共生的社会。人工智能能放大人的智能, 使人的智能不依赖于自然的进化而得到迅速的发展; 人的智能发展人工智能, 人工智能的进步依赖于人的智能进步。人的智能和人工智能是彼此互补、相互促进的。

Lighthill 报告标志着人工智能的第1次低潮; 20世纪80年代末, 随着各国政府停止对人工智能的经费资助, 人工智能进入第2次低潮。回首历史, 人工智能历史发展中的两次低潮, 却伴随着人机交互的高速发展。在这一时期出现了包括WIMP范式、图形用户界面 在内的很多人机交互的基础理论与实践成果。然而, 人机交互与人工智能并非是此消彼长的。人机交互是人工智能的一个研究途径, 在人工智能发展遇到瓶颈之时人机交互往往能够提供新的研究思路。而人工智能则给人机交互带来突破, 驱动人机交互的发展, 并把人机交互提升到一个新的发展空间。

从人工智能的角度看, 人机交互是人工智能的一个研究途径。机器学习先驱Michael Jordan 提出人工智能最先获得突破的领域是人机对话, 更进一步的成果则是能帮人类处理日常事务甚至做出决策的家庭机器人。正是由于人机对话的需求推动了人工智能的发展。

从人机交互的角度看, 人工智能为人机交互带来突破。鼠标键盘、触屏等传统的人机交互技术难以使人与计算机实现如同人与人之间那样高效自然的交互, 而语音识别、图像分析、手势识别、语义理解、大数据分析等人工智能技术能帮助计算机更好地感知人类意图, 完成人类无法完成的任务, 驱动着人机交互的发展。

从人类的角度看, 人工智能的发展是计算机技术的发展, 而计算机技术发展的最终目的是为人类服务。 人工智能要为人类服务, 就不可避免需要研究人工智能的特性, 研究人的特性, 以及研究人和人工智能交互过程中遇到的问题, 这也正是人机交互所研究的问题。

因此, 人工智能和人机交互是相辅相成, 相互促进的关系。理性认识人机交互与人工智能的关系, 在未来人机交互的发展中将具有指导性意义。