在他们目前的状态,可穿戴计算设备,如眼镜、手表、或传感器嵌入到你的服饰,是很显眼的。杰森,卡内基梅隆大学计算机科学院的副教授,写了一篇2014合著的普适计算,讲可穿戴设备集成在人体放置传感器的最佳位置,他们同样是“难以适应由于我们的社会环境和需求来保持他们的轻巧。”
对于士兵在战斗或应急人员应对突发事件,无缝的互动与可穿戴设备是至关重要的。无论是士兵穿着或携带的硬件,这将是没有好处,如果他们必须停止他们正在做的互动,同时应对敌人的火力或其他紧急情况。这篇文章描述了我们的联合研究中央结算系统的人机交互研究所联合研究(HCII)理解的使命和任务,角色,个人徒步士兵使用感知情景从他们的移动设备和身体传感器获得所需要的信息和支持。
情境感知计算模型
在开始这项研究,我们与他们anind博士,在情境感知计算技术的先驱。他们写了一个关于情境计算的开创性的论文,“理解和使用的情境,而在乔治亚理工学院完成他的博士工作。在他们的研究技术,Dey研究的是传感器和移动技术来开发工具和模拟人类的行为技术,主要是在健康的领域,汽车、可持续发展与教育。
我们与Dey其他HCII研究人员的合作旨在利用新兴技术的计算能力是佩戴在用户的身体和/或与用户的智能手机通过一个云基础设施。我们要确保该技术的工作原理,在一个不显眼的方式和用户期望用户的信息和其他需要。
帮助战场上的士兵
通过我们共同的努力研究,我们开发了一个框架和一个数据模型,参与编纂一个士兵的角色和任务在一个大组的任务。然后,我们研究了数据流,可从传感器的智能手机,士兵在该领域使用。我们增强了我们的实验与其他身体磨损传感器。
以一个排爆员的例子来调查的未爆炸武器。由于技术人员接近,他或她的智能手机或可穿戴设备,传感的位置,将自动禁用所有无线通信所使用的技术人员,以及任何附近的士兵使用,可能引发的武器。其他附近的可穿戴设备或智能手机,保持一个安全的距离,然后发送通知到其他士兵在单位撤退到一个对峙的距离。
另一个场景可能涉及可穿戴式摄像头。由于技术人员接近一个爆炸装置,一个可穿戴的相机,如谷歌玻璃,可以进行物体检测和识别。相机会,最理想的是,提供的信息,如设备类型,数量的产量,类型的保险丝,或设备是否是类似于先前已被拆除。该相机甚至可以提供常见的禁用技术,而无需滚动通过选项或发布命令的士兵。
了解一个士兵的使命,角色和任务,我们的框架包含了所有的感官数据-包括音频,视频和运动传感器-然后提供信息,理想情况下,是最适合的士兵在一个给定的场景。
然后,我们扩展了框架的一组上下文,因为士兵和第一反应几乎总是在团队中工作。一组士兵或急救者有一个使命,并基于这一使命,他们都有他们要完成的角色(例如,无线电,炮手,或指挥官)。根据这些角色和任务,他们都有一些任务必须完成。
我们开发了一个框架和移动设备的原型,将共享情境的所有手持设备的任务,以帮助团队协调任务最有效的任务。
在(彩弹)领域测试我们的框架
我们尝试了每个智能手机或可穿戴设备,平均而言,在8和12的原始传感器数据流跟踪
温度
气压
全球定位系统的位置数据
接收来自不同本地无线网络的信号强度
惯性测量单元(IMU)采用六轴设备,不仅详细的用户是否移动,下,左,右的测量,但它也提供了加速度率每个平面。
接下来,我们设计了一些有代表性的小单元战术,每一个都是从埋伏到一个巡逻到一个协调的撤退。我们决定测试我们的彩弹会话情景因为反馈机制(被彩弹击中刺)提供足够激励志愿者(他们分别来自第九百一十一空运联队绘制)反应现实。在户外彩弹的过程中,我们对我们的志愿者的身体连接的传感器。然后我们拍摄志愿者在脚本的情况下记录的感官数据流。
依靠活动识别研究,我们从一打高带宽(高采样率)的数据流,为每个志愿者和确定,根据这些传感器的数据流,志愿者的活动和更大的背景下,该组正在执行。这项工作是另一个领域,我们正在与他们。
我们测试了2种方法:
以个别的传感器流,并认识到每个个人活动(利用机器学习),然后看每个志愿者进行的活动,试图推断出一组活动。
把所有的原始传感器从所有的志愿者饲料直接进入机器学习算法。这种方法使我们能够从原始数据的理解,例如,一组士兵是在攻击或撤退,而不首先探索个人的背景下。
目前,我们正在研究原始传感数据在彩弹运动捕获并标记它。通过这样做,我们正在试图确定,例如,一个人是否运行,撤退,或整个组被伏击返回消防部分。随着视频捕捉提供了一个地面的事实,他们的活动,我们运行的原始感官数据,在每个组合中,我们可以想到的机器学习算法,并尝试确定传感器流(和组合的传感器流)是最准确的能够预测个人的活动。
例如,在某些情况下,我们需要结合惯性测量单元的数据从腿和头部,以准确预测个人的位置。使用机器学习算法的好处是,它们是分类和相对不透明的数据。我们可以把任何一组传感器流的分类,并比较它的标记数据的准确性。这种比较使我们能够有效地确定哪些传感器流是最适用于识别每个类型的个体和群体活动。
我们进行了三次彩弹练习2014,使用数据记录大量训练有素的模型开发。然后,我们应用这些训练模型,以帮助识别个人和群体活动。
我们的目标是使用所有这些数据流推断出个人的活动或身体的位置,然后确定如何将这些推论与个人的预先定义的角色和任务。例如,这是不足以知道,有人的角色是“处置技术员”,它也有利于提供特定阶段的使命。例如,我们的处理技术员正变得适合吗?如果是这样的话,这将是提供背景信息的网站的布局,技术人员正在旅行的价值。
一旦技术人员到达了武器,他或她会要求不同的信息:
我在看什么类型的设备?
我的安全警戒线是多大呢?
我如何拆除设备?
我怎么警告人们?
我能警告人们吗?
成果与挑战
我们进行了三轮的彩弹射击练习,我们的结果改进每个运动。在我们的第二个练习,与某些组合的传感器,我们能够识别夸张的行为为一个人(即,运行或下降),百分之90的精度。
虽然其他研究人员在这一领域进行了类似的工作,我们的目标是认识到群体行为,除了个别行为。我们的目标是,以确定是否一个队是在攻击前的一名队员必须花宝贵的秒,以无线电,信息回到指挥中心或支持部队。当士兵在一个队中的士兵们在火灾下的时候,立刻知道可以让前进的操作基地来部署支援秒,甚至几分钟的时间。
我们目前面临的一个挑战是,模型训练的一般人群不执行准确的具体个人。一旦我们应用一个通用模型,一个个体,我们的一个未来的挑战是学习一个特定的人的怪癖,例如,如果一个从世界上的其他人稍有不同的步态个体经营。我们的目标是板载不断的学习,使模型成为个性化的个人。这种个性化将使我们能够做非常准确的活动识别和信息传递。
我们面临的另一个挑战是,我们并不是第一批挑战这一挑战的人,是简化与人类志愿者工作的后勤工作。简单地协调志愿者,传感器,无线数据收集,和相机被证明很难。我们了解到,在我们的通信中,它的工作是非常具体的:制定一个严格的议程,并通知志愿者的日程。
锻炼完后,我们还面临着大量(数百兆字节)数据,包括视频和传感器原始数据。我们写了一些实用程序,自动蒸馏的数据。我们还写了一些应用程序,它会自动拉离相机的数据,在一个实验中,并将其归档在本地硬盘驱动器。此外,我们写了一个关于Android的手机,都分布在彩弹场摄像机的远程控制程序。
展望未来
今天的士兵携带着许多相同的装备,他们的前辈已经进行了几十年(一个无线电、水、个人防护装备、弹药和武器)。目前,士兵们在战场上付出了代价。硬件是沉重的,电池也较重,电池寿命也不是最优的。现在,计算的好处还没有足够的士兵和第一反应者支付的价格来进行权重和处理的增加的复杂性。
作者:Jeff Boleng