Motion Sense背后的技术是Soli，这是消费类智能手机中的第一个集成的短程雷达传感器，它可以促进与手机的近距离交互而不接触。下面，我们讨论Soli的核心雷达传感原理和基于雷达数据中识别人类活动的信号处理和机器学习（ML）算法的设计，以及我们如何解决一些集成挑战，以准备将Soli用于消费类设备。

设计用于运动感应的Soli雷达系统

雷达的基本功能是基于远程对象与无线电波的相互作用来检测和测量其特性。一个经典的雷达系统包括一个发射器，它发射无线电波，然后被其路径内的物体散射或重定向，其中一部分能量被雷达接收器反射回并拦截。基于接收到的波形，雷达系统可以检测物体的存在，并估计这些物体的某些属性，例如距离和大小。雷达作为探测和测距技术一直在积极发展，并已有近一个世纪的历史了。传统的雷达方法设计用于检测大型，刚性，远距离的物体，例如飞机和汽车。因此，它们缺乏在消费者手持设备的要求内感测复杂运动的灵敏度和分辨率。因此，为了启用运动感应，Soli团队从头开始开发了一种新的小型雷达系统，集成了新颖的感应范例和算法，使得其可以专门用于对人机交互的细粒度感知。经典雷达设计依赖于相对于目标尺寸的精细空间分辨率，以便分辨不同的物体并区分其空间结构。这样的空间分辨率通常需要较宽的传输带宽，较窄的天线波束宽度，以及大型天线阵列。另一方面，Soli采用基于运动而非空间结构的，截然不同的传感范例。由于采用了这种新颖的范例，我们能够在Pixel 4中Soli的5 mm x 6.5 mm x 0.873 mm芯片封装中安装其整个天线阵列，从而能将雷达集成到手机的顶部。值得注意的是，例如，与光学成像传感器相比，我们开发了不需要形成目标空间结构的清晰图像的算法。因此，不会生成人的身体或面部的可区分图像，也不会将其用于“运动感应”状态或手势检测。

设计雷达的机器学习算法

在使用Soli的信号处理流水线来过滤和增强原始雷达信号之后，将得到的信号转换输入到Soli的ML模型中进行手势分类。这些模型已经过训练，可以以低延迟准确地检测和识别运动感应手势。对任何运动传感技术都常见的空中手势进行分类，主要存在两个主要的研究挑战。首先是每个用户都是唯一的，并且以多种方式执行甚至简单的动作，例如滑动。第二，传感器范围内可能有许多无关的动作，看起来与目标手势类似。此外，当手机移动时，从手机中的运动传感器的角度来看，整个世界似乎都在移动。为了解决这些挑战，需要设计定制的ML算法，该算法针对雷达信号的空中手势的低延迟检测进行了优化。Soli的ML模型由神经网络组成，这些神经网络使用了数千名Google志愿者记录的数百万个手势进行训练。这些雷达记录与来自其他Google志愿者的数百小时背景雷达记录混合在一起，其中包含在设备附近进行的一般动作。Soli的ML模型使用TensorFlow进行了训练，并进行了优化，可以直接在Pixel的低功耗数字信号处理器（DSP）上运行。这使我们即使在主应用程序处理器掉电的情况下也能以低功耗运行模型。

从概念到产品的Soli

Soli可以集成到Pixel智能手机中，主要是因为它的端到端雷达系统（包括硬件，软件和算法）经过了精心设计，所以可以在消费类设备的尺寸和功率限制内实现非接触式交互。Soli的微型硬件允许整个雷达系统安装在Pixel上边框的有限空间内，这是团队的一项重大成就。实际上，2014年的第一个Soli原型就是台式机的大小。为了将整个雷达系统缩小到单个5.0 mm x 6.5 mm RFIC，我们将硬件创新与我们先前介绍的新型时间感测范例相结合，包括封装上的天线。Soli团队还介绍了几种创新的硬件电源管理方案，并优化了Soli的计算周期，使Motion Sense能够适应智能手机的功耗预算。硬件创新包括将雷达系统从台式机原型迭代缩小到单个5.0 mm x 6.5 mm RFIC，包括封装天线。为了将Soli集成到Pixel中，雷达系统团队与产品设计工程师紧密合作，以保持Soli信号质量。手机中的芯片放置以及芯片上方材料的Z形堆栈经过优化，可最大程度地提高通过玻璃的信号传输，并最大程度地减少来自周围组件的反射和遮挡。该团队还发明了定制信号处理技术，以使其与周围的电话组件共存。例如，开发了一种新颖的滤波器来减少音频振动对雷达信号的影响，从而可以在播放音乐时检测手势。此类算法创新可在多种常见用户场景中启用Motion Sense功能。

未来方向

Soli成功集成到Pixel 4和Pixel 4 XL设备中，首次证明了在日常移动消费设备中基于雷达的机器感知的可行性。像素设备中的运动感显示了Soli的潜力，它可以为显式和隐式交互带来无缝的上下文感知和手势识别。我们很高兴继续研究和开发Soli，以实现新的基于雷达的传感和感知功能。

• 工作
• 详解
• 雷达
• 谷歌
• Soli