智能家居

• by: 李梦媛
• 7月10日, 2021

在智能家居中，作者团队关注到聋哑人群体与听力困难人群的日常生活，针对聋哑人易错过紧急事件、耳蜗效能较差等问题，提出基于智能手机的声学事件传感通知系统Ubiear与全天候辅助应用AdaSpring。为听力困难人群提供声音的多维感知方式。下面就智能家居中的Ubiear与AdaSpring分别进行介绍。

Ubiear

在户外、厨房和家庭等环境中，存在许多复杂的环境噪音，使得听力困难者时常错过重要语音。Ubiear面向聋哑人与听力困难者对日常语言与紧急语音的二次感知需求，用深度神经网络实现声音的识别并进行通知，用于重听人群感知紧急事件（如火灾报警、烟雾报警、水壶沸腾声）和社交事件（如门铃声、敲门声、哭声）。作者团队开发了应用于安卓环境下的移动端应用软件（如图1），通过监听环境信息判断声音类型，为用户及时提供画面、震动、闪光灯多角度提示信息。

在实践方面，作者团队与聋哑人学校进行合作，为86位听力困难者提供了Ubiear服务，结果表明Ubiear可以有效的帮助听力困难者识别多种重要信息并提高生活质量,如图2。

AdaSpring

AdaSpring是部署在Ubiear部署在Nvidia Jetbot平台的全天辅助应用。通过智能小车部署UbiEar如图3，在声音可能发生的位置进行巡逻，当需要通知的声音发生后，移动到设定的通知地点进行通知。过程中采用已有地图进行路径规划，并对障碍进行基础的避障动作。

针对全时段监听应用的高电量消耗与嵌入式移动设备的有限的电池复杂，通过AdaSpring框架对声音识别的DNN 网络进行压缩优化，这里以Nvidia Nano的电量管理和运行内存管理作为条件因素，不断自适应地选择最佳压缩策略来缩小DNN配置，最终实现在智能家居中的移动设备性能与能效的高效利用。