面向家庭伴护智能机器人研制及示范

浏览次数

301

收藏次数

0

接洽次数

0

本项目是北京市科技计划课题(批准号: D161100001816001), 起 止 时 间 为2016年1月至2017年12月,已于2018年3月通过北京市科技委员会验收。在项目执行期间,按照研究 计划,从五个方面开展研究,一是执行听视觉感知技术研究,主要实现场景分类、物体识别、视觉场景内的区域级解析、室内环境的立体建模、 语音的识别、异常声音的检测,同时建立视觉知 识库进行更全面和深入的场景理解,实现更综合 的视觉场景描述;二是执行机器人路径规划,保证机器人在运行环境中能够安全、快速地移动到目标点。路径规划包含基于地图的导航规划(全局路径规划)与基于传感器的反射式导航(局部 路径规划);三是利用家人个性化知识、生活常 识知识进行推理学习和知识建模,以便对生活习惯进行自主学习;四是机器人控制系统将视觉环 境感知的结果滤波及预测,通过手眼协调来完成 物体抓取;五是关于语言与视听觉场景的多模态 信息理解、用户的意图感知、多模态的知识推理、 语音与视觉的自然对话、行为与语言的融合交互 的研究。

技术创新:在人机交互方面,提出一个双轨多模态自学习模型。创新之处在于将视觉识别和自动知识提 取有机融合到到一个统一的框架中,实现了视觉识别与知识学习的关联增强。双轨多模态自动学习模型由两部分组成:混合增量学习和来自知识轨道的多模态知识抽取。通过学习新的对象样本和新的对象概念,可以提高系统的识别能力;通过集成多模态信息,知识抽取能够根据识别的物 体构建和持续更新知识条目,两个模态互相融合, 形成一个整体的系统。 在图像的概念分类方面,采用多特征和空间 上下文的方法,在大规模的图像数据集上得到了 与卷积神经网络相当的性能;提出了面向场景分 类的多尺度深度模型的融合方法,并在大规模场 景分类数据集 SUN397 上得到了同时期最好性能。 在手持物体识别方面,提出了有针对性的多特征融合技术,发表了5篇论文,开发了原形演示系统,并在国际会议 ACM Multimedia 上进行了演示。 在 RGB-D 的概念识别方面,研究了利用弱监督学习的方法的 Depth 图像表示问题,取得了 比从 RGB 模态上迁移过来的特征表示更好的结果。

论文发表和专利申请:在项目执行期间,共录用发表学术论文 11 篇,申请发明 专利 2 项。

人才培养:项目组培养博士研究生6名,硕士研究生10余名。 

数据库建设建立了复杂场景下的实例级图像数据集 INSTRE、基于多传感器的手持物体检测数据集 HOD 等,这些数据集可以支持和推动相关领域的进一步研发。

  

                                        图 1: 结构展示                                                                                                      图 2:功能展示

 

相关企业 更多企业
西门子(中国)有限公司
西门子(中国)有限公司

法人: 赫尔曼(LotharHerrmann)

注册资金:900000000.00元

成立年限:11

北京市 北京市 朝阳区

淘宝(中国)软件有限公司
淘宝(中国)软件有限公司

法人: 张勇

注册资金:375000000.00元

成立年限:15

浙江省 杭州市 余杭区

阿里云计算有限公司
阿里云计算有限公司

法人: 张建锋

注册资金:1000000000.00元

成立年限:12

浙江省 杭州市 西湖区

新浪网技术(中国)有限公司
新浪网技术(中国)有限公司

法人: 曹国伟

注册资金:105000000.00元

成立年限:15

北京市 北京市 海淀区

长园深瑞继保自动化有限公司
长园深瑞继保自动化有限公司

法人: 徐成斌

注册资金:1000000000.00元

成立年限:25

广东省 深圳市 南山区

通用电气(中国)有限公司
通用电气(中国)有限公司

法人: 段小缨

注册资金:100000000.00元

成立年限:25

上海市 上海市

新誉轨道交通科技有限公司
新誉轨道交通科技有限公司

法人: 周立成

注册资金:500000000.00元

成立年限:16

江苏省 常州市 武进区

内蒙古晶环电子材料有限公司
内蒙古晶环电子材料有限公司

法人: 曹建伟

注册资金:500000000.00元

成立年限:6

内蒙古自治区 呼和浩特市

成都运达科技股份有限公司
成都运达科技股份有限公司

法人: 何鸿云

注册资金:448000000.00元

成立年限:13

四川省 成都市

广州新科佳都科技有限公司
广州新科佳都科技有限公司

法人: 何华强

注册资金:400000000.00元

成立年限:15

广东省 广州市 天河区