项目简介
“基于多模态类脑强化学习的微视频内容理解技术研究 ” ( 批准号:Z171100000117010) 是北京市科技计划课题, 起止时间是2017年1月至 2018年12月,于 2019 年2月28日顺利通过了北京市科技信息中心组织的课题验收。 课题完成情况概述:基于深度强化学习的 Alpha Go 系统在围棋竞赛中击败了人类,推动了深度学习与强化学习的技术跨越,但是国内外在如何利用深度强化学习分析异构多模态 信息方面的研究尚属起步阶段。多模态类脑强化学习借鉴人脑基于突触重塑的小样本学习机制,结合多模态融合网络与导向性强化学习方法 , 能够解决传统深度学习的大样本依赖和多模态信息表征能力弱的问题 , 将在复杂异构信 息内容分析与理解方面发挥核心作用。本课题针对传统深度学习的大样本依赖和多模态信息表征能力弱的问题,提出了仿突触重塑机制的 多模态类脑强化学习模型,包括以下核心技术: 1)基于深度强化学习的事件要素检测方法;2) 基于深度强化学习的事件时序聚焦方法;3)基于自监督学习的多模态静态融合方法;4)基于深度强化学习的多模态动态融合方法;5)融合事件识别与事件注释的多网络联合学习方法。 研发基于多模态类脑强化学习的微视频内容理 解系统,实现网络环境下微视频中复杂事件的 智能理解与自动注释,提升网络微视频复杂语 义事件的智能识别精度,为网络视频个性化推 荐、智能检索、内容审核等智能信息服务提供关键技术支持,并推动北京市在类脑智能领域的知识创新。
相关图片
基于多模态类脑强化学习的微视频内容理解系统