项目简介

本项目是华为企业合作项目（ 批 准 号： YB2016040001）， 起止时间是 2016 年5月至2017年5月。 本技术合作项目旨在构建适用于开放垂直领域的知识库自动构建平台，支持面向开放领域的百万实体级知识库构建，具备面向限定垂直领域 （如视频领域、旅游、教育领域等）的快速采集、 抽取、存储、扩充、融合、更新和推理能力，能够支撑视频推荐、用户画像，提升运营商在营销、 服务、视频等领域的运营智能水平。

本系统支持 8 个以上网站数据源额度采集， 包括国内外新闻、论坛、微博（国内外）、博客 （国内外）、商品详情（含评论）、百科知识库， 支持网站数据源和信源的快速配置，具备信源快速刷新能力。系统能够实现领域知识库知识抽取， 包括从网页和文本中抽取实体、实体之间关系以 及实体链接的功能，其中文本抽取的功能还包括分词、词性标注、垂直领域命名实体识别、关系 发现。系统能够提供领域知识库的图数据存储， 支持领域知识库与标签的映射，支持语义化的标 签关系识别和推理，让领域知识库具备自我更新能力，即知识的实时捕获和更新，类似病毒库的实时同步和更新机制。系统能够对知识抽取模型进行调整，包括模型增量更新，对半监督模型进行调整防止知识漂移。系统支持用户对知识库进行编辑，提供可视化的编辑工具，支持用户自定 义标签，并提供纠错工具，支持对系统内的知识 进行纠错，系统可学习纠错结果。 系统包括如下几个部分：开放网页视频信息采集、以视频为中心的知识抽取、多源、多粒度 的知识融合、视频的知识补全、视频实体知识库 以及上层的视频推荐系统，如图 1 所示。其中， 视频信息采集来源包括但不限于领域垂直网站、 在线百科等。以视频领域为例，通过对采集得到的视频信息，进行属性抽取、关系抽取、标签抽 取得到以视频为中心的领域知识库，并通过视频 标签聚合、视频实体对齐、视频去重进行知识的 融合，最后通过标签推理技术，对视频实体的标 签进行补全，生成视频领域知识库。进而支持上层的视频查询等应用。 系统涉及到的工具或模块包括视频网站采集 工具、评论采集工具、标签抽取工具、标签聚合 工具、视频实体对齐、视频实体去重工具、标签推理工具。这几个工具的相互关系图 2 所示。 其中，视频网站采集模块主要是采集视频的 页面信息，然后将视频实体的相关信息存入图数 据库 Titan 中。评论采集模块负责爬取特定视频 的评论，将爬取得到的文本存入 MongoDB 数据 库中。对于爬取得到的评论数据，利用标签抽取 和标签聚类模块对评论文本中出现的标签进行抽取，并对语义相似的标签进行聚合。对于标签比 较少的实体，进行标签的推理，这些数据也都存 入到 Titan 数据库中。同时，对于视频实体，利 用去重和对齐模块，分别实现了同一个来源（如 爱奇艺视频）中重复视频实体的去重，以及多个 来源（如爱奇艺视频和豆瓣视频）中相同实体的对齐。去重以及对齐模块都会产生一个融合节点， 同时也存入到图数据库 Titan 中。

                       图 1 系统架构图                                                                              图 2 模块关系图