多模态知识图谱构建研究与挑战

文本、图像、视频、音频等数据的大量涌现，使得多模态数据的语义理解与知识表示需求变的更加迫切。认知科学研究表明，个体感知、认知外界进而形成知识的过程，通常是多种感官同时对信息进行处理和融合。多模态知识图谱的构建，能够让基于知识图谱的智能服务更好的理解真实世界的数据场景，进而更好的支撑各项上游任务和行业应用，如推荐系统、语义搜索、智能问答等。本报告将介绍东南大学认知智能研究所在多模态构建方面的工作进展，并分析未来挑战。

王萌，东南大学计算机科学与工程学院助理教授，东南大学“至善青年学者”支持计划获得者；2018年毕业于西安交通大学计算机系；澳大利亚昆士兰大学联合培养博士; 同年9月进入东南大学计算机科学与工程学院任教，研究方向为语义搜索、智能问答、知识图谱、自然语言处理；先后在ISWC、ICSE、AAAI、IJCAI等国际期刊和顶级会议发表论文30余篇，国家发明专利3项，参与出版专著1本，曾获ISWC 2018 最佳论文提名奖、IEEE ICBK最佳论文奖。主持国家自然科学基金1项。