混合需求驱动的文内视觉资源移动视觉搜索框架
胡蓉1, 2 , 唐振贵2 , 朱庆华2
1. 西南大学计算机与信息科学学院,重庆 400715;
2. 南京大学信息管理学院,南京 210023
A Hybrid Need-driven Mobile Visual Search Framework for Visual Resources in Academic Literature
Hu Rong1, 2 , Tang Zhengui2 , Zhu Qinghua2
1. School of Computer & Information Science, Southwest University, Chongqing 400715;
2. School of Information Management, Nanjing University, Nanjing 210023
摘要 文内视觉资源是学术文献中重要的可视知识单元,提供移动互联环境下文内视觉资源的搜索服务,将成为情报学领域学术知识服务的创新价值增长点。本文从文内视觉资源的“供给-需求-服务”三方视角出发,通过整合学术用户不同层次的需求,融合文内视觉资源的底层视觉特征、高层语义特征与上下文文本信息特征,探索文内视觉资源移动视觉搜索(VRAL-MVS)的实现框架。框架的资源描述与组织部分重点进行了VRAL-MVS系统的需求层次识别和VRAL本体构建,检索实现部分则侧重探讨了系统架构与检索流程,并开发了VRAL-MVS原型系统,以PLOS ONE数据集为例对框架效果进行了验证。总体上看,该框架能初步满足学术用户以图搜图、以图搜意与以图搜文的混合需求,本研究也是将移动视觉搜索技术引入学术情报服务,并深入到更细粒度的可视知识单元进行检索的探索型研究。
关键词 :
文内视觉资源 ,
移动视觉搜索 ,
框架 ,
本体 ,
原型系统 ,
混合需求
收稿日期: 2017-07-25
基金资助: 国家社会科学基金重大项目“面向大数据的数字图书馆移动视觉搜索机制及应用研究”(15ZDB126)
作者简介 : 胡蓉,女,1980年生,博士生,主要研究方向为用户信息行为、人机交互、网络信息资源管理,E-mail: hr@smail.nju.edu.cn;唐振贵,男,1976年生,博士生,主要研究方向为文本挖掘,语义网;朱庆华,男,1963年生,教授,博士生导师,主要研究方向为社会化媒体,互联网用户行为。
[1] 胡蓉, 唐振贵, 赵宇翔, 等. 文内视觉资源的分析框架与计量探索[J]. 情报学报, 2017, 36(2): 141-151.
[2] 张兴旺, 李晨晖. 数字图书馆移动视觉搜索机制建设的若干关键问题[J]. 图书情报工作, 2015, 59(15): 42-48.
[3] 赵宇翔, 朱庆华. 大数据环境下移动视觉搜索的游戏化机制设计[J]. 情报资料工作, 2016(4): 19-25.
[4] 马腾腾, 赵宇翔, 朱庆华. 国外移动视觉搜索产品的比较分析研究[J]. 图书馆杂志, 2016(9): 81-88.
[5] 爱奇艺App新增“以图搜剧”, 首创AI剧照搜索引擎服务[EB/OL]. [2017-07-06]. http://news.ifeng.com/a/20170512/51083584_0.shtml.
[6] Zhang N, Mei T, Hua X S, et al.TapTell: Interactive visual search for mobile task recommendation[J]. Journal of Visual Communication & Image Representation, 2015, 29: 114-124.
[7] Chandrasekhar V, Takacs G, Chen D, et al.CHoG: Compressed histogram of gradients A low bit-rate feature descriptor[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, IEEE, 2009: 2504-2511.
[8] Tsai S S, Chen D, Takacs G, et al.Location coding for mobile image retrieval[C]// Proceedings of the International Conference on Mobile Multimedia Communications, London, UK, 2009.
[9] Schroth G, Huitl R, Chen D, et al.Mobile visual location recognition[J]. IEEE Signal Processing Magazine, 2011, 28(4): 77-89.
[10] Ji R, Duan L Y, Chen J, et al.Location discriminative vocabulary coding for mobile landmark search[J]. International Journal of Computer Vision, 2012, 96(3): 290-314.
[11] Girod B, Chandrasekhar V, Chen D M, et al.Mobile visual search[J]. IEEE Signal Processing Magazine, 2011, 28(4): 61-76.
[12] 陈长. 面向数字图书馆的低比特移动视觉搜索研究与应用[D]. 北京: 北京大学, 2012.
[13] 钟志鹏, 王涌天, 陈靖, 等. 一个基于移动视觉搜索技术的博
物馆导览系统[J]. 计算机辅助设计与图形学学报, 2012, 24(4): 555-562.
[14] Chen D M, Tsai S S, Girod B, et al.Building book inventories using smartphones[C]// Proceedings of the International Conference on Multimedea, Firenze, Italy, 2010: 651-654.
[15] 齐云飞, 赵宇翔, 朱庆华. 关联数据在数字图书馆移动视觉搜索系统中的应用研究[J]. 数据分析与知识发现, 2017, 1(1): 81-90.
[16] Gudivada V N, Raghavan V V.Content-based image retrieval systems—guest editors’ introduction[J]. Computer, 1995, 8(8): 18-22.
[17] 蔡昌许. 基于语义的图像标注与检索系统研究[D]. 武汉: 武汉大学, 2005.
[18] 李胜辉. 基于本体的图像语义的自动标注研究[D]. 长沙: 湖南大学, 2011.
[19] Neches R, Fikes R, Finin T, et al.Enabling Technology for Knowledge Sharing[J]. Ai Magazine, 1991, 12(3): 36-56.
[20] Fan J, Gao Y, Luo H.Hierarchical classification for automatic image annotation[C]// Proceedings of the International ACM SIGIR Conference on Research and Development in Information Retrieval, Amsterdam, the Netherlands, 2007: 111-118.
[21] 邓涛, 郭雷, 杨卫莉. 基于本体的图像语义标注与检索模型[J]. 计算机工程, 2008, 34(17): 188-190.
[22] 谭立球. 基于本体的图像检索相关技术研究[D]. 长沙: 中南大学, 2009.
[23] 彭杨. 基于本体的动画素材图像语义标注研究[D]. 长沙: 湖南师范大学, 2009.
[24] 张志武. 基于本体和自动标注的网络邮票图像语义检索研究——以南京邮电大学数字邮票库为例[J]. 情报探索, 2013(10): 99-103.
[25] Brickley D, Miller L. FOAF vocabulary specification 0.99[OL]. [2017-07-20]. http://xmlns.com/foaf/spec/.
[26] Raimond Y, Abdallah S. The event ontology[OL]. [2017-07-20]. http://motools.sourceforge.net/event/event.html.
[27] GeoNames ontology[OL]. [2017-07-20]. http://www.geonames. org/ontology/documentation.html.
[28] Raimond Y, Abdallah S. The timeline ontology[OL]. [2017- 07-20]. http://motools.sourceforge.net/timeline/timeline.html,2007.
[29] The ultimate MPEG-7 ontology[OL]. [2017-07-20]. http:// mpeg7.org/mpeg-7-ontology/.
[30] SKOS simple knowledge organization system[OL]. [2017-07-20].https://www.w3.org/2004/02/skos/.
[31] Shotton D.CiTO, the citation typing ontology[J]. Journal of Biomedical Semantics, 2010, 1(S1): S6.
[32] Giasson F, D’Arcus B. The bibliography ontology[OL]. [2017- 07-20]. http://bibliontology.com.
[1]
张海涛, 刘伟利, 栾宇, 刘嫣. 重大突发事件的情景图谱构建 [J]. 情报学报, 2021, 40(9): 924-933.
[2]
陆泉, 刘婷, 张良韬, 陈静. 面向知识发现的模糊本体融合与推理模型研究 [J]. 情报学报, 2021, 40(4): 333-344.
[3]
张卫, 王昊, 邓三鸿, 张宝隆. 电子政务领域中文术语层次关系识别研究 [J]. 情报学报, 2021, 40(1): 62-76.
[4]
王晓光, 周慧敏, 宋宁远. 科学论文论证本体设计与标注实验 [J]. 情报学报, 2020, 39(9): 885-895.
[5]
王芳, 杨京, 徐路路. 面向火灾应急管理的本体构建研究 [J]. 情报学报, 2020, 39(9): 914-925.
[6]
杨梦晴, 赵宇翔, 宋士杰, 朱庆华. 国外健康行为研究中信息框架理论的源流、应用与发展 [J]. 情报学报, 2020, 39(6): 662-674.
[7]
曹文振, 赖纪瑶, 王延飞. 人工智能时代情报学发展走向之辨——对本体论、感知论、方法论、服务论的再思考 [J]. 情报学报, 2020, 39(5): 557-564.
[8]
李媛媛, 李旭晖. 结合本体与社会化标签的用户动态兴趣建模研究 [J]. 情报学报, 2020, 39(4): 436-449.
[9]
唐琳, 郭崇慧, 陈静锋, 孙磊磊. 基于中文学术文献的领域本体概念层次关系抽取研究 [J]. 情报学报, 2020, 39(4): 387-398.
[10]
沈涛. 环境扫描研究回顾与整合框架构建——基于扎根理论的探索 [J]. 情报学报, 2020, 39(12): 1305-1319.
[11]
黄奇, 钱韵洁, 袁勤俭, 陆佳莹. 基于图形数据库的产品分类本体存储研究 [J]. 情报学报, 2019, 38(8): 849-859.
[12]
贾君枝, 崔西燕. 人物本体词表之间的互操作及分类体系构建 [J]. 情报学报, 2019, 38(7): 731-741.
[13]
楼雯, 王慧, 鞠源. 基于二值相似度计算的异构本体融合方法 [J]. 情报学报, 2019, 38(6): 622-631.
[14]
黄奇, 钱韵洁, 袁勤俭, 陆佳莹. 基于图形数据库的OWL 本体存储模型研究 [J]. 情报学报, 2019, 38(3): 310-321.
[15]
唐晓波, 谭明亮, 李诗轩, 郑杜. 企业破产预测系统模型构建及实现研究 [J]. 情报学报, 2019, 38(10): 1051-1065.