面向大数据的情报分析框架
唐明伟1,2 , 苏新宁2,3 , 肖连杰2,3
1. 南京审计大学信息工程学院,南京 211815; 2. 江苏省数据工程与知识服务重点实验室(南京大学),南京 210023; 3. 南京大学信息管理学院,南京 210023
Big-Data-Oriented Intelligence Analysis Framework
Tang Mingwei1,2 , Su Xinning2,3 , Xiao Lianjie2,3
1. School of Information Engineering, Nanjing Audit University, Nanjing 211815; 2. Jiangsu Key Laboratory of Data Engineering and Knowledge Service (Nanjing University), Nanjing 210023; 3. School of Information Management, Nanjing University, Nanjing 210023
摘要 本文首先分析了大数据时代情报学面临的挑战和机遇,整理了目前国内外情报学研究的现状和未来发展趋势;分析了大数据时代情报工作面临的挑战,梳理了面向大数据的情报学相关理论和方法,并按照情报学一般工作流程进行了分类。其次根据大数据计算的特点以及相应的方法,从总体架构、功能及实现方法等方面构建了面向大数据的情报分析框架,并以一个基于Spark平台的关键词统计实验对框架的有效性进行了验证。最后,探讨了不同行业应用该框架的一些细则问题。本文构建的情报分析框架不仅可提供面向大数据的情报学理论和方法的基本查询,还可提供这些理论和方法支撑下的决策服务的调用。其构建细节则可为大数据环境下情报学理论和方法的实际应用提供参考。
关键词 :
大数据 ,
情报学 ,
情报分析
收稿日期: 2018-04-02
基金资助: 国家社会科学基金重大项目“情报学学科建设与情报工作未来发展路径研究”(17ZDA291); 国家自然科学基金青年项目“大数据驱动的突发事件情报感知及快速响应研究”(71603114); 江苏省社会科学基金青年项目“大数据驱动的突发事件情报感知研究”(16TQC004)
作者简介 : 唐明伟,男,1982年生,副教授,主要研究领域为智能信息处理;苏新宁,男,1955年生,教授,博士生导师,教育部长江学者特聘教授,主要研究领域为信息智能处理与检索、信息分析与科学评价,E-mail: xnsu@nju.edu.cn;肖连杰,男,1990年生,博士生,主要研究领域为智能信息处理、数据挖掘。
[1] 柯平. 当代情报学理论体系的建构[J]. 情报学报, 2004, 23(3): 377-384. [2] 包昌火, 李艳. 情报缺失的中国情报学[J]. 情报学报, 2007, 26(1): 29-34. [3] 毕强. 数字时代情报学发展前景[J]. 图书情报工作, 2010, 54(12): 5-7, 31. [4] 曾建勋, 魏来. 大数据时代的情报学变革[J]. 情报学报, 2015, 34(1): 37-44. [5] 夏立新, 陈燕方. 大数据时代情报危机的发展演变及其应对策略研究[J]. 情报学报, 2016, 35(1): 12-20. [6] 化柏林, 李广建. 面向情报流程的情报方法体系构建[J]. 情报学报, 2016, 35(2): 177-188. [7] 唐晓波, 魏巍. 工程化视角下的情报工作方法论研究: 理论模型的构建[J]. 图书情报工作, 2016, 60(7): 5-10. [8] 彭知辉. 数据:大数据环境下情报学的研究对象[J]. 情报学报, 2017, 36(2): 123-131. [9] 王永红. Intelligence下对企业信息资源工作的现实思考[J]. 图书情报工作, 2007, 51(9): 41-44. [10] 贺德方. 大数据环境下的情报学[J]. 数字图书馆论坛, 2012(11): 3-6. [11] 刘如, 吴晨省, 李梦辉. 大数据时代科技情报工作的机遇与变革[J]. 情报理论与实践, 2015, 38(6): 35-39. [12] 包昌火, 马德辉, 李艳, 等. 我国国家情报工作的挑战、机遇和应对[J]. 情报杂志, 2016, 35(10): 1-17. [13] 张安淇, 宗永厉. 大数据背景下企业竞争情报工作众包模式研究[J]. 情报理论与实践, 2017, 40(1): 12-17. [14] 苏新宁. 大数据时代情报学与情报工作的回归[J]. 情报学报, 2017, 36(4): 331-337. [15] 梁战平, 梁建设. 新世纪情报学学科发展趋势探析[J]. 情报理论与实践, 2005, 28(3): 225-229. [16] 赖茂生. 数字化时代的情报学[J]. 图书情报工作, 2007, 51(4): 25-29. [17] 王琳. 数字化时代情报学理论的进展研究[J]. 图书情报工作, 2009, 53(2): 9-13. [18] 李纲, 郑彦宁, 王伟军, 等. 情报支持决策研究的现状、内容与趋势[J]. 情报学报, 2010, 29(3): 534-538. [19] 李广建, 杨林. 大数据视角下的情报研究与情报研究技术[J]. 图书与情报, 2012(6): 1-8. [20] 马费成. 情报学发展的历史回顾及前沿课题[J]. 图书情报知识, 2013(2): 4-12. [21] 贺德方. 工程化思维下的科技情报研究范式——情报工程学探析[J]. 情报学报, 2014, 33(12): 1236-1241. [22] 高金虎. 论情报的定义[J]. 情报杂志, 2014, 33(3): 1-5. [23] 李阳, 李纲. 我国情报学变革与发展: “侵略”思索、范式演进与体系建设[J]. 图书情报工作, 2016, 60(22): 5-11. [24] Obama B.National security strategy of the United States[M]. Darby: Diane Publishing, 2010. [25] Pissanetzky S.On the future of information: Reunification, computability, adaptation, cybersecurity, semantics[J]. IEEE Access, 2016, 4: 1117-1140. [26] Landon-Murray M.Big data and intelligence: Applications, human capital, and education[J]. Journal of Strategic Security, 2016, 9(2): 92-121. [27] Davenport T H, Patil D J.Data scientist: the sexiest job of the 21st century[J]. Harvard Business Review, 2012, 90(10): 70-76. [28] 唐明伟, 蒋勋, 姚兴山. 基于RESTful Web服务的数字图书馆异构数据集成框架[J]. 西南民族大学学报(人文社科版), 2017(4): 235-240. [29] Günther W A, Rezazade Mehrizi M H, Huysman M, et al. Debating big data: A literature review on realizing value from big data[J]. The Journal of Strategic Information Systems, 2017, 26(3): 191-209. [30] 唐明伟, 苏新宁, 姚兴山. 本体驱动的突发事件案例知识库[J]. 情报理论与实践, 2016, 39(6): 123-127. [31] Reyes-Ortiz J L, Oneto L, Anguita D. Big data analytics in the cloud: Spark on Hadoop vs MPI/OpenMP on Beowulf[J]. Procedia Computer Science, 2015, 53: 121-130.
[1]
苏新宁. 大数据时代情报学学科崛起之思考 [J]. 情报学报, 2018, 37(5): 451-459.
[2]
杨国立, 苏新宁. 迈向Intelligence导向的现代情报学 [J]. 情报学报, 2018, 37(5): 460-466.
[3]
高金虎. 军事情报学研究现状与发展前瞻 [J]. 情报学报, 2018, 37(5): 477-485.
[4]
陈东华, 张润彤, 付磊, 尚小溥, 朱晓敏. SNOMED CT体系下医疗健康大数据映射和迁移方法研究 [J]. 情报学报, 2018, 37(5): 524-532.
[5]
王琳. 情报学基础理论研究30年(1987—2017)的回顾与思考 [J]. 情报学报, 2018, 37(5): 543-560.