大规模异构的政府统计报表信息抽取与集成融合研究

doi:10.3772/j.issn.1000-0135.2020.09.006

情报学报

2020, Vol. 39

Issue (9): 938-948 DOI: 10.3772/j.issn.1000-0135.2020.09.006

情报分析方法与技术

本期目录 | 过刊浏览 | 高级检索

大规模异构的政府统计报表信息抽取与集成融合研究

赵洪, 王芳

南开大学商学院信息资源管理系，天津 300071

Information Extraction and Integration of Large-scale Heterogeneous Socio-economic Statistical Statements

Zhao Hong, Wang Fang

Department of Information Resources Management, Business School, Nankai University, Tianjin 300071

摘要
图/表
参考文献
相关文章 (5)

全文: PDF (4270 KB) HTML (104 KB)
输出: BibTeX | EndNote (RIS)

摘要政府统计数据作为国家的“战略金矿”，充分挖掘其内在价值，使之更好地服务于政府及公众，已成为当前智慧政务和新型智库发展中大数据系统建设的必然要求。但政府统计报表的半结构化和大规模异构特点，使得统计数据之间无法直接关联及聚合，影响了统计数据资源的深度挖掘与开发。鉴于此，本文针对已有研究的不足，在分析政府统计报表语义构成要素的基础上，结合其信息抽取与集成融合的应用目标，将处理任务分解为表格语义结构解析、表头语义关系识别、数值信息抽取表示、指标术语消冗转换及不一致统计数据消歧等五个逻辑过程，并定义了各过程的作用与主要任务，且研究构建了面向该任务的总体技术框架及其处理流程。大规模真实数据集上的应用结果表明，本研究方法能够较为有效地实现异构型政府统计报表的抽取与集成融合，具备较好的实际价值，同时也为其他基于半结构化表格的大数据建设与应用研究提供参考借鉴。

	服务

	把本文推荐给朋友
	加入我的书架
	加入引用管理器
	E-mail Alert
	RSS
	作者相关文章
	赵洪
	王芳

关键词 ：政府统计报表, 异构资源, 信息抽取, 集成融合, 不一致数据消歧

收稿日期: 2019-10-08

基金资助:国家社会科学基金重大项目“基于数据共享与知识复用的数字政府智能化治理研究”（20ZDA039）；提升政府治理能力大数据应用技术国家工程实验室开放基金重点支持项目“基于NLP和深度学习的大规模政府公文智能处理技术研究”（2018-2020）。

作者简介: 赵洪，男，1986年生，博士研究生，研究方向为机器学习与知识发现，E-mail: zhaohong@mail.nankai.edu.cn。王芳，女，1970年生，博士，教授，博士生导师，主要研究方向为情报学基础理论、政府信息资源管理、网络社会治理、知识发现与情感挖掘。

引用本文:

赵洪, 王芳. 大规模异构的政府统计报表信息抽取与集成融合研究[J]. 情报学报, 2020, 39(9): 938-948.
Zhao Hong, Wang Fang. Information Extraction and Integration of Large-scale Heterogeneous Socio-economic Statistical Statements. 情报学报, 2020, 39(9): 938-948.

链接本文:

https://qbxb.istic.ac.cn/CN/10.3772/j.issn.1000-0135.2020.09.006 或 https://qbxb.istic.ac.cn/CN/Y2020/V39/I9/938

1 付瑞平. 国家统计局: “统计云”先行[J]. 中国信息化, 2011(8): 68-69.
2 李纯, 张冬荣. 科技智库的社会经济数据需求及其建设模式案例分析[J]. 图书情报工作, 2015, 59(11): 98-105.
3 王世伟. 略论国家高端科技智库的功能定位[J]. 情报学报, 2018, 37(6): 590-599.
4 王文鹏. 浅谈大数据在政府统计中的作用[J]. 统计与咨询, 2017(4): 55-56.
5 苏州市统计局课题组. “大数据”背景下统计数据资源整合探索[J]. 统计科学与实践, 2018(10): 52-55.
6 中国知网. 中国经济社会大数据研究平台[EB/OL]. [2019-01-07]. http://data.cnki.net.
7 Adams H. Data integration: the teenage years[C]// Proceedings of the International Conference on Very Large Data Bases, Seoul, Korea, 2006: 9-16.
8 刘歆. 领域数据集成及服务关键技术研究[D]. 北京: 北京科技大学, 2017: 7.
9 Informatica[EB/OL]. [2019-01-07]. https://www.informatica.com.
10 IBM. Datastage[EB/OL]. [2019-01-07]. https://www.ibm.com/an alytics/information-server.
11 Oracle. Oracle Warehouse Builder (OWB)[EB/OL]. [2019-01-07]. https://www.oracle.com/database/technologies/warehouse/downloads.html.
12 Microsoft. SQL server integration services (SSIS)[EB/OL]. [2019-01-07]. https://www.microsoft.com/en-us/download/details.aspx?id=39931
13 HitachiVantara. Pentaho data integration (Kettle)[EB/OL]. [2019-04-26]. https://www.hitachivantara.com/en-us/products/big-data integration-analytics/pentaho-data-integration.html?source=penta ho-redirect.
14 吴超, 郑彦宁, 化柏林. 数值信息抽取研究进展综述[J]. 中国图书馆学报, 2014, 40(2): 107-119.
15 赵洪, 肖洪, 相生昌. 基于海量事实数据和协同机制的情报集成平台设计与实现[J]. 信息系统工程, 2018(4): 109-111, 114.
16 肖洪, 赵洪, 毋晓霞. 基于知识挖掘与协同融合的情报研究方法[J]. 情报理论与实践, 2018, 41(10): 15-19.
17 Chen H H, Tsai S C, Tsai J H. Mining tables from large scale HTML texts[C]// Proceedings of the 18th International Conference on Computational Linguistics. Stroudsburg: Association for Computational Linguistics, 2000: 166-172.
18 赵洪, 肖洪, 薛德军, 等. Web表格信息抽取研究综述[J]. 现代图书情报技术, 2008(3): 24-31.
19 秦振海, 谭守标, 徐超. 基于Web的表格信息抽取研究[J]. 计算机技术与发展, 2010, 20(2): 217-220.
20 刘颖. 基于Web结构的表格信息抽取研究[D]. 合肥: 合肥工业大学, 2012: 2-3.
21 张元鸣, 陈苗, 陆佳炜, 等. 非结构化表格文档数据抽取与组织模型研究[J]. 浙江工业大学学报, 2016, 15(5): 487-494.
22 曹贞兴. Web表格数据提取与分析系统的设计与实现[D]. 哈尔滨: 哈尔滨工业大学, 2016: 17-19.
23 Kasar T, Bhowmik T K, Bela?d A. Table information extraction and structure recognition using query patterns[C]// Proceedings of the 13th International Conference on Document Analysis and Recognition. IEEE, 2015, 1: 1086-1090.
24 Milosevic N, Gregson C, Hernandez R, et al. A framework for information extraction from tables in biomedical literature[J]. International Journal on Document Analysis and Recognition, 2019, 22(1): 55-78.
25 范莉娅, 肖田元. 自动获取HTML表格语义层次结构方法[J]. 清华大学学报(自然科学版), 2007, 47(10): 1586-1590.
26 Embley D W, Tao C, Liddle S W. Automating the extraction of data from HTML tables with unknown structure[J]. Data & Knowledge Engineering, 2005, 54(1): 3-28.
27 Gatterbauer W, Bohunsky P. Table extraction using spatial reasoning on the CSS2 visual box model[C]// Proceedings of the 21st National Conference on Artificial Intelligence, 2006, 2: 1313-1318.
28 Xue W Y, Li Q Y, Zhang Z, et al. Table analysis and information extraction for medical laboratory reports[C]// Proceedings of IEEE 16th International Conference on Dependable, Autonomic and Secure Computing, 16th International Conference on Pervasive Intelligence and Computing, 4th International Conference on Big Data Intelligence and Computing and Cyber Science and Technology Congress. IEEE, 2018: 193-199.
29 Chu X, He Y Y, Chakrabarti K, et al. TEGRA: Table extraction by global record alignment[C]// Proceedings of the 2015 ACM SIGMOD International Conference on Management of Data. New York: ACM Press, 2015: 1713-1728.
30 Luthfi Hanifah H, Akbar S. Table extraction from web pages using conditional random fields to extract toponym related data[J]. Journal of Physics: Conference Series, 2017, 801: 012064.
31 Ghasemi-Gol M, Szekely P. TabVec: Table vectors for classification of web tables[OL]. https://arxiv.org/pdf/1802.06290.pdf.
32 赵洪. 基于Ontology的Web表格数值知识元抽取研究与实现[D]. 天津: 南开大学, 2008: 38-48.
33 Zhang X M, Lv P, Zhao C, et al. A method for materials knowledge extraction from HTML tables based on sibling comparison[J]. International Journal of Software Engineering and Knowledge Engineering, 2016, 26(6): 897-926.
34 中国统计年鉴2018. 10-13按项目规模分固定资产投资(不含农户)[EB/OL]. [2019-06-19]. http://www.stats.gov.cn/tjsj/ndsj/2018/ html/CH1013.jpg.
35 中国统计年鉴2018. 1-3国民经济和社会发展结构指标[EB/OL]. [2019-06-19]. http://www.stats.gov.cn/tjsj/ndsj/2018/html/CH0103.jpg.
36 中国统计年鉴2018. 附录1-6国内生产总值产业构成[EB/OL]. [2019-04-19]. http://www.stats.gov.cn/tjsj/ndsj/2018/html/CH2906. jpg.
37 北京统计年鉴2018. 19-10研究与开发机构研发活动情况[EB/OL]. [2019-06-19]. http://tjj.beijing.gov.cn/nj/main/2018-tjnj/zk/html/ch19-10.JPG.
38 北京统计年鉴2018. 19-9限额以上信息传输、软件和信息技术服务业企业研究与试验发展(R&D)活动基本情况(2017年)[EB/OL]. [2019-04-19]. http://tjj.beijing.gov.cn/nj/main/2018-tjnj/zk/html/ch19-09.JPG.
39 北京统计年鉴2008. 2-1地区生产总值(1978—2007年)[EB/OL]. [2019-06-19]. http://tjj.beijing.gov.cn/nj/main/2008-ch/con tent/mV21_0201.htm.
40 江苏统计年鉴2008. 23-2地区生产总值(2007年)[EB/OL]. [2019-06-19]. http://tj.jiangsu.gov.cn/2008/nj23/nj2302.htm.
41 贾红邦, 梅廷彦. 21-1各省市区地区生产总值及增长速度[M]// 宁夏统计年鉴2008. 北京: 中国统计出版社, 2008: 453.
42 中国统计年鉴2008. 10-3省会城市和计划单列市主要经济指标(2007年)[EB/OL]. [2019-06-19]. http://www.stats.gov.cn/tjsj/ndsj/ 2008/html/K1003c.htm.
43 北京区域统计年鉴2011. 1-2主要年份国民经济和社会发展总量与速度指标[EB/OL]. [2019-06-19]. http://tjj.beijing.gov.cn/nj/qxnj/2011/Data/1-2.htm.
44 北京统计年鉴2016. 2-1地区生产总值(1978—2015年)[EB/OL]. [2019-06-19]. http://tjj.beijing.gov.cn/nj/main/2016-tjnj/zk/html/CH02-01.jpg.
45 许剑毅, 叶植材. 3-10各地区第三产业增加值[M]// 中国第三产业统计年鉴. 北京: 中国统计出版社, 2016: 68-69.
46 北京统计年鉴2018. 2-1地区生产总值(1978—2017年)[EB/OL]. [2019-06-19]. http://tjj.beijing.gov.cn/nj/main/2018-tjnj/zk/html/ch02-01.JPG.