|
|
|
| A Counterfactual Method for Evaluating Academic Journals through Changes in Information Entropy in Knowledge Systems |
| Ma Zheng1,2 |
1.Institute of Scientific and Technical Information of China, Beijing 100038
2.School of Information Management, Nanjing University, Nanjing 210023 |
|
|
|
|
Abstract This study develops a new method for the quantitative evaluation of the quality and influence of academic periodicals from a new perspective, considering that the existing academic journal evaluation concepts and methods cannot fully adapt to the developments of the academic publishing industry. By introducing the theory of information entropy, we construct a knowledge system consisting of a collection of papers published in academic journals and form a quantitative calculation model of information entropy in knowledge systems by relying on the indicators formed through citation analysis methods. Accordingly, the method of measuring the academic contribution of the evaluated periodical is based on counterfactual thinking, which calculates the “real value” of the information entropy of a knowledge system in the discipline that the evaluated journal belongs to, and the “non-real value” of the information entropy of the “what if” knowledge system without the evaluated journal. The difference between the “real value” and “non-real value” can be used to express the academic contribution (negative entropy introduced) of an academic journal to its knowledge system. The empirical evidence shows that this innovative method can reflect the academic value of periodicals from a new perspective.
|
|
Received: 16 August 2021
|
|
|
|
1 许玉清, 许洁, 姜梅芳. 学术期刊评价的进路探析[J]. 科技与出版, 2018(4): 120-124.
2 常唯, 曹会聪, 曹金, 等. 国际科技期刊同行评议的实践与特点[J]. 中国科技期刊研究, 2016, 27(1): 10-17.
3 邱炯友. 学术期刊同行评议制度的转型改革[J]. 出版科学, 2017, 25(3): 5-9.
4 巢乃鹏, 胡菲. 学术期刊的同行评议: 基于审稿专家和作者的比较研究[J]. 中国科技期刊研究, 2012, 23(4): 597-600.
5 陈钢, 周海鹰, 徐锦杭, 等. 医学学术期刊同行评议的质量控制[J]. 科技通报, 2018, 34(3): 275-277.
6 Melinda B. In referees we trust?[J]. Physics Today, 2017, 70(2): 44-49.
7 邱均平. 文献计量学[M]. 北京: 科学技术文献出版社, 1988.
8 钱荣贵. 核心期刊与期刊评价[M]. 北京: 中国传媒大学出版社,2006.
9 邱均平, 李爱群. 我国期刊评价的理论、实践与发展趋势[J]. 数字图书馆论坛, 2007(3): 1-12.
10 赖茂生, 屈鹏, 赵康. 论期刊评价的起源和核心要素[J]. 重庆大学学报(社会科学版), 2009, 15(3): 67-72.
11 李修杰, 陈景武. 运用判别分析法建立的期刊评估指标体系[J]. 江西图书馆学刊, 2006, 36(3): 48-50.
12 Garfield E. Citation indexes for science: a new dimension in documentation through association of ideas[J]. Science, 1955, 122(3159): 108-111.
13 Hirsch J E. An index to quantify an individual's scientific research output[J]. Proceedings of the National Academy of Sciences of the United States of America, 2005, 102(46): 16569-16572.
14 贾朝光, 孟丽涛, 丁世婷, 等. 科技期刊评价指标的有关争议的探析[J]. 昆明冶金高等专科学校学报, 2009, 25(2): 47-51.
15 李志鹏. 中文社会科学引文索引的不足与改进[J]. 情报资料工作, 2005(5): 108-111.
16 齐燕. 引用语义化相关问题初探[J]. 情报理论与实践, 2013, 36(8): 15-20.
17 Preim J, Taraborelli D, Groth P, et al. Altmetrics: a manifesto[EB/OL]. (2010-10-26) [2016-07-25]. http://altmetrics.org/manifesto/.
18 刘春丽. Web 2.0环境下的科学计量学: 选择性计量学[J]. 图书情报工作, 2012, 56(14): 52-56, 92.
19 王贤文, 毛文莉, 王治. 基于论文下载数据的科研新趋势实时探测与追踪[J]. 科学学与科学技术管理, 2014, 35(4): 3-9.
20 Shuai X, Pepe A, Bollen J. How the scientific community reacts to newly submitted preprints: article downloads, Twitter mentions, and citations[J]. PLoS One, 2012, 7(11): e47523.
21 Priem J, Piwowar H A, Hemminger B M. Altmetrics in the wild: using social media to explore scholarly impact[OL]. (2012-03-20) [2017-03-10]. https://arxiv.org/html/1203.4745.
22 邱均平, 余厚强. 替代计量学的提出过程与研究进展[J]. 图书情报工作, 2013, 57(19): 5-12.
23 罗木华. 国内Altmetrics研究进展述评与思考[J]. 情报资料工作, 2016(2): 29-33.
24 杨柳, 陈铭. 常用替代计量学工具之比较研究[J]. 情报理论与实践, 2015, 38(9): 114-119, 144.
25 李燕波. Altmetrics对学术生态系统的影响研究[J]. 图书馆工作与研究, 2015(12): 19-22.
26 徐丽芳. 论科学交流及其研究的流变[J]. 情报科学, 2008, 26(10): 1461-1463, 1481.
27 Eysenbach G. Can tweets predict citations? Metrics of social impact based on Twitter and correlation with traditional metrics of scientific impact[J]. Journal of Medical Internet Research, 2011, 13(4): e123.
28 东方. 核心期刊评价增加网络引文评价指标的思考——以《图书情报工作》1997~2002年网络引文为例[J]. 江西图书馆学刊, 2003, 33(4): 62-63.
29 Maflahi N, Thelwall M. When are readership counts as useful as citation counts? Scopus versus Mendeley for LIS journals[J]. Journal of the Association for Information Science and Technology, 2016, 67(1): 191-199.
30 Altmetric L L P. What outputs and sources does Altmetric track?[EB/OL]. (2016-02-15) [2016-12-15]. https://help.altmetric.com/support/solutions/articles/6000060968-what-outputs-and-sources-does-altmetrictrack.
31 Bornmann L. Do altmetrics point to the broader impact of research? An overview of benefits and disadvantages of altmetrics[J]. Journal of Informetrics, 2014, 8(4): 895-903.
32 Cronin B. Beethoven vs. Bieber: on the meaningfulness of (alt)metrics[C]// Proceedings of the Conference on Libraries in the Digital Age, 2014, 13: 15-21.
33 Thelwall M, Haustein S, Larivière V, et al. Do altmetrics work? Twitter and ten other social web services[J]. PLoS One, 2013, 8(5): e64841.
34 胡其峰. 科技期刊: 留住好论文是关键[N]. 光明日报, 2011-04-12(11).
35 刘杨, 赵大良, 葛赵青. 学术期刊信息的传播模式[J]. 编辑学报, 2005, 17(6): 410-412.
36 王乃信, 张慧凤. 关于信息度量问题的思考[J]. 西北农林科技大学学报(自然科学版), 2004, 32(1): 108-112.
37 什么是反事实分析呀?[EB/OL]. [2021-08-12]. https://www.zhihu.com/question/271747097.
38 邱昭良. 系统思考实践篇[M]. 北京: 中国人民大学出版社, 2009: 25-295.
39 打造科技期刊集团军, 集约化进军[EB/OL]. (2010-04-29) [2016-04-29]. http://news.163.com/10/0429/14/65EQ4CFI000146BC.html.
40 张明海, 欧兆虎. 略论社会责任与科技期刊品牌影响力[J]. 今传媒, 2009(6): 83-84.
41 许国志. 系统科学[M]. 上海: 上海科技教育出版社, 2000: 1-436.
42 邢修三. 论动态统计信息理论[J]. 北京理工大学学报, 2004, 24(1): 1-15.
43 邢修三. 动态统计信息理论[J]. 中国科学G辑, 2005, 35(4): 337-368.
44 徐久龄, 马波. 科学进程中的合作研究[J]. 情报理论与实践, 2006, 29(3): 277-280.
45 郑德俊, 叶继元. 基于合作模式的引文数据库发展策略[J]. 大学图书馆学报, 2005, 23(1): 79-83.
46 孟庆生. 关于Shannon熵的局限性[J]. 工程数学学报, 1986, 3(2): 115-122.
47 王继成, 邹涛, 杨小江, 等. 基于Internet的信息资源发现技术与实现[J]. 计算机研究与发展, 1999, 36(11): 1369-1374.
48 国家技术监督局. 文献叙词标引规则GB/T 3860-1995[S]. 北京: 中国标准出版社, 1996.
49 潘玮, 牟冬梅, 李茵, 等. 关键词共现方法识别领域研究热点过程中的数据清洗方法[J]. 图书情报工作, 2017, 61(7): 111-117.
50 齐书宇, 胡万山. 2005—2014年国内科技管理研究重要文献高频关键词共现分析[J]. 中国科技论坛, 2016(3): 12-18.
51 俞立平, 潘云涛, 武夷山. 科技评价中指标初步筛选的实证研究[J]. 科技进步与对策, 2010, 27(5): 116-121.
52 刘丽莉. 评价指标选取方法研究[J]. 河北建筑工程学院学报, 2004, 22(1): 134-136.
53 Pan Y T, Ma Z, Wu Y S. Comparative study on patents and publications productivity between provinces of China and states of USA[C]// Proceedings of ISSI 2005. Stockholm: Karalinska University Press, 2005: 232-236.
54 朱干江, 王桂芝, 赵靖. 科技进步综合评价中秩和比法的运用[J]. 科技进步与对策, 2007, 24(6): 151-154.
55 徐伟, 张军, 沈志超. 科学产出的文献计量学研究[J]. 中华医学图书情报杂志, 2003, 12(2): 55-57.
56 Uzun A. National patterns of research output and priorities in renewable energy[J]. Energy Policy, 2002, 30(2): 131-136.
57 林德明, 姜磊. 科技论文评价体系研究[J]. 科学学与科学技术管理, 2012, 33(10): 11-17.
58 何荣利, 许强. 我国科技期刊影响因子分布情况的调查与分析[J]. 中国科技期刊研究, 2006, 17(2): 224-227. |
|
|
|
