|
|
|
| Research Review on Innovation Evaluation of Academic Papers |
| Luo Zhuoran1,2, Wang Yuqi1,2, Qian Jiajia1,2, Lu Wei1,2 |
1.School of Information Management, Wuhan University, Wuhan 430072
2.Information Retrieval and Knowledge Mining Laboratory, Wuhan University, Wuhan 430072 |
|
|
|
|
Abstract Innovation is an essential requirement in writing academic papers, the core feature that reflects the quality of academic papers, and more importantly, a vital basis for the evaluation of academic papers. This paper investigates the status of research on evaluating innovation in both local and foreign academic papers, identifies the main context of the innovation theory and innovation classification research, and summarizes the connotation of innovation in academic papers. Furthermore, the paper analyzes the evaluation indexes of academic papers based on two aspects and sums up three typical evaluation methods and related research from a technological perspective. Finally, existing problems and future hotspots in research on the evaluation of innovation in academic papers are summarized, and several significant references, which scholars may use to judge future development trends in this field, are introduced.
|
|
Received: 25 February 2020
|
|
|
|
综合指标是结合以上4个方面的影响因素，以及其他主体内容层面因素，进行学术论文创新性的综合性评价。Bornmann等[42]划分了论文质量评估的7个方面的因素，包含时间因素、期刊因素、文章因素、作者因素、引文因素、学科因素和文章获得难度，虽然这7个因素是对论文质量的评定，但论文创新力作为论文质量的一个重要组成部分也具有一定的参考意义。Vieira等[43]也指出，作者合作数量、论文长度、参考文献数量、期刊影响因子和作者机构数量这5个特征会对论文有所影响。贺婉莹[44]从论文创新吸收力指标、产出力指标、扩散力指标和主体指标4个层面构建了论文评价指标体系，该体系包含参考文献的数量、参考文献的学科分布广度、论文的字数、论文所在期刊的影响因子、第一作者和h指数等17个相关因素项目。
3 2 学术论文外在评价指标 学术论文外在评价指标，是指在不利用论文全文数据情况下，通过分析文献之间的引用关系，这种文献外部特征对论文的创新性进行间接评价。下文将从基于组合引用的评价和基于网络引用的评价两个外在指标介绍学术论文创新性评价研究情况。 2.1 基于组合引用的评价指标
论文引用是科研工作的基础活动之一，规范合理的引文标注，说明了该篇论文的前期调研或理论基础，可以说论文引用关系是科研活动知识传播关系的体现，而探究引文之间组合模式也是研究学术论文创新性的重要方式。Ponomarev等[45]认为，一切开创性成果均是建立在回顾总结的基础之上，并由此开发了基于出版物引用动态检测方法，使用定量方法识别已知突破性创新论文和大量高引用论文的典型引用模式，由此建立论文的创新性预测模型。Lee等[46]继承期刊评价中的多元组合创造性的观念，其认为论文的创新性评价可以借鉴类似的思想，即通过考察引文网络中不同来源的期刊组合来定义论文创新指数。Tahamtan等[47]认为，一篇论文引用的大量参考文献的不寻常组合表明了其较高的创作潜力（或新颖性），同时，在对原作者引用意图的访谈数据的分析中，证实了相关联系的存在，通过对论文引文网络中不同类型、不同主题的组合进行分析，归纳出了具有创新性的单篇论文常用主题组合模式。Wang等[48]将引文网络的来源期刊构造成组合对的形式，并统计引文期刊对的历史引用次数，利用历史引用次数构建矩阵，计算两两组合的期刊对的余弦相似度，其认为论文的创新性指数可以定义为参考文献期刊组合对的新颖程度，即所有期刊对组合的数量与余弦相似度和的差值。
4 2.2 基于引文网络的评价指标
引文网络是反映学术论文之间复杂引用关系的重要形式，利用引文关系网络进行论文创新性的评价也成为了相关评价研究的一个热点方向。在引文网络中，节点的入度数代表论文的施引文献数，出度数代表论文的被引文献数，即论文的被引频次。Moed 研究表明，在排除了少数不正当引用的情况下，论文被引频次越高，可反映其具有较高的学术价值，即研究成果更具有创新性或影响力。此外，引文网络中加入时间维度可以明确创新的时效性，也成为了众多学者的研究思维突破点。Chen等
50 探究了利用引文关系快速查找相关创新性文献的方法，该方法首先利用人工标注的方法创立了权威矩阵，该矩阵描述了引文与被引文之间的权威关系；然后，提出了一种基于引文网络的评价计算方法，即引文权威扩散，以快速挖掘某一主题中具有较高创新性的论文。宋歌[51-52 研究了科研创新的扩散机制和创新力指标，其研究在原始引文网络中论文节点度属性的基础上，提出了“S指数”作为评价学术论文创新力的一项指标，S指数得分结果蕴含了创新成果在已有研究基础上的变异程度，此外，他还在该S指数的基础上，提出了“累加S指数”用于创新成果分区。索传军[53]认为，引文传递过程是知识价值的折损过程，通过分析文献中的原创知识元和引文借鉴知识元在时间轴上的分布，可以反映出该篇论文的创新程度。
7 学术论文创新性评价测度方法 |
|
|
|
