基于大模型微调的生成式文献层次分类标引

doi:10.3772/j.issn.1000-0135.2025.04.004

情报学报

2025, Vol. 44

Issue (4): 425-437 DOI: 10.3772/j.issn.1000-0135.2025.04.004

情报技术与应用

本期目录 | 过刊浏览 | 高级检索

基于大模型微调的生成式文献层次分类标引

胡忠义^1,2, 税典程¹, 吴江^1,2

1.武汉大学信息管理学院，武汉 430072
2.武汉大学电子商务研究与发展中心，武汉 430072

Generative and Hierarchical Classification of Literature Based on Fine-tuned Large Language Models

Hu Zhongyi^1,2, Shui Diancheng¹, Wu Jiang^1,2

1.School of Information Management, Wuhan University, Wuhan 430072
2.Center for E-commerce Research and Development, Wuhan University, Wuhan 430072

摘要
图/表
参考文献
相关文章 (2)

全文: PDF (1606 KB) HTML (1 KB)
输出: BibTeX | EndNote (RIS)

摘要对文献进行自动的分类标引，有利于实现文献的分类存储、排列和检索。已有研究通常采用判别式模型对文献的浅层类别进行自动识别，而在深层次类别划分和准确性方面能力不足。鉴于此，本研究将文献的层次分类问题转换为文献层次类别标签的生成任务，并构建了基于大模型微调的生成式文献层次分类标引框架。首先，该框架采用自然语言的形式对文献的层次分类号进行标签解释；其次，采用高效微调技术对开源大语言模型进行有监督微调；最后，采用微调后的大模型直接生成文献的多层分类标签，通过标签映射得到文献的中图分类号。在经济、医药卫生和工业技术三类学科数据上进行实验检验，结果表明，有监督微调能够有效提升通用大语言模型在文献层次分类标引任务上的理解与推理能力，也取得了比传统判别式模型更好的分类性能；整合文献的摘要、题名和关键词，可以有效提升微调大语言模型的分类性能；通过对比不同参数规模的Baichuan2和Qwen1.5大模型，发现微调后的Qwen1.5-14B-Chat模型表现最佳，其在一级类目上能够达到98%的分类性能，在最具挑战性的五级类目上也达到了80%的准确性；典型样例分析展示了微调后的Qwen1.5-14B-Chat具备一定的纠错能力。

	服务

	把本文推荐给朋友
	加入我的书架
	加入引用管理器
	E-mail Alert
	RSS
	作者相关文章
	胡忠义
	税典程
	吴江

关键词 ：大语言模型, 文献分类标引, 层次分类, 《中国图书馆分类法》

收稿日期: 2024-04-20

基金资助:国家自然科学基金重点项目“网络视角下乡村产业互联网的数智赋能研究”（72232006）；国家自然科学基金项目“数据交易场所的功能定位、运营机制与治理机制研究”（72442030）。

作者简介: 胡忠义，男，1987年生，博士，副教授，硕士生导师，主要研究方向为数据分析与挖掘、商务智能等；税典程，男，2000年生，硕士研究生，主要研究方向为数据分析与挖掘；吴江，通信作者，男，1978年生，博士，教授，博士生导师，主要研究方向为商务数据智能、社会网络计算等，E-mail：jiangw@whu.edu.cn；

引用本文:

胡忠义, 税典程, 吴江. 基于大模型微调的生成式文献层次分类标引[J]. 情报学报, 2025, 44(4): 425-437.
Hu Zhongyi, Shui Diancheng, Wu Jiang. Generative and Hierarchical Classification of Literature Based on Fine-tuned Large Language Models. 情报学报, 2025, 44(4): 425-437.

链接本文:

https://qbxb.istic.ac.cn/CN/10.3772/j.issn.1000-0135.2025.04.004 或 https://qbxb.istic.ac.cn/CN/Y2025/V44/I4/425

1 邓三鸿, 傅余洋子, 王昊. 基于LSTM模型的中文图书多标签分类研究[J]. 数据分析与知识发现, 2017, 1(7): 52-60.
2 沈立力, 姜鹏, 王静. 基于BERT模型的中文期刊文献自动分类实践研究[J]. 图书馆杂志, 2022, 41(5): 109-118, 135.
3 郭利敏. 基于卷积神经网络的文献自动分类研究[J]. 图书与情报, 2017(6): 96-103.
4 王昊, 严明, 苏新宁. 基于机器学习的中文书目自动分类研究[J]. 中国图书馆学报, 2010, 36(6): 28-39.
5 张智雄, 赵旸, 刘欢. 构建面向实际应用的科技文献自动分类引擎[J]. 中国图书馆学报, 2022, 48(4): 104-115.
6 杨敏, 谷俊. 基于SVM的中文书目自动分类及应用研究[J]. 图书情报工作, 2012, 56(9): 114-119.
7 蒋彦廷, 胡韧奋. 基于BERT模型的图书表示学习与多标签分类研究[J]. 新世纪图书馆, 2020(9): 38-44.
8 赵旸, 张智雄, 刘欢, 等. 基于BERT模型的中文医学文献分类研究[J]. 数据分析与知识发现, 2020, 4(8): 41-49.
9 戎璐. 基于图双注意力网络的图书类目分类方法研究[J]. 图书馆学研究, 2023(5): 47-60.
10 罗鹏程, 王一博, 王继民. 基于深度预训练语言模型的文献学科自动分类研究[J]. 情报学报, 2020, 39(10): 1046-1059.
11 何琳, 侯汉清, 白振田, 等. 基于标引经验和机器学习相结合的多层自动分类[J]. 情报学报, 2006, 25(6): 725-729.
12 白国应. 关于发展中国文献分类学的若干思考[J]. 图书情报工作, 2009, 53(17): 5-6, 22.
13 Wang J. An extensive study on automated Dewey Decimal Classification[J]. Journal of the American Society for Information Science and Technology, 2009, 60(11): 2269-2286.
14 Kuo J J. An automatic library data classification system using layer structure and voting strategy[C]// Proceedings of the International Conference on Asian Digital Libraries: the Emergence of Digital Libraries—Research and Practices. Cham: Springer, 2014: 279-287.
15 Golub K, Suominen O, Mohammed A T, et al. Automated Dewey Decimal Classification of Swedish library metadata using Annif software[J]. Journal of Documentation, 2024, 80(5): 1057-1079.
16 Borovi? M, Ojster?ek M, Strnad D. A hybrid approach to recommending universal decimal classification codes for cataloguing in Slovenian digital libraries[J]. IEEE Access, 2022, 10: 85595-85605.
17 张雨卉. 基于《中国图书馆分类法》的文献自动化深层分类的研究和实现[J]. 图书馆杂志, 2024, 43(3): 61-74.
18 陈帅朴, 钱宇星, 钱志强, 等. 多重特征关联和图注意力网络融合的文献分类方法研究——以中文医学文献为例[J]. 情报学报, 2024, 43(4): 470-490.
19 Raffel C, Shazeer N, Roberts A, et al. Exploring the limits of transfer learning with a unified text-to-text transformer[J]. Journal of Machine Learning Research, 2020, 21: 1-67.
20 车万翔, 窦志成, 冯岩松, 等. 大模型时代的自然语言处理: 挑战、机遇与发展[J]. 中国科学: 信息科学, 2023, 53(9): 1645-1687.
21 鲍彤, 章成志. ChatGPT中文信息抽取能力测评——以三种典型的抽取任务为例[J]. 数据分析与知识发现, 2023, 7(9): 1-11.
22 张颖怡, 章成志, 周毅, 等. 基于ChatGPT的多视角学术论文实体识别: 性能测评与可用性研究[J]. 数据分析与知识发现, 2023, 7(9): 12-24.
23 赵志枭, 胡蝶, 刘畅, 等. 人文社科领域中文通用大模型性能评测[J]. 图书情报工作, 2024, 68(13): 132-143.
24 白如江, 陈启明, 张玉洁, 等. 基于ChatGPT+Prompt的专利技术功效实体自动生成研究[J]. 数据分析与知识发现, 2024, 8(4): 14-25.
25 陆伟, 刘寅鹏, 石湘, 等. 大模型驱动的学术文本挖掘——推理端指令策略构建及能力评测[J]. 情报学报, 2024, 43(8): 946-959.
26 Zhang S Y, Dong L F, Li X Y, et al. Instruction tuning for large language models: a survey[OL]. (2024-12-01). https://arxiv.org/pdf/2308.10792.
27 Hu E, Shen Y L, Wallis P, et al. LoRA: low-rank adaptation of large language models[OL]. (2021-06-17). https://arxiv.org/pdf/2106.09685.
28 Yang A Y, Xiao B, Wang B N, et al. Baichuan 2: open large-scale language models[OL]. (2023-09-20). https://arxiv.org/pdf/2309.10305.
29 Bai J Z, Bai S, Chu Y F, et al. Qwen technical report[OL]. (2023-09-28). https://arxiv.org/pdf/2309.16609.
30 Radford A, Wu J, Child R, et al. Language models are unsupervised multitask learners[OL]. (2019-01-08). https://insightcivic.s3.us-east-1.amazonaws.com/language-models.pdf.
31 Liu P F, Yuan W Z, Fu J L, et al. Pre-train, prompt, and predict: a systematic survey of prompting methods in natural language processing[J]. ACM Computing Surveys, 2023, 55(9): Article No.195.