基于维基百科的多种类型文献自动分类研究* 后印本

作者： 李湘东 ¹ 阮涛 ¹ 刘康 ¹
作者单位：

1. 武汉大学信息管理学院武汉 430072

2. 武汉大学电子商务研究与发展中心武汉 430072
提交时间：2017-12-05 13:51:27

摘要: 【目的】通过基于维基百科的特征扩展解决由于不同类型文献而产生的特征不匹配等问题, 以提高文本分类效果。【方法】在特征扩展之前, 对 TF-IDF 加以改进, 提出并使用一种新的特征选择方法 CDFmax-IDF 获得候选词集; 在使用维基百科进行特征扩展时, 通过分别计算直接链接关系、类别关系、间接链接关系三类词语间关系并进行融合得到词语间的语义相关度实现特征扩展; 针对扩展得到的特征, 提出一种改进的 LDA 概率主题模型 wLDA 模型进行文本建模。【结果】本文提出的方法分别在朴素贝叶斯、KNN 和 SVM 三种分类器上实现分类, 其 marco-F1 和 micro-F1 分别提升 1.6%-2.8%和 1.4%-2.7%。【局限】尚未考虑特征词本身及特征词间的相互联系, 比如特征词本身的词性、出现在单篇文档中的位置、特征词间的共现关系等因素对特征词权重的影响。【结论】通过多种对比研究证明了使用基于维基百科的特征扩展方法对特征词扩展的有效性, 提高了多种类型文献的自动分类效果。

多种类型文献文本分类特征选择特征扩展维基百科

分类： 图书馆学、情报学 >> 情报学

期刊：

数据分析与知识发现

投稿状态： 已在期刊出版
引用： ChinaXiv:201712.01360 (或此版本 ChinaXiv:201712.01360V1)
DOI:10.12074/201712.01360V1
CSTR:32003.36.ChinaXiv.201712.01360.V1
科创链TXID： 8c6f6f3b-756c-4139-80d9-3a3624664adb
推荐引用方式： 李湘东,阮涛,刘康.基于维基百科的多种类型文献自动分类研究*.数据分析与知识发现:https://chinaxiv.org/abs/201712.01360.[ChinaXiv:201712.01360V1] (点此复制)

版本历史

[V1]

2017-12-05 13:51:27

ChinaXiv:201712.01360V1

下载全文

1. 基于可拓小生境量子粒子群算法的特征选择*	2017-12-05
2. 混合蛙跳算法在文本分类特征选择优化中的应用	2017-11-08
3. 面向食品安全突发事件汉语分词的特征选择及模型优化研究	2017-11-08
4. 基于维基百科的中文文本层次路径生成研究	2017-10-11
5. 基于《知网》的多种类型文献混合自动分类研究	2017-10-11


公开评论匿名评论仅发给作者

基于维基百科的多种类型文献自动分类 研究* 后印本

版本历史

相关论文推荐

基于维基百科的多种类型文献自动分类研究* 后印本