面向食品安全突发事件汉语分词的特征选择及模型优化研究后印本

作者： 张越 ¹ 王东波 ^1,2 朱丹浩 ³
作者单位：

1. 南京农业大学信息科学技术学院南京210095

2. 南京农业大学领域知识关联研究中心南京 210095

3. 江苏警官学院图书馆南京 210031
提交时间：2017-11-08 16:30:53

摘要: 【目的】在食品安全领域中, 建立相关数据库对食品安全的监管和控制都会有很大的帮助, 自动分词在构建索引、使用索引以及构建语料库中都起到至关重要的作用。将基于条件随机场的字标注统计学习方法, 应用在食品安全突发事件语料的自动分词中。【方法】分析语料的词长分布等特点, 对该方法自动分词过程中所涉及的特征选择和特征模板进行不同实验, 得出不同特征选择和应用不同特征模板对分词结果的影响。【结果】从实验结果可以看出, 特征选择时并不是特征越多分词效果越好, 会出现特征干扰的情况, 在二三字词占46.62%的食品安全突发事件语料中, 特征模板中的当前字和前后驱第一个字所代表的特征模板对分词效果影响明显。【结论】通过对不同特征选择和特征模板及其相互组合的实验, 选择出在本文研究的语料库自动分词中最优的特征和特征模板, 在5Tag 特征标记下配合对应特征模板对目标语料分词的F 值达到92.88%。

中文分词食品安全条件随机场特征模板特征选择

分类： 图书馆学、情报学 >> 情报学

期刊：

数据分析与知识发现

投稿状态： 已在期刊出版
引用： ChinaXiv:201711.01961 (或此版本 ChinaXiv:201711.01961V1)
DOI:10.12074/201711.01961V1
CSTR:32003.36.ChinaXiv.201711.01961.V1
科创链TXID： a61baaae-e50d-4177-8359-aa23008182cc
推荐引用方式： 张越,王东波,朱丹浩.面向食品安全突发事件汉语分词的特征选择及模型优化研究.数据分析与知识发现:https://chinaxiv.org/abs/201711.01961.[ChinaXiv:201711.01961V1] (点此复制)

版本历史

[V1]

2017-11-08 16:30:53

ChinaXiv:201711.01961V1

下载全文

1. 面向先秦典籍的知识本体构建技术研究	2023-04-01
2. 基于可拓小生境量子粒子群算法的特征选择*	2017-12-05
3. 多特征知识下的食品安全事件实体抽取研究	2017-11-08
4. 混合蛙跳算法在文本分类特征选择优化中的应用	2017-11-08
5. 面向食品安全突发事件汉语分词的特征选择及模型优化研究	2017-11-08
6. 基于文本内容特征选择的评论质量检测	2017-10-11


公开评论匿名评论仅发给作者

面向食品安全突发事件汉语分词的特征选择及模型优化研究 后印本

版本历史

相关论文推荐

面向食品安全突发事件汉语分词的特征选择及模型优化研究后印本