188宝金博页面版

2018 年 软 件 2018, Vol. 39, No. 1 第 39 卷 第 1 期 COMPUTER ENGINEERING & SOFTWARE 国际 IT 传媒品牌 基金项目: : 河北省高等188宝金博页面版科技研究重点项目(ZD2017304) 作者简介 : 刘腾飞(1990?)，男，硕士研究生，主要研究方向：深度学习，自然语言处理。?通讯联系人 : 于双元，副教授，主要研究方向：分布计算。? 基于循环和卷积神经网络的文本分类研究 刘腾飞1 ，于双元 1 ，张洪涛 1 ，尹鸿峰 2 （1. 北京交通大学 计算机与信息技术学院，北京 100044；2. 北京交通大学海滨学院 计算机科学系，河北 黄骅 061199） 摘 要: 文本表示是自然语言处理的基础工作，好的文本表示方法对文本分类等自然语言处理任务的性能起着决定性作用。本文描述了一个结合了循环网络和卷积网络的文本表示和分类网络模型。在该模型中，我们使用词向量作为输入，用循环网络对文档进行表示，然后采用卷积网络对文档进行有效的特征提。俨捎 max Soft 回归分类。循环网络能够捕捉到文档的中词序信息，而卷积网络能够很好的提取出有用的特征。我们在六个文本分类任务中测试本文所描述的网络模型，都取得了比先前的方法更出色的性能。 关键词: 自然语言处理；神经网络；表示学习；词向量；文本分类 中图分类号: TP391.1 文献标识码: A DOI ：10.3969/j.issn.1003-6970.2018.01.013 本文著录格式：刘腾飞，于双元，张洪涛，等. 基于循环和卷积神经网络的文本分类研究[J]. 软件，2018，39（01）：64?69 Recurrent Neural Networks and Convolutional Neural Networks for Text Classification LIU Teng-fei 1 , YU Shuang-yuan 1 , ZHANG Hong-tao 1 , YIN Hong-feng 2 (1. School of Computer and Information Technology, Beijing Jiaotong University, Beijing 100044, China; 2. Department of Computer Science, Beijing Jiaotong University Haibin College, Huanghua Hebei Province, 061199, China) 【Abstract】 】: Text classification is a classic task of natural language processing (NLP). For many NLP tasks, a better text representation method will take a better performance, such as text classification. In this paper, we describe a model BRNN (bidirectional recurrent and convolutional) which combines with recurrent neural networks (RNN) and convolutional neural networks (CNN) for text representation and classification. In our model, the inputs are the word vectors, then we apply a recurrent structure to get more contextual information of a document, and then is a convolution structure which can effectively extract the features of a document, finally, we use the softmax function for classification. The RNN can capture the word order information in a document, and the CNN can extract the useful features effectively of a document. We test our model on 6 benchmarks text classification datasets, and we get a better performance than the state-of-the-art methods. 【Key words 】: Natural language processing; Neural networks; RepresentationlLearning; Word embedding; Text classification 0 引言 文本分类问题是自然语言处理领域中的一个经典问题，目的是标记出文本所属的类别。文本分类具有广泛的应用，如主题标记 [1] 、情感分类 [2,3] 等。然而，好的文本表示方法对文本分类等自然语言处理任务的性能起着决定性作用。传统的文本表示采用词袋模型(BOW, Bag of Word)或向量空间模型(VSM, Vector Space Model)。词袋模型不仅失去了文本的上下文 信息，还面临着高纬度、高稀疏性的问题；向量空间模型是在词袋模型的基础上，通过特征项提取(如采用文档频率、互信息等作为评价标准)进行降低维度，通过特征权重计算(如 TF-IDF)来增加稠密性。 近来，基于神经网络模型的分布表示越来越受欢迎 [4,5] 。基于神经网络模型的分布表示称为词向量、词嵌入或分布表示。神经网络词向量表示技术通过神经网络技术对上下文，以及上下文与目标词之间的关系进行建模 [6] ，这种方法可以将文本映射