企业解决方案,seo专员是什么,电子商务网站建设步骤一般为,插画师个人网站是怎么做的最近正在用nltk 对中文网络商品评论进行褒贬情感分类#xff0c;计算评论的信息熵(entropy)、互信息(point mutual information)和困惑值(perplexity)等(不过这些概念我其实也还理解不深...只是nltk 提供了相应方法)。我感觉用nltk 处理中文是完全可用的。其重点在于中文分词和…最近正在用nltk 对中文网络商品评论进行褒贬情感分类计算评论的信息熵(entropy)、互信息(point mutual information)和困惑值(perplexity)等(不过这些概念我其实也还理解不深...只是nltk 提供了相应方法)。我感觉用nltk 处理中文是完全可用的。其重点在于中文分词和文本表达的形式。中文和英文主要的不同之处是中文需要分词。因为nltk 的处理粒度一般是词所以必须要先对文本进行分词然后再用nltk 来处理(不需要用nltk 来做分词直接用分词包就可以了。严重推荐结巴分词非常好用)。中文分词之后文本就是一个由每个词组成的长数组[word1, word2, word3…… wordn]。之后就可以使用nltk 里面的各种方法来处理这个文本了。比如用FreqDist 统计文本词频用bigrams 把文本变成双词组的形式[(word1, word2), (word2, word3), (word3, word4)……(wordn-1, wordn)]。再之后就可以用这些来计算文本词语的信息熵、互信息等。再之后可以用这些来选择机器学习的特征构建分类器对文本进行分类(商品评论是由多个独立评论组成的多维数组网上有很多情感分类的实现例子用的就是nltk 中的商品评论语料库不过是英文的。但整个思想是可以一致的)。另外还有一个困扰很多人的Python 中文编码问题。多次失败后我总结出一些经验。Python 解决中文编码问题基本可以用以下逻辑utf8(输入) —— unicode(处理) —— (输出)utf8Python 里面处理的字符都是都是unicode 编码因此解决编码问题的方法是把输入的文本(无论是什么编码)解码为(decode)unicode编码然后输出时再编码(encode)成所需编码。由于处理的一般为txt 文档所以最简单的方法是把txt 文档另存为utf-8 编码然后使用Python 处理的时候解码为unicode(sometexts.decode(utf8))输出结果回txt 的时候再编码成utf8(直接用str() 函数就可以了)。另外这篇文章也有很详细的讲到nltk 的中文应用很值得参考http://blog.csdn.net/huyoo/article/details/12188573
