ubuntu 14.04中文分词结巴分词

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

在自然语言处理中，很常见的是要对文本数据进行分词处理。博主是代码小白，目前只是用python作为数据预处理的工具，而按照结巴中文分词的导语：做最好的python中文分词组件“jieba”。因而博主也就在本人的机子上安装了 ubuntu+python2.7+jieba组成的分词组合。

关于安装的博客已经很多了，我把安装好后我自己写的中文分词代码贴出来。

一般情况下，做中文分词之后就会去停用词，所以我直接写到了同一个py文件中。

文件的第五行：自定义的用户词典位置

文件的第十行：停用词词典的位置，自己也可以添加和修改

同理，第11和第18行分别是读取和保存文件。

 #coding=utf-8

 import jieba

 import sys

 sys.path.append("../")

 jieba.load_userdict("/。。。/user_dict.txt")

 import jieba.posseg as pseg

 import time

 t1=time.time() 

 stopwords = {}.fromkeys([ line.rstrip() for line in open('/。。。。。/stopwords.txt') ])

 f=open("/。。。/test.txt","r") #读取文本

 txtlist=f.read().decode('utf-8')

 words=jieba.cut(txtlist)

     for w in words:

         seg=str(w.word.encode('utf-8'))

         if seg not in stopwords:

             result+=str(seg)+" "#+"/"+str(w.flag)+" " #去停用词

             f=open("/..../result.txt","a")  #将结果保存到另一个文档中

             f.write(result)

 f.close()

 t2=time.time()

 print("分词及词性标注完成，耗时："+str(t2-t1)+"秒。") #反馈结果