python 结巴分词简介以及操作

中文分词库：结巴分词

文档地址：https://github.com/fxsjy/jieba

代码对 Python 2/3 均兼容

• 全自动安装： easy_install jieba 或者 pip install jieba / pip3 install jieba
• 半自动安装：先下载 http://pypi.python.org/pypi/jieba/ ，解压后运行 python setup.py install
• 手动安装：将 jieba 目录放置于当前目录或者 site-packages 目录
• 通过 import jieba 来引用

import jieba

from jieba import analyse

seg_list = jieba.cut("我来到北京清华大学", cut_all=True)

print("Full Mode: " + "/ ".join(seg_list))  # 全模式

seg_list = jieba.cut("我来到北京清华大学", cut_all=False)

print("Default Mode: " + "/ ".join(seg_list))  # 精确模式

seg_list = jieba.cut("他来到了网易杭研大厦")  # 默认是精确模式

print(", ".join(seg_list))

seg_list = jieba.cut_for_search("小明硕士毕业于中国科学院计算所，后在日本京都大学深造")  # 搜索引擎模式

print(", ".join(seg_list))

def get_word():

# 引入TextRank关键词抽取接口

textrank = analyse.textrank

# 原始文本

text = "线程是程序执行时的最小单位，它是进程的一个执行流，\

是CPU调度和分派的基本单位，一个进程可以由很多个线程组成，\

线程间共享进程的所有资源，每个线程有自己的堆栈和局部变量。\

线程由CPU独立调度执行，在多CPU环境下就允许多个线程同时运行。\

同样多线程也可以实现并发操作，每个请求分配一个线程来处理。"

# 基于TextRank算法进行关键词抽取

keywords = textrank(text)

# 输出抽取出的关键词

for keyword in keywords:

print(keyword + "/")

if __name__ == "__main__":

get_word()