jieba分词模块

Zss 发表于:

如何对一句话来分词,这时候可以使用到jieba的分词模块,可以对中文进行分词操作

结巴分词分为三种模式:精确模式(默认)、全模式和搜索引擎模式

精确模式:

#coding:utf-8
import jieba
import sys
reload(sys)
sys.setdefaultencoding('utf-8')

data = '我想和女朋友一起去北京故宫博物院参观和闲逛'
cut = jieba.cut(data)
print  ','.join(cut)

输出:
我,想,和,女朋友,一起,去,北京故宫博物院,参观,和,闲逛

返回的是一个生成器

全模式:

cut = jieba.cut(data,cut_all=True)

输出:
我,想,和,女朋友,朋友,一起,去,北京,北京故宫,北京故宫博物院,故宫,故宫博物院,博物,博物院,参观,和,闲逛

可以看出全模式尽可能的分解出更多的词语

搜索引擎模式:

cut = jieba.cut_for_search(data)

输出:
我,想,和,朋友,女朋友,一起,去,北京,故宫,博物,博物院,北京故宫博物院,参观,和,闲逛

获取词语的词性

使用分词时,就需要去除那么回车符号,逗号或者是动词,和一些不必要词性的词语

import jieba.posseg as psg

#coding:utf-8
import jieba.posseg as psg
import sys
reload(sys)
sys.setdefaultencoding('utf-8')

data = '我想和女朋友一起去北京故宫博物院参观和闲逛'
cut = psg.cut(data)
for i in cut:
    print i.word,i.flag

输出:
我 r
想 v
和 c
女朋友 n
一起 m
去 v
北京故宫博物院 ns
参观 n
和 c
闲逛 v
词性的判断
data = '我想和女朋友一起去北京故宫博物院参观和闲逛'
print [(x.word,x.flag) for x in psg.cut(data) if x.flag.startswith('n')]

判断为’n‘开头的词性

并行分词

不支持win

# 开启并行分词模式,参数为并发执行的进程数
jieba.enable_parallel(5)

# 关闭并行分词模式
jieba.disable_parallel()
获取出现频率最多的词语

返回的是一个列表,元素为词语和计数的元组

from collections import Counter
c = Counter(santi_words).most_common(20)

词性表:

形容词(1个一类,4个二类)

a 形容词

ad 副形词

an 名形词

ag 形容词性语素

al 形容词性惯用语

区别词(1个一类,2个二类)

b 区别词

bl 区别词性惯用语

连词(1个一类,1个二类)

c 连词

cc 并列连词

副词(1个一类)

d 副词

叹词(1个一类)

e 叹词

方位词(1个一类)

f 方位词

前缀(1个一类)

h 前缀

后缀(1个一类)

k 后缀

数词(1个一类,1个二类)

m 数词

mq 数量词

名词 (1个一类,7个二类,5个三类)

名词分为以下子类:

n 名词

nr 人名

nr1 汉语姓氏

nr2 汉语名字

nrj 日语人名

nrf 音译人名

ns 地名

nsf 音译地名

nt 机构团体名

nz 其它专名

nl 名词性惯用语

ng 名词性语素

拟声词(1个一类)

o 拟声词

介词(1个一类,2个二类)

p 介词

pba 介词“把”

pbei 介词“被”

量词(1个一类,2个二类)

q 量词

qv 动量词

qt 时量词

代词(1个一类,4个二类,6个三类)

r 代词

rr 人称代词

rz 指示代词

rzt 时间指示代词

rzs 处所指示代词

rzv 谓词性指示代词

ry 疑问代词

ryt 时间疑问代词

rys 处所疑问代词

ryv 谓词性疑问代词

rg 代词性语素

处所词(1个一类)

s 处所词

时间词(1个一类,1个二类)

t 时间词

tg 时间词性语素

助词(1个一类,15个二类)

u 助词

uzhe 着

ule 了 喽

uguo 过

ude1 的 底

ude2 地

ude3 得

usuo 所

udeng 等 等等 云云

uyy 一样 一般 似的 般

udh 的话

uls 来讲 来说 而言 说来

uzhi 之

ulian 连 (“连小学生都会”)

动词(1个一类,9个二类)

v 动词

vd 副动词

vn 名动词

vshi 动词“是”

vyou 动词“有”

vf 趋向动词

vx 形式动词

vi 不及物动词(内动词)

vl 动词性惯用语

vg 动词性语素

标点符号(1个一类,16个二类)

w 标点符号

wkz 左括号,全角:( 〔 [ { 《 【 〖 〈 半角:( [ { <

wky 右括号,全角:) 〕 ] } 》 】 〗 〉 半角: ) ] { >

wyz 左引号,全角:“ ‘ 『

wyy 右引号,全角:” ’ 』

wj 句号,全角:。

ww 问号,全角:? 半角:?

wt 叹号,全角:! 半角:!

wd 逗号,全角:, 半角:,

wf 分号,全角:; 半角: ;

wn 顿号,全角:、

wm 冒号,全角:: 半角: :

ws 省略号,全角:…… …

wp 破折号,全角:—— -- ——- 半角:— —-

wb 百分号千分号,全角:% ‰ 半角:%

wh 单位符号,全角:¥ $ £ ° ℃ 半角:$

字符串(1个一类,2个二类)

x 字符串

xx 非语素字

xu 网址URL

语气词(1个一类)

y 语气词(delete yg)

状态词(1个一类)

z 状态词