Python函数统计词频,利用python进行词频统计

一个txt文档，已经用结巴分词分完词，怎么用python工具对这个分完词的文档进行计算统计词频，求脚本，非

#!/usr/bin/env python3

#-*- coding:utf-8 -*-

import os,random

#假设要读取文件名为aa，位于当前路径

filename='aa.txt'

dirname=os.getcwd()

f_n=os.path.join(dirname,filename)

#注释掉的程序段，用于测试脚本，它生成20行数据，每行有1-20随机个数字，每个数字随机1-20

'''

test=''

for i in range(20):

    for j in range(random.randint(1,20)):

        test+=str(random.randint(1,20))+' '

    test+='\n'

with open(f_n,'w') as wf:

    wf.write(test)

'''

with open(f_n) as f:

    s=f.readlines()

#将每一行数据去掉首尾的空格和换行符，然后用空格分割，再组成一维列表

words=[]

for line in s:

    words.extend(line.strip().split(' '))

#格式化要输出的每行数据，首尾各占8位，中间占18位

def geshi(a,b,c):

    return alignment(str(a))+alignment(str(b),18)+alignment(str(c))+'\n'

#中英文混合对齐 ，参考 ，二楼

#汉字与字母 格式化占位 format对齐出错 对不齐 汉字对齐数字 汉字对齐字母 中文对齐英文

#alignment函数用于英汉混合对齐、汉字英文对齐、汉英对齐、中英对齐

def alignment(str1, space=8, align = 'left'):

    length = len(str1.encode('gb2312'))

    space = space - length if space =length else 0

    if align in ['left','l','L','Left','LEFT']:

        str1 = str1 + ' ' * space

    elif align in ['right','r','R','Right','RIGHT']:

        str1 = ' '* space +str1

    elif align in ['center','c','C','Center','CENTER','centre']:

        str1 = ' ' * (space //2) +str1 + ' '* (space - space // 2)

    return str1

w_s=geshi('序号','词','频率')

#由(词,频率)元组构成列表，先按频率降序排序，再按词升序排序，多级排序，一组升，一组降，高级sorted

wordcount=sorted([(w,words.count(w)) for w in set(words)],key=lambda l:(-l[1],l[0]))

#要输出的数据，每一行由：序号(占8位)词(占20位)频率(占8位)+'\n'构成，序号=List.index(element)+1

for (w,c) in wordcount:    

    w_s+=geshi(wordcount.index((w,c))+1,w,c)

#将统计结果写入文件ar.txt中

writefile='ar.txt'

w_n=os.path.join(dirname,writefile)

with open(w_n,'w') as wf:

    wf.write(w_s)

相关问答

Q1: 如何用python实现英文短文的双词频统计？

import re

from itertools import imap as map

from collections import Counter

def parserwords(sentence):

    preword = ''

    result = []

    for word in re.findall('\w+', sentence.lower()):

        if preword:

            result.append((preword, word))

        preword = word

    return result

context = """

Do you hear the people sing, singing a song of angry men. 

It is the music of a people, who will not be slaves again, 

when the beating of your heart echoes the beating of the drums. 

There is a life about to start when tomorrow comes.

"""

words = []

for sentence in map(parserwords, 

        re.split(r'[,.]', context.lower())):

    words.extend(sentence)

prefixcounter = Counter([word[0] for word in words])

counter = Counter(words)

meter = {}

for pre, post in counter.iterkeys():

    meter[(pre, post)] = 1. * counter[(pre, post)] / prefixcounter[pre]

result = sorted(meter.iteritems(),

    cmp = lambda a, b: cmp(b[1], a[1]) or cmp(a[0], b[0])

    )

print result[:5]

Q2: 如何用python对文章中文分词并统计词频

使用结巴分词，统计频率可以使用Counter，即from collections import Counter

Q3: 用Python统计词频

def statistics(astr):

# astr.replace("\n", "")

slist = list(astr.split("\t"))

alist = []

[alist.append(i) for i in slist if i not in alist]

alist[-1] = alist[-1].replace("\n", "")

return alist

if __name__ == "__main__":

code_doc = {}

with open("test_data.txt", "r", encoding='utf-8') as fs:

for ln in fs.readlines():

l = statistics(ln)

for t in l:

if t not in code_doc:

code_doc.setdefault(t, 1)

else:

code_doc[t] += 1

for keys in code_doc.keys():

print(keys + ' ' + str(code_doc[keys]))

Q4: Python词频统计问题

#下载一文到words.txt，内容为（stu ml ds ml stu stuee zkz wxj Zkz Wxj）

File = "words.txt"

number_list =[]

with open(File) as f:

      for line in f:

        number_list.extend( str(i) for i in line.split())

for item in set(number_list):

        L=[item,number_list.index(item),number_list.count(item)]

        print(L)  #单词  首次出现的位置  词频

        with open('Q1.txt','a') as F:

             F.writelines(str(L))

Q5: 如何用python和jieba分词，统计词频？

 #! python3

# -*- coding: utf-8 -*-

import os, codecs

import jieba

from collections import Counter

 

def get_words(txt):

    seg_list = jieba.cut(txt)

    c = Counter()

    for x in seg_list:

        if len(x)1 and x != '\r\n':

            c[x] += 1

    print('常用词频度统计结果')

    for (k,v) in c.most_common(100):

        print('%s%s %s  %d' % ('  '*(5-len(k)), k, '*'*int(v/3), v))

 

if __name__ == '__main__':

    with codecs.open('19d.txt', 'r', 'utf8') as f:

        txt = f.read()

    get_words(txt)