起初在浏览知乎时看见一篇文章觉得很有意思（用 Python 分析《红楼梦》），此文章较长，题主采用了一系列方法分析红楼梦前八十回和后四十回是否为同一个人所写，虽然题主贴上了部分实现的截图，我就想试着来实现一遍，但由于目前能力有限，一些机器学习算法不够了解，加上 python 又是刚刚学，所以我打算先结合《Python 语言程序设计基础》这本书上的例子——《三国演义》人物出场统计来作为此系列博客第一篇，后续等能力足矣会陆陆续续补上。
三国里人物众多，我们需要对人物出场次数统计，中文文章需要分词才能进行词频统计，这里我们用到第三方库 jieba，这里我就不提供下载方法了，然后我们需要《三国演义》的电子书网上都有，很容易下载。
将文本数据导入 pycharm
import jieba
txt = open("三国演义.txt", "r", encoding="gb18030").read()
这里的编码格式一开始我是按照书上‘utf-8’格式读取，发现会乱码，后来在pycharm里面用‘gbk’格式能读出文本内容，但是个别字符识别不出来，就去百度到“gb18030”比gbk范围更广，这里我成功读入。如果你此时还是读入不了可以写成下面形式
txt = open("三国演义.txt", "r", encoding="gb18030"，errors="ignore").read()
import jieba
excludes = {"将军", "却说", "荆州", "二人", "不可", "不能", "如此", "商议", "如何", "主公", "军士", "左右", "军马", "引兵", "次日", "大喜", "天下", "东吴", "于是", "今日", "不敢", "魏兵","人马", "陛下", "一人"}
txt = open("三国演义.txt", "r", encoding="gbk").read()
words = jieba.lcut(txt)
counts = {}
for word in words:
if
len(word) == 1:
continue
elif word == "诸葛亮" or word == "孔明曰":
rword = "孔明"
elif word == "关公" or word == "云长":
rword = "关羽"
elif word == "玄德" or word == "玄德曰":
rword = "刘备"
elif word == "孟德" or word == "丞相":
rword = "曹操"
else:
rword = word
counts[rword] = counts.get(rword, 0) + 1
for word in excludes:
del(counts[word])
items = list(counts.items())
items.sort(key=lambda x:x[1], reverse=True)
for i in range(10):
word, count=items[i]
print (word, count)
excludes里面定义了一些出现次数较多但不是人名的词，这里主要语句就是 counts[rword] = counts.get(rword, 0) + 1 这一句字典类型的counts，如果word在counts中，返回word对应的值，否则返回0。后面用sort(）函数和匿名函数lambda（）进行排序，这里字典没有顺序，需要先转化为列表类型。输出结果如下：
fo = open("三国人物出场次数.txt", "a")
for i in range(10):
word, count=items[i]
word = str(word)
count = str(count)
fo.write(word)
fo.write(' ')
fo.write(count)
fo.write('\n')
print (word, count)
print(items)
fo.close()
这里我们将数据导入到 三国人物出场次数.txt 这个文件里面。
由此可知“曹操“，“ 孔明””刘备”是出场最多的人，这些只是简单的数据分析，作为此系列博客的开头篇，随着学习希望自己能实现完整用python分析四大名著。
转载自公众号【智能江湖】，如有侵权请联系小编删除！
学习Python和网络爬虫关注公众号：datanami
近期文章：
一个完整的Django入门指南 - 第1部分
python定期爬取GitHub上每日流行项目
一个Python小白5个小时爬虫经历
