企业官网建设流程全解析

当我们在追更一篇超长篇宝可梦同人文时，往往不只是想知道“谁和谁最后在一起了”，更想从宏观上理解作者的伏笔分布、角色出场频率、情感走向，甚至从文本中看出“真实之眼”和“波导之力”这两个核心设定的使用节奏。手动统计当然不现实，这时候就需要一套文本分析工具，让 Python 帮我们快速“看穿”一部小说的结构。

这篇文章将围绕“用 Python 进行中文小说文本分析与可视化”这一主题，设计一个完整的实战项目。我们会以《宝可梦：我有一双真实之眼》这类同人文常见的文本特征为背景，实现字数统计、角色线索提取、分词词频、情感趋势和词云图生成等功能。整个过程覆盖从文件读取、数据清洗到可视化输出的完整链路，代码可以直接复制到本地运行。

本文适合以下读者：

• 想对小说文本做量化分析、但又不知道从哪里下手的 Python 初学者。
• 需要快速完成“文本数据分析”课程作业、项目演示的开发者。
• 对中文分词、jieba、WordCloud 等库有了解但还没有整合经验的学习者。
• 想在宝可梦同人创作社区做出有趣数据作品的作者和读者。

整套代码不需要 GPU，也不依赖大型深度学习框架，只需要 Python 3.8+ 和几个常用第三方库即可运行。接下来我们一步一步搭建这个“看穿一切”的文本分析工具。

1. 为什么需要“真实之眼”：文本分析要解决什么问题

1.1 同人文长文本分析的常见痛点

一部长期连载的宝可梦同人文动辄几十万字，章节数量可能超过一百章。读者常遇到的问题包括：

• 角色出场频率不清：小智、小刚、小霞、火箭队等人气角色在不同篇章的戏份分布如何？
• 伏笔位置难找：作者在第 50 章埋下的设定，到第 200 章才回收，读者几乎不可能凭记忆定位。
• 情感节奏无法量化：故事进入高潮前，文本中的情感词汇密度通常会发生变化，但靠肉眼很难判断具体节点。
• 高频词语与主题脱节：如果“训练家”“宝可梦”出现次数异常高，可能只是背景设定的基础词，需要与自定义关键词区分开。

这些问题正好可以用 Python 文本分析技术解决。我们可以把一部长篇小说作为数据源，提取它的关键词、角色名、情感词汇和结构特征，从而得到一个“文本之上的视角”——这正是我们这篇文章标题里“真实之眼”的含义。

1.2 核心技术链路的确定

在制定方案之前，我们先把文本分析常见的技术链路整理出来，方便后续对照实现。

这个流程是从“字”到“词”再到“图”的逐步抽象过程。初学者往往一上来就做词云，忽略了数据清洗的重要性，结果生成的图片里全是“一个”“没有”“我们”这种无意义词汇，效果很差。下面我们在实战部分会特别强调清洗环节。

1.3 “看穿一切却看不透你”的技术隐喻

这句话从数据结构上看很有意思。“看穿一切”代表我们可以对全文做大范围统计和可视化，获得宏观视角；“看不透你”则对应文本中的模糊信息——反讽、暗示、情感潜台词、角色间未说明的关系。这些靠“词频统计”这类硬统计很难捕捉，因此我们还需要借助情感分析和上下文语境查看功能。

在实践中，我们可以把一篇文章拆成两个维度来看：

• 显性维度：词语、句子、章节、角色名、场景名。这是统计工具可以直接处理的。
• 隐性维度：情感倾向、叙事视角、人物情绪曲线、伏笔密度。这需要结合情感词典和自定义规则分析。

本项目的“真实之眼.py”，会同时覆盖这两个维度。重点落在显性维度的统计上，同时对隐性维度给出一个可用的探索思路。

2. 环境准备与项目结构

2.1 Python 环境与依赖安装

本项目的运行环境以 Windows / macOS / Linux 均可，但要注意不同操作系统在字体路径上的差异。建议使用 Python 3.8 及以上版本。

创建虚拟环境并安装依赖：

python -m venv venv # Windows venv\Scripts\activate # macOS / Linux source venv/bin/activate pip install jieba pandas matplotlib wordcloud snownlp

各个库在本项目中的职责如下：

• jieba：中文分词，负责把小说文本切成有意义的词语。
• pandas：数据整理和统计分析。
• matplotlib：绘制基础图表，如柱状图、折线图。
• wordcloud：生成词云图。
• snownlp：可选，用于粗粒度情感倾向分析。

版本需要根据你的项目实际情况调整，本文示例以常见环境为例，重点演示配置思路。如果安装时因为版本冲突报错，可以升级 pip 后重试：

pip install --upgrade pip setuptools wheel

2.2 文本数据准备

为了方便演示，建议准备两个文件：

1. novel.txt：待分析的同人文全文文本，UTF-8 编码，纯文本即可。
2. stopwords.txt：停用词表，每行一个词。

如果没有现成文本，可以先用几段示例文本测试流程。下面是我们的小型测试样例，后续所有代码都以这段文本为输入演示效果。

小智站在真新镇的草地上，皮卡丘安静地趴在他的肩上。他拥有能看穿一切的真实之眼， 却始终看不清自己内心的波导。远处的火箭队又有了新的动静，一场新的冒险即将展开。

这段文字虽然短，但包含了“小智”“皮卡丘”“真实之眼”“波导”“火箭队”等关键词，足以验证分词、过滤、统计、可视化的完整流程。

2.3 项目目录结构

整个项目建议按下面的结构组织：

pokemon_text_analysis/ ├── data/ │ ├── novel.txt │ └── stopwords.txt ├── output/ │ ├── 词频统计.csv │ ├── 词云图.png │ └── 情感趋势.png ├── main.py └── requirements.txt

这样区分的好处是：数据文件、分析脚本、输出结果互不混在一起。我们把data目录作为统一的输入目录，output目录保存生成的图表和表格，requirements.txt用来记录依赖版本。

requirements.txt 内容如下：

jieba==0.42.1 pandas==2.0.3 matplotlib==3.7.2 wordcloud==1.9.2 snownlp==0.12.3

如果不确定这些版本是否和本机环境完全兼容，可以先不指定版本号，只写库名，让 pip 自动安装最新版本。

3. 核心模块拆解：从零实现一个“真实之眼”

在写完整脚本之前，我们先拆解每个核心模块的用途和实现思路。后面的 main.py 只是把这些模块串起来。

3.1 模块一：文本读取与编码处理

小说文本最常见的坑是编码格式。很多人下载的 txt 文件是 GBK 或 GB18030 编码，而 Python 默认按 UTF-8 读取时会直接抛出 UnicodeDecodeError。

推荐的做法是让代码自动尝试多种编码：

# 核心片段：自动尝试常见编码 def read_text(file_path): encodings = ['utf-8', 'gb18030', 'gbk', 'big5'] for enc in encodings: try: with open(file_path, 'r', encoding=enc) as f: return f.read() except UnicodeDecodeError: continue raise ValueError(f"无法识别文件编码：{file_path}")

这里用gb18030而不是gbk的原因是：gb18030 是 GBK 的超集，可以兼容更多繁体字和生僻字。宝可梦同人文里经常出现角色昵称、自创名词，遇到特殊字符的概率比较高。

读取成功后，文本中可能包含空白行、特殊符号、章节号、括号内容等。清洗规则要根据小说格式调整，下面是常见处理示例：

import re def clean_text(raw): # 替换全角空格 text = raw.replace('\u3000', '') # 去掉章节标题行（可根据实际情况调整正则） text = re.sub(r'第[0-9一二三四五六七八九十百千]+章.*', '', text) # 去掉方括号和圆括号内容 text = re.sub(r'[\(（\[【].*?[\)）\]】】', '', text) # 去掉多余空白字符 text = re.sub(r'\s+', '', text) return text

注意：去掉括号内容时要谨慎。如果括号中是角色心理描写或重要注释，直接删除会影响语义。这里推荐在测试阶段先保留括号内容，观察词频结果后再决定是否清洗。

3.2 模块二：分词与停用词过滤

中文分词工具首选 jieba。对于一部小说，我们需要让它能识别自定义角色名、技能名和设定术语。

使用 jieba 加载自定义词典：

import jieba def load_custom_words(): custom_words = [ '真实之眼', '波导之力', '皮卡丘', '训练家', '精灵球', '火箭队', '超梦', '梦幻', '小智', '小刚', '小霞', ] for word in custom_words: jieba.add_word(word, freq=1000)

freq=1000是一个加权提示，表示这个词在文本中出现的可能性较高。如果自定义词本身是常用词，这个值可以调大；如果是生僻词，保持默认即可。

接下来实现分词和停用词过滤：

def cut_words(text): return jieba.lcut(text) def filter_stopwords(words, stopwords_path): with open(stopwords_path, 'r', encoding='utf-8') as f: stopwords = set(line.strip() for line in f if line.strip()) return [w for w in words if w not in stopwords and len(w.strip()) > 1]

这里的过滤条件len(w.strip()) > 1可以过滤掉单个字，比如“的”“了”“吗”。但要注意，像“超梦”这样的双字词不会被误删，因为长度大于 1。如果小说中有重要的单字角色名，需要单独做白名单设置在停用词过滤之后。

3.3 模块三：词频统计与 DataFrame 输出

过滤完停用词后，我们可以用 collections.Counter 统计词频：

from collections import Counter import pandas as pd def build_word_frequency(words, top_n=30): counter = Counter(words) common = counter.most_common(top_n) df = pd.DataFrame(common, columns=['词语', '次数']) return df

pandas 在这里的主要价值不是参与复杂计算，而是方便输出 CSV 和做后续分析。例如，我们可以把结果按“次数降序”保存到 Excel 或 CSV：

df.to_csv('output/词频统计.csv', index=False, encoding='utf-8-sig')

utf-8-sig编码很重要。如果直接保存为utf-8，用 Excel 打开 CSV 时中文列名可能乱码；utf-8-sig会在文件开头写入 BOM，Excel 打开正常。

3.4 模块四：词云图生成

词云图是文本分析最常见的展示形式。WordCloud 库本身使用简单，但有两个常见坑：

1. 中文显示问题：如果不设置中文字体，词云图会出现满屏方框。
2. 背景与配色：默认参数生成的图片可能看不清。

推荐使用系统自带的中文字体。Windows 环境下常见路径是C:\Windows\Fonts\simhei.ttf，macOS 常见路径是/System/Library/Fonts/PingFang.ttc。建议在代码中用一个变量保存字体路径，方便切换。

from wordcloud import WordCloud def generate_wordcloud(word_freqs, output_path, font_path): wc = WordCloud( font_path=font_path, width=1600, height=900, background_color='white', max_words=200, colormap='viridis' ) # 接收字典格式：{词语: 次数} wc.generate_from_frequencies(word_freqs) wc.to_file(output_path) print(f"词云图已保存到：{output_path}")

如果word_freqs是一个字典，generate_from_frequencies可以直接接收；如果是一个 DataFrame，需要转成字典：

word_freqs = dict(zip(df['词语'], df['次数']))

3.5 模块五：情感趋势分析（补充维度）

SnowNLP 可以对一句文本计算情感倾向值，范围在 0 到 1 之间，越接近 1 表示越积极。对于长篇文本，我们可以按章节切分，然后对每个章节的所有句子求平均情感分，得到整部小说的情感波动曲线。

from snownlp import SnowNLP import matplotlib.pyplot as plt def sentiment_analysis_by_chapter(chapters): results = [] for i, chapter in enumerate(chapters): s = SnowNLP(chapter) score = s.sentiments results.append({'章节': i + 1, '情感值': score}) return pd.DataFrame(results) def plot_sentiment(df, output_path): plt.figure(figsize=(12, 5)) plt.plot(df['章节'], df['情感值'], marker='o', linestyle='-', color='#2E86AB') plt.xlabel('章节序号') plt.ylabel('情感倾向分值') plt.title('宝可梦同人文情感趋势') plt.grid(alpha=0.3) plt.tight_layout() plt.savefig(output_path, dpi=200) plt.close()

这里的sentiments是 SnowNLP 自带的中文情感模型，对现代网文文本效果还行，但对宝可梦这类带大量专有名词的文本，准确率并非百分百。更严谨的做法是自定义情感词典，比如把“羁绊”“守护”“胜利”归为正向词，把“背叛”“失去”“失败”归为负向词。

4. 完整实战：宝可梦同人文分析工具

现在把所有模块整合到main.py中。你可以直接复制下面的代码，把data/novel.txt替换成自己的小说文本运行。

4.1 完整代码

# -*- coding: utf-8 -*- # 文件路径：main.py """ 宝可梦同人文文本分析工具 功能：读取小说文本，进行清洗、分词、词频统计、词云图和情感趋势分析 """ import os import re from collections import Counter import jieba import pandas as pd import matplotlib.pyplot as plt from wordcloud import WordCloud from snownlp import SnowNLP # ---------- 配置 ---------- BASE_DIR = os.path.dirname(os.path.abspath(__file__)) DATA_DIR = os.path.join(BASE_DIR, 'data') OUTPUT_DIR = os.path.join(BASE_DIR, 'output') NOVEL_PATH = os.path.join(DATA_DIR, 'novel.txt') STOPWORDS_PATH = os.path.join(DATA_DIR, 'stopwords.txt') WORDCLOUD_IMG = os.path.join(OUTPUT_DIR, '词云图.png') FREQ_CSV = os.path.join(OUTPUT_DIR, '词频统计.csv') SENTIMENT_IMG = os.path.join(OUTPUT_DIR, '情感趋势.png') # 中文字体路径，根据你的操作系统调整 FONT_PATH = r'C:\Windows\Fonts\simhei.ttf' # Windows # FONT_PATH = '/System/Library/Fonts/PingFang.ttc' # macOS def ensure_dirs(): """创建必要的目录""" os.makedirs(DATA_DIR, exist_ok=True) os.makedirs(OUTPUT_DIR, exist_ok=True) def read_text(file_path): """自动识别编码并读取文本""" encodings = ['utf-8', 'gb18030', 'gbk', 'big5'] for enc in encodings: try: with open(file_path, 'r', encoding=enc) as f: return f.read() except UnicodeDecodeError: continue raise ValueError(f"无法识别文件编码：{file_path}") def clean_text(raw): """文本清洗""" # 替换全角空格 text = raw.replace('\u3000', '') # 去掉常见章节标题行，根据实际文本调整 text = re.sub(r'第[0-9一二三四五六七八九十百千]+章.*[\n]?', '\n', text) # 去掉多余空白字符，保留中文和英文 text = re.sub(r'\s+', '', text) return text def load_stopwords(stopwords_path): """加载停用词表""" if not os.path.exists(stopwords_path): return set() with open(stopwords_path, 'r', encoding='utf-8') as f: return set(line.strip() for line in f if line.strip()) def cut_words(text): """jieba 分词""" return jieba.lcut(text) def filter_words(words, stopwords): """停用词过滤，只保留长度大于1的中文词""" result = [] for w in words: if w in stopwords: continue if len(w.strip()) < 2: continue if not re.search(r'[\u4e00-\u9fff]', w): continue result.append(w) return result def build_word_frequency(words, top_n=50): """词频统计""" counter = Counter(words) return pd.DataFrame(counter.most_common(top_n), columns=['词语', '次数']) def generate_wordcloud(freq_dict, output_path): """生成词云图""" wc = WordCloud( font_path=FONT_PATH, width=1600, height=900, background_color='white', max_words=200, colormap='viridis', random_state=42, ) wc.generate_from_frequencies(freq_dict) wc.to_file(output_path) print(f"词云图已保存：{output_path}") def split_chapters(text): """按章节标识切分文本，简单演示用""" # 这里用“第X章”进行切分，仅作为演示 parts = re.split(r'第[0-9一二三四五六七八九十百千]+章', text) return [p.strip() for p in parts if p.strip()] def sentiment_analysis(chapters): """按章节计算情感均值""" results = [] for i, chapter in enumerate(chapters[:200]): # 限制章节数，避免运行过慢 try: s = SnowNLP(chapter) score = s.sentiments except Exception: score = 0.5 results.append({'章节': i + 1, '情感值': score}) return pd.DataFrame(results) def plot_sentiment(df, output_path): """绘制情感趋势图""" plt.figure(figsize=(12, 5)) plt.plot(df['章节'], df['情感值'], marker='o', markersize=3, linestyle='-', color='#2E86AB') plt.xlabel('章节序号') plt.ylabel('情感倾向分值') plt.title('宝可梦同人文情感趋势') plt.grid(alpha=0.3) plt.tight_layout() plt.savefig(output_path, dpi=200) plt.close() print(f"情感趋势图已保存：{output_path}") def main(): ensure_dirs() # 1. 读取文本 print("正在读取小说文本...") raw_text = read_text(NOVEL_PATH) print(f"原始文本长度：{len(raw_text)} 字符") # 2. 清洗文本 print("正在清洗文本...") clean = clean_text(raw_text) print(f"清洗后长度：{len(clean)} 字符") # 3. 加载自定义词典 print("正在加载自定义词典...") custom_words = [ '真实之眼', '波导之力', '皮卡丘', '训练家', '精灵球', '火箭队', '超梦', '梦幻', '小智', '小刚', '小霞', '波导', '宝可梦', ] for word in custom_words: jieba.add_word(word, freq=1000) # 4. 分词与过滤 print("正在分词...") words = cut_words(clean) stopwords = load_stopwords(STOPWORDS_PATH) filtered = filter_words(words, stopwords) print(f"分词数量：{len(words)}，过滤后数量：{len(filtered)}") # 5. 词频统计 print("正在统计词频...") freq_df = build_word_frequency(filtered, top_n=50) freq_df.to_csv(FREQ_CSV, index=False, encoding='utf-8-sig') print(freq_df.head(10).to_string(index=False)) # 6. 生成词云 print("正在生成词云图...") freq_dict = dict(zip(freq_df['词语'], freq_df['次数'])) generate_wordcloud(freq_dict, WORDCLOUD_IMG) # 7. 情感趋势分析 print("正在分析情感趋势...") chapters = split_chapters(clean) if len(chapters) > 1: sentiment_df = sentiment_analysis(chapters) plot_sentiment(sentiment_df, SENTIMENT_IMG) else: print("文本未检测到分章标识，跳过情感趋势分析。") print("全部完成！请查看 output 目录。") if __name__ == '__main__': main()

4.2 运行步骤

第一次运行前，你需要准备数据文件。最简单的办法是先创建data/novel.txt和data/stopwords.txt，然后填入测试内容。

停用词表示例：

的 了 和 是 在 我 你 他 她 它 有 就 啊 呢 吗

然后运行脚本：

python main.py

4.3 预期输出说明

以文章开头的短文本为例，运行后输出大致如下：

正在读取小说文本... 原始文本长度：70 字符 清洗后长度：70 字符 正在加载自定义词典... 正在分词... 分词数量：36，过滤后数量：22 正在统计词频... 词语 次数 0 皮卡丘 2 1 小智 1 2 真新镇 1 3 真实之眼 1 4 波导 1 5 火箭队 1 6 草地 1 7 肩膀 1

生成的词频统计.csv可以在 Excel 中打开，词云图.png则可以直接用在文章或分享中。情感趋势图因为只有一段文字，不会单独生成。

5. 常见问题与排查思路

文本分析项目看起来简单，实际跑起来问题不少。下面整理几个高频问题。

5.1 jieba 分词不准

5.2 词云图出现方框

方框几乎都是字体问题。确认两点：

1. FONT_PATH指向的文件存在。
2. 字体路径没有包含空格或特殊字符，如果有空格，用原始字符串写法。

可以临时写一段代码验证字体是否存在：

import os print(os.path.exists(r'C:\Windows\Fonts\simhei.ttf'))

5.3 读取文件报 UnicodeDecodeError

如果代码自动尝试编码后仍然失败，可能是文件本身带有 BOM 或混合编码。建议先用文本编辑器打开，另存为 UTF-8 无 BOM 格式。Windows 记事本另存时选择“UTF-8”即可。

5.4 SnowNLP 运行缓慢

SnowNLP 是基于 Python 实现的情感模型，对长文本逐句处理会比较慢。如果章节很多，建议只分析前 200 章，或者每章只取前 2000 个字符参与计算。也可以改用更轻量的情感词典方案。

5.5 结果里全是“没有”“一个”等无用词

停用词表不够完整。可以从网上下载通用中文停用词表，再往里面补充网文常见词，比如“知道”“说道”“心里”“时候”“已经”等。

这里放一个扩展示例：

知道 说道 心里 时候 已经 现在 这个 那个 自己 他们 它们 我们 你们

停止词的目的是让统计结果更聚焦于真正的关键词，不需要一步到位，可以边看词频结果边迭代补充。

5.6 输出 CSV 用 Excel 打开乱码

在to_csv中务必使用encoding='utf-8-sig'。如果还是乱码，检查 Excel 版本是否有兼容问题，可以直接用 pandas 输出 Excel 文件试试：

df.to_excel('output/词频统计.xlsx', index=False)

这时需要额外安装 openpyxl：

pip install openpyxl

6. 最佳实践与工程建议

6.1 处理超大文本时要控制内存

一部长篇同人文全文可能有 50 万字甚至更多，分词后的词条数量接近百万级别。直接用 Counter 统计没问题，但做情感分析时如果一次性加载全文，内存占用会明显上升。

建议策略：

• 逐章读取，而不是一次性读入全部内容。
• 使用生成器逐行处理文本，避免把多个中间结果同时保存在内存中。
• 只保留 top 200 的词频结果用于词云图，不需要保存全量词频字典。

6.2 自定义词典要分层维护

不要把所有词都塞进代码里。工程化做法是准备一个custom_words.txt文件，按类别维护：

# 角色名 小智 小刚 小霞 # 传说宝可梦 超梦 梦幻 # 特殊能力 真实之眼 波导之力

代码启动时读取这个文件：

def load_custom_words(path): if not os.path.exists(path): return with open(path, 'r', encoding='utf-8') as f: for line in f: word = line.strip() if word and not word.startswith('#'): jieba.add_word(word, freq=1000)

这样做的好处是分析不同小说时，只需要替换文本和词典，不需要改代码。

6.3 结果可解释性优先于指标

词云图好看，但只能做初步观察？真正值得沉淀的是文本结论。例如，通过词频统计发现“波导之力”出现次数集中在第 30 到 60 章，说明这一阶段是围绕超梦或路卡利欧的核心剧情；情感曲线在第 70 章出现低谷，可能是主角挫败的章节。这些才是可以写进分析报告的内容。

建议在输出可视化图片的同时，导出按章节词频的 DataFrame，方便定位特定词在哪个章节出现最多。

def word_frequency_by_chapter(chapters, target_word): records = [] for i, chapter in enumerate(chapters): count = chapter.count(target_word) records.append({'章节': i + 1, '次数': count}) return pd.DataFrame(records)

6.4 安全与合规提醒

• 分析的小说文本请使用自己拥有版权或获得授权的材料，不要将他人作品全文上传到公共服务器。
• 生成的分析报告如果包含原文片段，注意引用篇幅，避免过度引用。
• 代码只做本地文本处理，不会联网上传数据，但安装第三方库时要从官方 PyPI 源安装，避免使用未知镜像。

6.5 可扩展方向

本项目目前还是“离线文本分析”。在实际工程中，你还可以从以下方向继续扩展：

• 结合 Flask 或 Streamlit 做一个 Web 版分析工具，上传 txt 后在线生成词云。
• 将角色名、地点、宝可梦名称做成实体识别模型，替代硬编码词典。
• 引入章节相似度计算，找出章节之间的重复片段或伏笔关联。
• 使用 PySpark 处理超大规模语料库，支持批量分析多部小说。

7. 聊到最后的几点经验

这篇文章从“真实之眼”这个概念出发，实际落地了一个可运行的宝可梦同人文文本分析工具。我们实现了自动编码识别、文本清洗、分词、词频统计、词云图和情感趋势分析。整体项目没有使用复杂算法，但已经覆盖了文本挖掘的常见环节。

在运行代码的过程中，你可能会发现分词结果和预期不一致——这太正常了。文本分析本身就是一个反复调整词典和清洗规则的过程。只要能把“看穿”宏观结构这件事做出来，再一步步优化细节，就已经超过了大多数只停留在概念层面的教程。

如果你正在写宝可梦同人，这个工具也可以用来分析自己作品的节奏，比如哪一章的“羁绊”主题词密度过高，哪个角色的戏份被意外压缩。写作本身需要直觉，但数据可以帮助你验证直觉。

最后说一句实在话：分词、词频、情感值这些量化结果，永远只是文本理解的辅助。真正打动读者的，永远是“波导之约生死不离”这样具体的情节设计和人物关系，而不是一张漂亮的词云图。数据分析能帮你回顾和迭代，但创作的核心始终在作者心中。如果本文的代码或思路帮你节省了一点时间，那就值得了。