企业官网建设流程全解析

简介：基于朴素贝叶斯算法实现新闻分类的Python项目源码，用于解决中文新闻文本自动归类问题，主要面向计算机相关专业的期末大作业、课程设计及需要算法实战的初学者。项目覆盖数据清洗、词频统计、模型训练与分类预测全流程，源码经本地编译调试，可稳定运行。压缩包共2000个文件，其中1996个txt为分词与词频数据，3个Python脚本负责URL解析、训练与分类核心逻辑，另有1份README说明目录结构与运行方式，整体13.33MB，便于快速上手。目前已有152人学习浏览，项目系导师指导下的高分作品（评审98分），难度适中，适合作为朴素贝叶斯文本分类任务的参考实现。下载后可对照代码理解先验概率、条件概率计算及平滑处理等细节，也可复用其数据格式扩展其他语料实验。

1. 新闻分类为什么绕不开朴素贝叶斯：先看它解决了什么

做舆情系统时被规则分类折磨过的人，应该能理解这种场景：正则表达式维护了半年，新增一个“某公司宣布…”的句式，又要改一轮规则。换成朴素贝叶斯之后，新闻分类这个项目才真正从“人工写规则”变成“喂数据学概率”。朴素贝叶斯解决的不是花哨的语义理解，而是给你一个低成本、可解释、能上线的文本分类基线。

这篇笔记要讲的是“基于朴素贝叶斯算法解决新闻分类问题”这类项目源码背后的完整落地路径：为什么朴素贝叶斯能扛住中文新闻这种高维稀疏特征，怎么从原始语料一步步得到可复现的模型，alpha、min_df、先验这些参数该怎么设，以及项目上线前后最容易踩的编码、词表、样本不均衡的坑。新手按第 3 章的代码可以跑通第一个模型，熟手可以直接看第 5 章和第 6 章的排查与进阶。

2. 朴素贝叶斯解决新闻分类的原理：三个必须吃透的假设与特征选择

2.1 贝叶斯公式在新闻分类里的真实含义

新闻分类的目标，是给一篇文档 x 找出最可能的类别 y。朴素贝叶斯建模的对象是后验概率 P(y|x)，公式是 P(y|x)=P(x|y)P(y)/P(x)。在实际比较类别时，分母 P(x) 对所有类别都一样，所以只比较分子。P(y) 是类别先验，P(x|y) 是文档在该类别下的似然。这两个量在训练集里都能用频率统计出来，这是朴素贝叶斯区别于深度学习模型最根本的一点：不靠隐层学习表示，而是直接数数。

关键是 P(x|y) 怎么算。如果 x 是整篇文档的词序列，那维度就是所有词组合，估计需要天文数字的样本。朴素贝叶斯做了条件独立假设：给定类别 y 后，每个词的出现概率互不影响。于是 P(x|y)=P(w1|y)P(w2|y)…P(wn|y)。这在中文新闻里显然是假的，“央行”和“降息”不会独立，但分类任务只需要后验概率的相对大小，独立假设产生的偏差只要不改变排序，结果就仍然正确。这也是“朴素”二字的由来。

用例子方便理解：一篇正文里出现“射门”一次、“篮板”一次，如果模型算出 P(篮球|射门)=0.03，P(理财|射门)=0.001，那么后验概率会被这个词拉开几个数量级，类别倾向就很明显。多个词的投票累加后，真实类别的得分通常稳定领先。所以朴素贝叶斯特别适合新闻这种有明显主题词的文本，坑主要出在特征太稀疏和先验失衡。

2.2 多项式朴素贝叶斯为什么是新闻分类的默认选型

scikit-learn 里有 GaussianNB、BernoulliNB、MultinomialNB 三种。GaussianNB 假设特征服从正态分布，适合处理连续数值，比如年龄、收入、传感器值；BernoulliNB 把特征看成二值，只记录词出现与否，适合短文本；MultinomialNB 假设特征服从多项式分布，输入是词频数或 TF-IDF 值，这正好匹配 CountVectorizer 的输出。新闻分类的特征是稀疏词频向量，所以 MultinomialNB 是默认选择，很多教学里常说的黑马朴素贝叶斯案例也是这个组合，核心原因不是因为它最准确，而是因为它在这类输入上数值最稳定。

MultinomialNB 有一个关键参数 alpha，也就是拉普拉斯平滑系数。默认 alpha=1，防止某些未登录词的概率算成零。alpha 越小，模型越贴近训练集；alpha 越大，概率越向均匀分布收缩。在新闻分类项目里见过不少人对 alpha 完全不调，直接用默认值，结果模型对生僻词的响应过于剧烈，线上乱分。后面 3.3 会给出调参代码。

2.3 特征工程：分词、停用词与 TF-IDF 权重

中文分词是绕不开的一步。jieba 的最常用模式是jieba.lcut，返回一个词列表。分词之后要过滤停用词，处理新闻格式词，比如“记者”“编辑”“来源”“点击”这类词在各类别都出现，对分类没有区分度，留着只会增加特征维度。停用词表可以用开源清单，然后自己追加领域词。

要不要上 TF-IDF？我一般先跑 CountVectorizer + MultinomialNB 的基线，再用 TfidfVectorizer 对比。在新闻分类任务里，停用词过滤做干净后，TF-IDF 相对词频的提升通常不到一个点，但 TfidfVectorizer 默认 L2 归一化之后输出非负，能和 MultinomialNB 配合。如果使用 TfidfVectorizer，可以把 sublinear_tf 参数打开，使词频用 1+log(tf) 表示，减轻高频词的压制。这里有一个容易踩的细节：CountVectorizer 和 TfidfVectorizer 都要求输入词已经切好，我习惯用 tokenizer 参数直接把 jieba 接进 pipeline，而不是先分词再拼空格，后者会丢失词边界，并且让词表出现莫名其妙的空格痕迹。

特征维度的控制也很重要。min_df=2 表示至少在 2 篇文档中出现才进入词表，max_df=0.8 表示在超过 80% 文档中出现的词视为无区分度并丢弃。新闻语料里“今天”“最新”这类高频词会被 max_df 过滤，这对分类是好事。如果语料很小，min_df 可以设为 1，但新闻分类语料一般有几万条，min_df=2 能显著减少噪声。

标题和正文的权重问题也常在新闻分类项目里出现。新闻的标题信息密度远高于正文，一个简单的做法是在拼接时把标题重复两次再和正文一起送入模型，相当于给标题词更高计数。朴素贝叶斯对特征计数敏感，这种重复操作在数学上等价于给标题词加大权重，能带来实际提升。不过要注意，如果标题很短，重复两次导致的计数变化不大，反而会拉长序列；常见做法是先跑基线，再决定要不要做标题加权。

2.4 朴素贝叶斯与深度分类模型的取舍：什么时候别选它

朴素贝叶斯不是万能。新闻分类如果涉及复杂语义，比如需要理解“虽然表现不佳，但市场份额仍在增长”这样带转折的句子，朴素贝叶斯只看词袋，无法真正建模否定和转折关系。深度模型如 TextCNN、BERT 更适合这种任务，但它们需要更多标注数据、GPU、更长的调参时间。我的经验是：项目刚启动、需要快速交付时，朴素贝叶斯作为基线；如果业务要求高精度，先用朴素贝叶斯产出数据清洗和评估代码，再切换到深层模型，这比一上来就上 BERT 稳妥。

这个取舍还体现在可解释性上。新闻分类项目会经常被业务方问“为什么这条分到了财经”，朴素贝叶斯可以直接输出每个词的贡献，也就是各个词的对数似然和先验的叠加。深度模型虽然可以靠 SHAP 等工具解释，但解释成本高。对舆情审核这种需要给理由的业务，朴素贝叶斯反而比深度模型更受欢迎。

3. 从零搭一个新闻分类项目：数据准备与最小可用代码

3.1 数据怎么组织：标签和正文两列就够了

常见做法是 CSV。THUCNews、搜狗新闻这类公开数据集通常也提供类别和正文字段，导入后先看分布。我一般会在这一步做一个数据质量检查脚本，代码：

import pandas as pd df = pd.read_csv("news_train.csv", encoding="utf-8") print(df.shape) print(df["label"].value_counts(normalize=True)) print(df["content"].str.len().describe()) df.drop_duplicates(subset=["content"], inplace=True) df = df[df["content"].str.len() > 10] df = df.dropna(subset=["content", "label"]) print(df["label"].value_counts())

逻辑说明：先看类别分布，normalize=True 能直接显示比例；再统计正文长度，如果最短长度只有几个字符，大概率是标题或残缺页。去重是必须的，爬虫数据经常有完全一样的拼接。删除长度太短的样本，避免模型学到无意义标签。最后再看一次分布，如果某一类占比超过 70%，要决定是下采样还是用后面提到的先验控制。

3.2 用 jieba 分词和 Pipeline 跑通最小模型

模型代码之前，先加载停用词：

stop_words = set() with open("stopwords.txt", encoding="utf-8") as f: for line in f: w = line.strip() if w: stop_words.add(w)

注意：停用词文件一行一个词，编码用 utf-8；如果文件是 GBK，读取时会报 UnicodeDecodeError，这就是后面避坑章节要讲的编码问题。

然后定义分词器和 Pipeline：

import jieba def chinese_tokenizer(text): return [w for w in jieba.lcut(text) if w.strip() and len(w) > 1]

这里用len(w) > 1过滤单字。新闻分类里单字多数是“的”“了”“在”，停用词未必覆盖干净，直接在分词器里过滤比在停用词表里维护更高效。

from sklearn.feature_extraction.text import CountVectorizer from sklearn.naive_bayes import MultinomialNB from sklearn.pipeline import Pipeline from sklearn.model_selection import train_test_split pipeline = Pipeline([ ("vectorize", CountVectorizer(tokenizer=chinese_tokenizer, stop_words=stop_words, min_df=2, max_df=0.8)), ("clf", MultinomialNB(alpha=0.3)), ]) X_train, X_test, y_train, y_test = train_test_split( df["content"], df["label"], test_size=0.2, random_state=42, stratify=df["label"] ) pipeline.fit(X_train, y_train) print("accuracy:", pipeline.score(X_test, y_test))

代码逻辑：CountVectorizer的 tokenizer 参数决定如何把一段文本拆成词。stop_words在向量器内部做集合过滤。min_df和max_df控制词表规模。MultinomialNB接收词频矩阵，alpha=0.3 是初选值。Pipeline 的价值在于 fit 过程中同时训练向量器和分类器，预测时也自动使用同一个词表，不会出现词表不一致的问题。这是这类新闻分类项目源码里最核心的一段，后续所有调优都在这个 Pipeline 上叠加。

3.3 参数设多少：alpha、fit_prior 与 class_prior 的选择

调 alpha 我一般用网格搜索，而不是手动试一两个值：

from sklearn.model_selection import GridSearchCV param_grid = { "vectorize__min_df": [1, 2, 3], "vectorize__max_df": [0.6, 0.8, 1.0], "clf__alpha": [0.01, 0.1, 0.3, 1.0], } gs = GridSearchCV(pipeline, param_grid, cv=3, scoring="f1_macro", n_jobs=-1) gs.fit(X_train, y_train) print(gs.best_params_)

这里必须注意参数名写法：Pipeline 里的步名和参数名之间用双下划线__连接，比如vectorize__min_df和clf__alpha。如果少写一个下划线，sklearn 会直接报 Invalid parameter。scoring="f1_macro"是为了在多分类且类别不均衡时，不把准确率当作唯一调优目标。

fit_prior 参数控制是否从训练集学习类别先验。默认 True。如果你的训练样本经过人工平衡，各类别比例相差不大，fit_prior 影响不大；如果采集的原始数据里财经类占了 70%，fit_prior=True 会让模型更偏向财经，这时要么重新采样，要么设置 fit_prior=False。class_prior 则是手动传入先验，比如你想让模型按照某个目标分布进行预测，可以直接传列表。但多数新闻分类项目里，最省事的还是设 fit_prior=True 并保证训练集分布接近真实分布。

4. 评估与调优：混淆矩阵、日志损失与阈值移动

4.1 用混淆矩阵看新闻分类的真实错误

模型跑通之后，先别急着看准确率。打印分类报告和混淆矩阵：

from sklearn.metrics import classification_report, confusion_matrix import pandas as pd y_pred = pipeline.predict(X_test) print(classification_report(y_test, y_pred, target_names=pipeline.classes_)) cm = pd.DataFrame(confusion_matrix(y_test, y_pred), index=pipeline.classes_, columns=pipeline.classes_) print(cm)

说明：只看准确率不够。新闻分类里“体育”和“娱乐”经常互相混，因为很多娱乐新闻写的是明星综艺，而体育新闻也大量出现人名。混淆矩阵能告诉你哪些类别互相踩踏。如果发现财经和房产混在一起，可以考虑在特征工程中把“房产”类训练语料里出现的高频词单独检查。

分类报告里的 macro F1 比 accuracy 更有参考价值。macro F1 是每个类别的 F1 取平均，如果某些小类被吃掉，macro F1 会明显下跌。我在项目里会同时看 weighted F1，后者按样本量加权，更接近业务真实体感。

4.2 调优顺序：先调特征，再调参数，最后调阈值

我的调优顺序是固定的：第一，调特征，包括分词粒度、停用词、n_gram 范围、min_df/max_df；第二，调朴素贝叶斯参数 alpha；第三，如果业务允许，调阈值。不要一上来就 GridSearch 全部参数，否则跑一次要很久，还不一定知道为什么变好。

代码示例（调 n_gram 和 alpha）：

from sklearn.model_selection import cross_val_score for ngram in [(1, 1), (1, 2), (2, 2)]: for alpha in [0.1, 0.3, 1.0]: p = Pipeline([ ("vectorize", CountVectorizer(tokenizer=chinese_tokenizer, ngram_range=ngram, min_df=2, max_df=0.8)), ("clf", MultinomialNB(alpha=alpha)), ]) scores = cross_val_score(p, X_train, y_train, cv=3, scoring="f1_macro") print(ngram, alpha, scores.mean())

说明：ngram_range=(1,1) 是纯 unigram，(1,2) 会同时生成单个词和相邻两词组合。bigram 在新闻分类里通常能提升 1-2 个点，但词表体积变大，训练和预测都会变慢。如果项目部署在低配置服务器上，可以只在内存够的时候开。(2,2) 只保留相邻词二元组，在很多新闻场景里会丢失高频单字的主题信息，我很少单独用。

阈值移动：新闻分类业务上经常要求“宁可让人工看，也不要分错”。这时用 predict_proba：

proba = pipeline.predict_proba(X_test) confidence = proba.max(axis=1) low_conf = confidence < 0.7

把置信度低于 0.7 的样本标记为“待人工审核”，而不是强行给类别。对朴素贝叶斯来说，这比直接调参更实用，因为多项式贝叶斯给出的概率绝对值本来就有偏向，阈值 0.7 需要根据自己数据分布来调。运营团队可以接受一页低置信度列表，但不能接受把新闻分到完全无关的类别里。

4.3 多分类指标的取舍：log_loss 与宏平均

有时候团队会要求看 log_loss，也就是对数损失，衡量预测概率和真实标签之间的误差。朴素贝叶斯在这个指标上通常很难看，因为它给出的概率分布非常尖锐，不是经过校准的概率。但这不代表分类效果差，因为业务只要排序，score 用于阈值判断，不需要和真实概率完全一致。我一般只在更换模型时才看 log_loss，日常调优用 macro F1 和混淆矩阵就够了。

还要警惕一种情况：准确率和 macro F1 差距很大。如果准确率 90%，macro F1 只有 60%，说明大类表现好，小类几乎报废。这时候先去解决样本不均衡，而不是继续加 bigram。

5. 新闻分类项目的避坑与常见问题排查

5.1 中文编码乱码导致数据和模型全废

现象：读 CSV 后 DataFrame 里的 content 全是乱码，分词结果出现一堆“锟斤拷”，模型准确率只有 10%。 原因：Windows 下导出的 CSV 常见 GBK 编码，而 pandas 默认按 utf-8 读取，编码错位后文本不可逆。 解决：读入时显式指定编码，先试 utf-8，再试 gbk、gb18030：

df = pd.read_csv("news_train.csv", encoding="gb18030")

我用 gb18030 而不是 gbk，因为 gb18030 是 GBK 的超集，遇到生僻字不会直接断掉。数据落地时统一转成 utf-8 保存，后续所有环节不再猜测编码。这个坑在新闻爬虫数据里出现频率极高，因为很多新闻网站的旧页面用的是 GB2312。

5.2 训练集和预测集词表不一致

现象：模型训练时一切正常，部署预测时直接抛错，提示 “number of features of the input is not consistent with the training”。 原因：很多项目源码把 CountVectorizer 和分类器分开保存，预测时重新建立了一个 CountVectorizer，词表当然对不上；或者只保存了分类器，没有保存向量器。 解决：始终把 CountVectorizer 和 MultinomialNB 放进同一个 Pipeline，整个保存和加载。预测时调用 pipeline.predict，不要单独去 transform。如果因为历史原因已经拆开了，用vectorizer.get_feature_names_out()检查新旧词表长度，再补上缺失词。

5.3 alpha 设得太大导致概率分布被抹平

现象：某个新闻类别召回率特别低，预测结果几乎都集中在样本数量最多的类别。 原因：alpha=1 是默认值，问题不大；但有些人为了“平滑”把 alpha 设到 10 甚至 100，词频统计被拉向均匀分布，类别之间的差异变小，后验主要由先验决定，自然偏向大类。 解决：用交叉验证调 alpha，别手动拍脑袋。另外用predict_proba查看置信度均值，alpha 过大时大量样本的最高置信度都会在 0.5 以下，这时候模型已经趋于“什么都不能确定”。

5.4 样本不均衡让先验失真

现象：训练集里财经类 5 万篇，科技类 3 千篇，整体准确率 88%，但科技类 recall 只有 20%。 原因：MultinomialNB 的类别先验 P(y) 从训练集里学，大类天然占便宜。后验概率计算时，所有词贡献的似然都要乘上这个偏斜的先验，小类别很难翻盘。 解决：先去重和下采样，如果类别数量差异超过 5 倍，对大类做欠采样或者对小类做轻度过采样；业务上不允许改分布时，把fit_prior=False，或者用class_prior手动指定目标分布。注意，改先验后整体准确率不一定会涨，但小类别的召回会明显改善。

5.5 只看准确率，忽略混淆矩阵里的相邻类别

现象：测试集准确率 90%，上线后运营反馈某个分类完全不可用，翻出混淆矩阵才发现“娱乐”和“体育”几乎分不清。 原因：准确率是一个宏观指标，类别不均衡时它被大样本类别绑架。新闻分类里相邻类别在词层面高度重叠，比如娱乐新闻也会提“球队”“比赛”，光看准确率完全感知不到。 解决：每次训练完打印 classification_report，再输出混淆矩阵。调优期间以 macro F1 为排序指标，而不是 accuracy。我给自己定过一条规矩：任何模型想上线，至少要保证最差的那个类别 recall 不低于 50%，否则不发布。

6. 进阶：把朴素贝叶斯模型做成可复用的新闻分类模块

最后要说的是怎么把上面的源码固化成一个可以反复用的模块。不要停留在一个 notebook 里。一个常见做法是写一个NewsClassifier类，把训练、评估、保存、预测包起来。

import joblib class NewsClassifier: def __init__(self, alpha=0.3, min_df=2, max_df=0.8): self.pipeline = Pipeline([ ("vectorize", CountVectorizer(tokenizer=chinese_tokenizer, min_df=min_df, max_df=max_df)), ("clf", MultinomialNB(alpha=alpha)), ]) def fit(self, X, y): self.pipeline.fit(X, y) return self def predict(self, X, threshold=None): if threshold is None: return self.pipeline.predict(X) proba = self.pipeline.predict_proba(X) conf = proba.max(axis=1) preds = self.pipeline.classes_[proba.argmax(axis=1)] return [p if c >= threshold else None for p, c in zip(preds, conf)] def save(self, path): joblib.dump(self.pipeline, path) @classmethod def load(cls, path): obj = cls() obj.pipeline = joblib.load(path) return obj

说明：threshold 参数可以直接返回 None 表示待人工审核，这在舆情系统里非常实用。joblib.dump 保存的是整个 Pipeline，里面已经包含训练好的词表，下次 load 后直接 predict，不会再出现特征数不匹配的问题。

两个值得写进模块的进阶玩法是增量训练和时间切分验证。增量训练方面，MultinomialNB 的partial_fit理论上可以更新模型，但词表必须在第一次就固定，否则新词会改变特征维度，旧模型失效，所以只在词表稳定的场景用，否则还是每天重训。时间切分验证方面，新闻有强时效性，如果随机打乱切分训练测试集，等于让模型在测试集里看到未来新闻，指标虚高。我早期在这里吃过亏，后来改成按发布时间排序，前 80% 时间做训练，后 20% 做验证，这个习惯一直保留。

朴素贝叶斯不是黑匣子，它的参数就那么几个，概率输出也很容易反推。做新闻分类项目时，先把这套最小模块跑起来，再决定是否上深度学习，会比直接堆模型省下大量时间。希望帮到你。

本文还有配套的精品资源，点击获取