企业官网建设流程全解析

简介：面向计算机相关专业毕业生、课程设计学生及希望积累项目经验的 Python 学习者，该毕业设计项目聚焦微博舆情分析场景，利用 NLP 技术完成数据采集、文本清洗、情感判断与结果可视化，可直接作为毕业设计或期末大作业的完整参考。项目源码经过导师指导并获 99 分，代码结构完整、可运行；压缩包共 223 个文件，大小约 53.54MB，包含大量 gif 动态演示、mp4 操作录屏、png/jpg 界面截图，以及 CSS/JS 前端静态资源、Java/JSP/XML 后端逻辑文件、数据库配置与说明文档，从界面样式到业务处理均有覆盖，便于对照学习。资源已有 66 人学习，数据资料齐全，可帮助读者快速理解舆情分析系统的模块划分、实现流程与排错思路，适合在短时间内完成环境搭建、功能复现与二次开发，并便于快速定位问题。

1. 微博舆情分析系统的“高分”出在哪：不止是跑通一个NLP脚本

看到“Python基于NLP的微博舆情分析系统源码+全部数据资料（高分毕设）”这个标题，先别把它当成又一个跑一遍就完事的算法 demo。这类项目的实际工作量，大约七成不在情感分析模型本身，而在从微博公开页面稳定地拿到数据、把口语化文本清洗成模型能吃的干净语料，再把这些结果组织成一个能演示、能答辩、能讲清参数的系统。受众也不是单一角色：正在找毕设题目的学生看的是完整链路怎么落地，入门 NLP 的工程师看的是任务拆解和代码组织，负责指导项目的人则想确认每个环节有没有可验证的记录。下面按数据采集、中文 NLP 建模、可视化展示和验收归档四段展开，穿插可以直接套用的代码与参数。

2. 从爬虫到数据集：微博舆情分析的数据获取与合规落库

2.1 公开搜索接口与页面解析：先定数据源

微博舆情分析的第一步是拿到底层语料。常见的做法是抓取m.weibo.cn移动端搜索接口，它在浏览器登录状态下会返回结构化 JSON，比解析 PC 端 HTML 稳定得多。需要提醒的是，爬取行为应当遵守网站服务条款与 robots 约定，仅采集公开可见内容、控制请求频率，数据脱敏后只用于学习研究，不要把账号 Cookie 或完整用户信息写进开源代码。

import requests import time import random from typing import List, Dict HEADERS = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36", "Referer": "https://m.weibo.cn/", "Cookie": "YOUR_COOKIE_VALUE" # 浏览器登录后复制，切勿提交到公开仓库 } def fetch_weibo_by_keyword(keyword: str, max_page: int = 5) -> List[Dict]: results = [] for page in range(1, max_page + 1): url = "https://m.weibo.cn/api/container/getIndex" params = { "containerid": f"100103type=1&q={keyword}", "page_type": "searchall", "page": page, } resp = requests.get(url, headers=HEADERS, params=params, timeout=10) cards = resp.json().get("data", {}).get("cards", []) for card in cards: if card.get("card_type") == 9: results.append(card["mblog"]) time.sleep(random.uniform(2, 5)) # 随机停顿，降低服务端压力 return results

这段代码把搜索关键词拼进containerid，翻页参数由page控制。card_type == 9对应正文微博卡片，card["mblog"]里已经带着完整字段，无需正则抠取 HTML。随机sleep的作用是模拟人工浏览节奏，避免固定频率触发风控；这个参数在毕业设计里不是装饰，答辩时会被追问。

2.2 字段规整与 pandas 清洗：留下建模真正要用的列

mblog返回的字段很多，但舆情分析真正需要的不过几类：文本内容、发布时间、互动数值、来源设备、话题标签。常见错误是一股脑全存，后面做 DataFrame 时到处astype报错。我一般在采集层就做裁剪，只保留下表字段：

import pandas as pd import re def clean_field(raw: dict) -> dict: text_html = raw.get("text", "") topic = re.findall(r"#([^#]+)#", text_html) return { "id": raw["id"], "created_at": pd.to_datetime(raw["created_at"], format="%a %b %d %H:%M:%S %z %Y", errors="coerce"), "text": re.sub(r"<[^>]+>", "", text_html), # 去掉段落与超链接标签 "reposts_count": int(raw.get("reposts_count", 0)), "comments_count": int(raw.get("comments_count", 0)), "attitudes_count": int(raw.get("attitudes_count", 0)), "source": raw.get("source", ""), "topic": "|".join(topic[:3]) if topic else "", } def build_dataset(raw_list) -> pd.DataFrame: df = pd.DataFrame([clean_field(r) for r in raw_list]) df = df.drop_duplicates(subset="id").reset_index(drop=True) df = df[df["text"].str.len() > 5] # 去掉纯图片或无意义短文本 return df

清洗逻辑里最容易被忽略的是created_at的格式，微博返回的英文星期格式需要对应解析模板。去掉 HTML 标签后再做长度过滤，可以剔除大量“转发微博”搬运产生的空壳内容。

2.3 存储选型：MySQL 表结构与 MongoDB 备选

采集量在十万条以下时，MySQL 够用且便于答辩讲解 SQL 查询。建表时把互动数值设置为INT UNSIGNED，正文用TEXT，时间字段加索引，后续做舆情时间线聚合会快很多。

CREATE TABLE weibo_posts ( id VARCHAR(32) PRIMARY KEY, created_at DATETIME NOT NULL, text TEXT NOT NULL, reposts_count INT UNSIGNED DEFAULT 0, comments_count INT UNSIGNED DEFAULT 0, attitudes_count INT UNSIGNED DEFAULT 0, source VARCHAR(64) DEFAULT '', topic VARCHAR(255) DEFAULT '', sentiment TINYINT DEFAULT -1, -- -1 未标注，0 负面，1 中性，2 正面 INDEX idx_created (created_at), INDEX idx_topic (topic) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

如果后续要做更多字段扩展，比如存储评论列表、转发关系图，MongoDB 的文档模型更适合，不需要预先定义复杂的关联表。多数毕设场景下，MySQL 加pymysql就够了；想在架构说明里体现选型差异，可以把 MongoDB 作为“数据量上升后的演进方案”写进对比段落。

3. NLP 预处理与情感分析：从中文分词到模型评估

3.1 微博语料的清洗与分词：emoji、@ 用户与网络新词

3.1.1 清洗规则要按微博句式叠写

通用分词教程里的清洗规则，放到微博语料上常常不够用。微博正文包含话题符#...#、@ 用户、短链接、emoji 占位符和“笑哭”等平台表情，这些对情感判定都是噪音。清洗时我会依次做四步正则替换，顺序不能乱。

import re import jieba def clean_for_nlp(text: str) -> str: text = re.sub(r"https?://\S+", "", text) # 1. 先移除短链接 text = re.sub(r"#([^#]+)#", r"\1", text) # 2. 话题词去 # 保留内容 text = re.sub(r"@[\w\u4e00-\u9fa5-]+", "", text) # 3. 删除 @ 用户名 text = re.sub(r"\[[^\]]+\]", "", text) # 4. 去掉 [哈哈] 这类表情占位符 return text.strip()

先删链接再处理话题，是因为微博短链接经常被包在话题文案后方，顺序反了会留下http: 话题这类脏片段。@用户名的正则中，\w可以覆盖数字、字母和下划线，配合[\u4e00-\u9fa5]才能完整匹配中英文混写的账号。

3.1.2 自定义词典让 jieba 认识“绝绝子”

分词模型对“绝绝子、无语子、栓Q、破防”这类高频网络词切分很差，要么切成单字，要么拆成无意义词。解决方案是维护一个自定义词典，在jieba初始化时加载。

# weibo_dict.txt 示例格式：词语 词频 词性 # 绝绝子 50 nz # 无语子 60 nz # 破大防 30 v jieba.load_userdict("weibo_dict.txt") cut_words = jieba.lcut(clean_for_nlp("这也太绝绝子了吧")) print(cut_words) # 输出类似：['也', '太', '绝绝子', '了', '吧']

自定义词典的三列分别表示词语、词频和词性，词频用于影响切分优先级。越罕见的网络新词，词频数字越要设置得比默认值高，否则jieba仍会按隐马尔可夫模型猜词。每次新增一批语料，我建议先跑一次jieba.lcut抽样检查切分结果，再补充词典。

3.2 情感判定：词典法、机器学习与预训练模型的取舍

3.2.1 词典法先跑一个 baseline

没有标注数据时，最务实的方案是情感词典加权。把文本切成词后，与 BosonNLP 情感词典或知网 HowNet 词典匹配，正面词加 1 分，负面词减 1 分，否定词翻转后一分。优点是零训练成本，缺点是微博新词覆盖率低，且无法处理复杂语境。

3.2.2 有监督学习：TF-IDF 加逻辑回归的典型参数

要拿高分，通常还是得走有监督学习。先人工标注约 800 条语料为负面、中性、正面三类，然后构造 TF-IDF 特征，用逻辑回归做分类。这个组合在中文短文本上速度快，且每个特征对应的权重可以直接导出，答辩讲可解释性时很好用。

from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.linear_model import LogisticRegression from sklearn.pipeline import make_pipeline from sklearn.model_selection import train_test_split from sklearn.metrics import classification_report texts = df["clean_text"].tolist() labels = df["sentiment"].tolist() # 0 负面，1 中性，2 正面 X_train, X_test, y_train, y_test = train_test_split( texts, labels, test_size=0.2, random_state=42, stratify=labels ) model = make_pipeline( TfidfVectorizer(max_features=20000, ngram_range=(1, 2)), LogisticRegression(max_iter=1000, C=1.0, class_weight="balanced") ) model.fit(X_train, y_train) print(classification_report(y_test, model.predict(X_test)))

max_features=20000控制特征维度，防止垃圾词干扰；ngram_range=(1, 2)把“不/惊艳”组合成“不惊艳”这类二元特征，对否定表达很关键。class_weight="balanced"则在三类样本数量不均衡时自动放大少数类权重。若训练后负面类 F1 明显偏低，优先检查这一项。

3.2.3 预训练模型到底要不要上

BERT 类模型在情感分析上效果更强，但微博舆情项目的数据量通常只有几千条，直接微调预训练模型容易过拟合。我一般建议把 BERT 作为对比实验而不是主模型：主模型用 TF-IDF 加逻辑回归保证结果稳定，再用 BERT 微调跑一组实验，证明“如果标注数据增加到 3000 条以上，深度模型准确率还能再涨 5 个百分点左右”。这类梯度型实验安排，比单一模型堆精度更接近高分答辩的逻辑。

3.3 模型评估与可解释性：不能只看准确率

三类情感任务里，类别分布往往偏向中性，准确率容易被大量中性样本抬高。所以评估指标要同时看宏平均 F1 和每类的 precision、recall，并观察混淆矩阵中负面与中性之间互相误判的情况。

from sklearn.metrics import confusion_matrix, ConfusionMatrixDisplay import matplotlib.pyplot as plt cm = confusion_matrix(y_test, model.predict(X_test)) ConfusionMatrixDisplay(cm, display_labels=["负面", "中性", "正面"]).plot() plt.savefig("confusion_matrix.png", dpi=150, bbox_inches="tight")

混淆矩阵图在毕业设计论文里几乎是必须的。看输出时重点关注负面类有多少被分到中性，那代表舆情预警的漏报率。若漏报多，可以在训练数据里增加负面语料比例，或者调整逻辑回归的class_weight，而不是盲目调大max_iter。

4. Flask 与 ECharts 搭建舆情看板：热度曲线、情感占比与词云

4.1 舆情指标定义：热度、情感倾向与预警阈值

模型输出只是整数标签，系统里要展示的却是趋势。我一般把三个指标作为核心：舆情热度、情感指数和负面占比。

舆情热度采用加权归一化方式，转发、评论、点赞按 3:2:1 加权，再除以当前时段的最大值压到 0 到 100 区间。情感指数则按负面、中性、正面分别取值 20、60、90，再按条数加权平均。负面占比是当日负面微博数占当日总量比例，超过预设阈值比如 30% 时在界面上给出预警标记。

4.2 Flask 数据接口与指标聚合

后端我用 Flask 提供一份聚合接口，前端 ECharts 直接拉取 JSON 绘制。聚合逻辑放在 SQL 层还是 Python 层？数据量小时用 pandas 更方便，因为可以边调边看。

from flask import Flask, jsonify import pandas as pd app = Flask(__name__) @app.route("/api/overview") def overview(): df = load_processed_data() # 读入清洗后的 DataFrame df["date"] = df["created_at"].dt.date daily = df.groupby("date").agg( count=("id", "count"), neg_ratio=("sentiment", lambda s: (s == 0).mean()), heat=("heat_score", "mean") ).reset_index() return jsonify(daily.to_dict(orient="records")) if __name__ == "__main__": app.run(host="0.0.0.0", port=8000, debug=True)

heat_score在入库时就算好，避免每次接口请求重新计算一遍。neg_ratio直接取均值是因为情感标签里 0 表示负面，mean()等价于负面占比。这个接口返回的是按天聚合的数组，前端可以少做一层数据加工。

4.3 ECharts 看板渲染：时间序列、占比与词云

前端页面我采用单页容器，左侧放情感占比环形图，右侧放热度趋势折线图，底部放词云。ECharts 的series数据结构与 Flask 返回的 JSON 高度对齐，几乎不需要二次遍历。

fetch("/api/overview") .then(res => res.json()) .then(data => { const dates = data.map(d => d.date); const heat = data.map(d => d.heat); const chart = echarts.init(document.getElementById("trend")); chart.setOption({ tooltip: { trigger: "axis" }, xAxis: { type: "category", data: dates }, yAxis: { type: "value", name: "热度指数" }, series: [{ type: "line", data: heat, areaStyle: {} }] }); });

词云使用echarts-wordcloud插件，词语频率直接用jieba分词的统计结果。需要提醒的是，默认词云组件会保留“我们、觉得、今天”这类高频但无语义词，必须在传入前端前用停用词表过滤，否则词云图会大篇幅出现虚词。

5. 答辩前的最后一公里：验证实验、环境锁定与资料归档

5.1 三组对比实验让“高分”可论证

毕设项目的评价往往来自你如何证明“我做的方案合理”。我建议把实验设计成三组：词典法作为最低基线，TF-IDF 加逻辑回归作为主方案，BERT 微调作为上限参照。整理实验时要记录训练样本量、是否调参、运行时长等信息，做成一张结果表。

5.2 python 环境安装与依赖锁定：保证复现

答辩机器上重新跑通是刚需，环境问题经常毁掉演示。python 环境安装完成后，用requirements.txt锁住依赖比口头说明“我本地跑得好好的”更有说服力。常见做法是导出全量包列表后手动删掉不需要的传递依赖，避免体积过大。

pip freeze > requirements.txt python -m venv venv source venv/bin/activate pip install -r requirements.txt

requirements.txt里应直接锁定主依赖的版本下限，例如pandas>=1.5,<3.0，同时把jieba、scikit-learn、flask、pymysql全部列入。README 中写清 Python 大版本要求比逐条解释依赖更重要，因为jieba和pandas在不同 Python 版本下的轮子差异会影响安装体验。

5.3 源码与数据资料的归档规范

交付时不要把所有文件堆在根目录。“全部数据资料”的卖点在于组织清晰，我将目录按如下结构归档：

weibo-sentiment-analysis/ ├── data/ │ ├── raw/ # 采集原始 JSON │ └── processed/ # 清洗标注后 CSV ├── src/ │ ├── crawler/ # 采集与入库 │ ├── nlp/ # Bert │ ├── web/ # Flask 服务 │ └── evaluate/ # 模型评估脚本 ├── docs/ │ ├── 开题报告.md │ ├── 需求分析.md │ └── 答辩PPT大纲.md ├── requirements.txt └── README.md

README.md里除了运行命令，还要写明数据字段说明、标注规则和模型输出格式。答辩前把采集、清洗、建模、可视化每一步对应到上述目录的具体文件和运行结果截图，按顺序贴进验收清单，能省掉大半“你怎么证明你做了”的追问。

本文还有配套的精品资源，点击获取