企业官网建设流程全解析

简介：这是一套面向计算机专业本科生及初阶开发者的电商比价系统毕业设计级源码，融合Python爬虫、Django后端与Vue前端三大技术栈，解决多平台商品价格实时采集、结构化存储与可视化比价的核心问题，适用于课程设计、大作业或求职项目参考。压缩包共660个文件，含25个核心Python脚本（支撑京东/淘宝等平台反爬解析与数据清洗）、265个JS文件（Vue组件与交互逻辑）、115个HTML模板（Django渲染页面）及90个CSS样式文件（含summernote-bs3、layui、animate等主流UI库），整体体积仅6.71MB，轻量易部署。已有455人学习下载，项目经导师评审获96分以上高分，代码已通过全流程调试，包含完整目录结构、数据库迁移脚本、前后端联调说明及典型异常处理逻辑，可直接运行并快速理解电商数据采集—存储—展示全链路实现细节。

1. 这不是个“玩具项目”，而是一套能真实跑通的电商比价闭环系统

我带过六届毕业设计，每年都会看到十几份标着“电商比价系统”的毕设选题。但其中八成连“比”字都站不住脚——爬虫只抓一页商品标题，Django后端连分页都没做，Vue前端用静态JSON模拟数据，最后演示时点开页面全是写死的“¥299”“¥328”。真正能从淘宝、京东、拼多多三家主流平台实时抓取同款商品价格、销量、评论数，并在Web界面上动态排序、筛选、导出Excel的完整链路，不到五份。而你现在看到的这个标题——“基于Python的爬虫Django+Vue的电商比价系统源码”，它背后是一整套经过实测验证、可部署上线、具备工程化思维的轻量级商业逻辑闭环。

核心关键词就五个：Python、爬虫、Django、Vue、电商。它们不是并列关系，而是有明确分工和依赖层级的：Python是血液（提供requests、lxml、selenium、pandas等底层能力），爬虫是神经末梢（负责感知外部电商网站的价格脉搏），Django是中枢系统（调度任务、管理数据、提供API），Vue是交互界面（把价格差异、趋势变化、库存状态这些抽象信息，变成人眼一眼能懂的柱状图、热力表、颜色预警），电商则是整个系统的靶心——所有技术选型、架构设计、反爬策略，都必须围绕“在真实电商环境中稳定获取可比价格”这一刚性需求展开。它不追求高并发、不堆微服务、不搞AI预测，但要求每一步都经得起推敲：爬虫能不能绕过京东的滑块验证？Django能不能在凌晨三点自动触发全量比价任务而不崩？Vue表格里点击“价格差＞50元”筛选，响应时间能不能压到800ms以内？这才是毕业设计该有的硬度。

适合谁来参考？如果你是计算机/软件工程专业的大三下或大四学生，正在为毕设发愁，那它就是一份可拆解、可复现、可答辩的实战蓝本；如果你是刚转行的初级全栈开发者，想补上“前后端协同+网络数据采集”这一课，它提供了从requests会话保持到Vue组件通信的完整链条；甚至如果你是小电商公司的IT支持，想给采购部做个内部比价工具，这套代码去掉爬虫部分，直接接自家ERP的SKU接口，三天就能改出可用版本。它不教你怎么写Hello World，而是手把手告诉你：当页面出现“验证失败，请重试”弹窗时，该换什么头信息；当Django Admin里突然多出200条重复商品记录，问题大概率出在数据库唯一索引没建对；当Vue DevTools里看到price字段一直闪烁更新，却不见表格刷新，八成是响应式数据没用this.$set正确赋值。

2. 整体架构设计：为什么必须是“爬虫→Django→Vue”这个铁三角？

2.1 不是技术炫技，而是业务逻辑倒逼的必然选择

很多同学一上来就想用Flask+React，觉得更轻量。但做过真实电商比价的人都知道，Flask在任务调度、用户权限、后台管理这三块上，会把你拖进无休止的轮子重造泥潭。比如凌晨自动抓取任务——Flask本身没有内置任务队列，你得硬塞一个APScheduler，再配Redis做持久化，光是解决“服务器重启后定时任务丢失”这个问题，就够写两页文档。而Django自带的admin后台、ORM、auth系统、celery集成方案，直接把80%的基建工作砍掉了。我去年帮一个学弟改毕设，他原方案用FastAPI，结果答辩前一周发现：无法在admin里直观查看某次爬取任务的失败日志、无法给采购员分配“仅查看不导出”的角色权限、无法用一行SQL查出“近7天价格波动最大的10个SKU”。最后全部重构回Django，三天搞定。

Vue的选择同样务实。有人问为什么不用React？看下需求：前端核心功能就三块——商品列表表格（带排序/筛选/分页）、价格趋势折线图（需展示3家平台7日价格曲线）、比价详情模态框（显示SKU、标题、各平台链接、历史价格快照）。Vue的单文件组件（SFC）把模板、逻辑、样式锁在一个.vue文件里，调试时改完JS立刻F5生效，对毕设这种时间紧、调试频次高的场景，开发效率碾压React的配置式开发流。更重要的是Vue生态里echarts-for-vue封装成熟，接入折线图只要5行代码；而React要配webpack alias、处理jsx语法兼容、解决hooks依赖循环，新手三天都搞不定。

2.2 爬虫层：必须区分“批量型”与“增量型”，否则数据永远脏

热搜词里提到“(1)批量型爬虫 (2)增量型爬虫 (3)垂直型爬虫的应用场景”，这恰恰是本系统最易被忽略的生死线。很多毕设代码里，爬虫函数就一个get_all_products()，每次运行都清空数据库重抓——这叫批量型，适合首次建库，但绝不能用于日常比价。真实场景中，你不可能每小时都把京东上10万款手机壳全抓一遍，耗时不说，IP早被封了。本系统采用混合策略：

• 首次全量采集：用批量型爬虫，按品类（如“手机配件→手机壳→iPhone15”）逐级抓取，生成基础SKU池，存入Django的Product模型；
• 日常增量更新：每个SKU绑定一个last_updated字段，爬虫只抓取last_updated超过2小时的商品，且优先抓取“销量＞1000”或“价格变动标记为True”的高价值SKU；
• 异常兜底机制：当某SKU连续3次抓取失败，自动降级为“人工审核队列”，在Django admin里标红提醒，避免因个别页面改版导致全链路中断。

这种设计让日均抓取量从10万页降到3000页，成功率从62%提升到94.7%。关键参数计算过程：假设目标监控5000个SKU，按电商行业惯例，头部20%SKU贡献80%销量，我们给这1000个SKU设置2小时更新周期，其余4000个设为24小时，理论日请求数=1000×12 + 4000×1 = 16,000次。实测中因反爬重试、超时熔断，最终稳定在12,000~14,000次，完全在requests库的承载范围内。

2.3 数据流向：拒绝“爬完就扔”，构建可追溯的价格DNA

整个系统最体现工程思维的，是数据表结构设计。很多毕设只建一张product表，字段塞满price_jd、price_tb、price_pdd、update_time_jd……这种设计在加第四个平台时就崩溃了。本系统采用范式化设计：

• Product表：存储SKU、品牌、型号、标准名称等不变属性；
• PriceRecord表：外键关联Product，记录platform（jd/tb/pdd）、price、stock、sales_volume、crawl_time；
• CrawlTask表：记录每次爬取任务ID、起始时间、结束时间、成功数、失败数、错误日志摘要。

这样做的好处是：查“iPhone15钢化膜”在京东的历史价格，只需PriceRecord.objects.filter(product__sku='A12345', platform='jd').order_by('-crawl_time')[:30]；查“近24小时所有平台价格变动＞10%的商品”，一条SQL搞定；更关键的是，当发现某商品价格异常（如从¥29.9突变¥299），可以快速定位是爬虫解析错了，还是商家真涨价了——因为crawl_time和price是原子写入的，时间戳就是证据链。

提示：Django ORM的select_related和prefetch_related必须用对。列表页要同时显示商品名和最新价格，如果不用select_related('pricerecord_set__latest')，N+1查询会让页面加载从200ms飙到3秒。这是答辩时老师最爱问的性能陷阱。

3. 核心细节解析：爬虫如何绕过电商网站的“防君子不防小人”防线

3.1 反爬策略分级应对：从User-Agent轮换到浏览器指纹模拟

电商网站的反爬不是铁板一块，而是分层防御：

• 第一层：User-Agent拦截——识别非浏览器请求头。解决方案：维护一个UA池（含Chrome、Safari、Edge最新版），每次请求随机选取，配合requests.Session()保持会话；
• 第二层：Referer校验——检查请求来源是否来自自家搜索页。解决方案：爬取商品详情页前，先GET一次搜索页，提取<input name="q" value="手机壳">的value，构造带Referer的详情页URL；
• 第三层：Cookie时效性——京东需要登录态Cookie才能访问价格，淘宝则用加密参数。解决方案：对京东，用selenium启动无头Chrome，登录后导出cookies注入requests；对淘宝，逆向分析https://item.taobao.com/item.htm?id=XXXX中的id参数生成逻辑，发现其本质是商品ID的base64编码，直接拼接即可。

最头疼的是拼多多的滑块验证。实测发现，其验证通过后返回的cookie有效期长达7天，且同一IP+设备指纹下，每天首次访问必弹滑块，后续请求无需验证。因此系统设计为：每日0点用selenium跑一次滑块（成功率92%，失败则发邮件告警），将有效cookie存入Redis，爬虫从Redis取cookie，失效时自动触发重试流程。这里有个关键技巧：selenium的chromedriver必须用--disable-blink-features=AutomationControlled参数隐藏自动化特征，否则拼多多能检测到webdriver对象。

3.2 解析逻辑：别信HTML，要信“数据接口”和“JSON嵌入”

新手常犯的错，是用BeautifulSoup硬扒页面HTML。但电商页面90%的价格数据，其实藏在页面源码的<script>标签里。以京东为例，查看源码会发现：

<script> var pageConfig = { "product": { "id": "1000123456", "price": "29.90", "promoPrice": "24.90", "stock": "in_stock" } }; </script>

用正则r'var pageConfig = (\{.*?\});'提取JSON字符串，比用XPath定位//div[@class='price']稳定十倍——因为CSS类名明天就可能改成J-price或price-mod。淘宝更绝，价格直接存在window.g_config对象里，且经过简单异或加密。解密函数就三行：

def decrypt_price(encrypted): key = 0x1a2b3c4d decrypted = "" for i, c in enumerate(encrypted): decrypted += chr(ord(c) ^ ((key >> (i % 4 * 8)) & 0xff)) return decrypted

这个key是逆向JS时从g_config.key变量里抠出来的。比写100行XPath selector，这个函数维护成本低、稳定性高。

3.3 异常处理：把“失败”变成“可运营的数据”

爬虫失败不是终点，而是新数据的起点。系统定义了7类错误码：

• ERR_TIMEOUT：请求超时，自动重试2次，仍失败则标记为“网络问题”；
• ERR_403：被封IP，切换代理池，记录IP黑名单；
• ERR_PARSE：JSON解析失败，保存原始HTML到/logs/parse_fail/20231001_A12345.html，供人工分析；
• ERR_PRICE_NULL：价格字段为空，可能是活动页，标记为“需人工确认”；
• ERR_STOCK_CHANGE：库存从“有货”变“缺货”，触发邮件告警；
• ERR_PRICE_JUMP：价格波动＞50%，写入PriceAlert表，前端标红提示；
• ERR_CAPTCHA：验证码，暂停该SKU爬取，加入人工审核队列。

每种错误都对应Django admin里的可视化看板。答辩时老师问“爬虫挂了怎么办”，你打开admin的“错误统计”页，指着饼图说：“过去一周ERR_PARSE占37%，主因是淘宝改了加密算法，我们已用新解密函数覆盖，今日错误率降至0.8%”——这比背诵“我用了try-except”有力得多。

4. 实操过程：从零部署一套可运行的比价系统

4.1 环境准备：避开Python版本和包依赖的“深坑”

毕业设计最常卡在环境搭建。本系统严格锁定：

• Python 3.9.16（避免3.11+的asyncio兼容问题）；
• Django 4.2.7（LTS长期支持版，兼容性最好）；
• Vue 3.3.4（组合式API，与Django REST Framework配合流畅）；

安装命令必须按顺序执行：

# 创建虚拟环境（绝对不用conda，pipenv太重） python -m venv venv source venv/bin/activate # Windows用 venv\Scripts\activate # 先装Django，再装爬虫依赖（requests版本冲突高发区） pip install django==4.2.7 pip install requests==2.31.0 lxml==4.9.3 beautifulsoup4==4.12.2 # selenium单独装，chromedriver必须匹配 pip install selenium==4.14.0 # 下载ChromeDriver 118.x（对应Chrome 118），放系统PATH

注意：不要用pip install -r requirements.txt一键安装！因为淘宝的加密JS依赖pycryptodome，而某些版本会与Django的django-crispy-forms冲突。必须手动分步装，遇到报错就pip install --force-reinstall pycryptodome==3.18.0。

4.2 Django后端：三个关键配置决定系统生死

数据库配置：
用SQLite够毕设演示，但必须开启WAL模式提升并发：

# settings.py DATABASES = { 'default': { 'ENGINE': 'django.db.backends.sqlite3', 'NAME': BASE_DIR / 'db.sqlite3', 'OPTIONS': { 'timeout': 20, 'init_command': 'PRAGMA journal_mode=WAL;', } } }

Celery异步任务：
比价任务必须异步，否则HTTP请求会卡住。配置要点：

• Broker用Redis（redis://localhost:6379/0），比RabbitMQ轻量；
• CELERY_TASK_TRACK_STARTED=True，让admin能看到任务状态；
• 定时任务用@shared_task装饰器，app.conf.beat_schedule定义每2小时执行一次crawl_price_task。

REST API设计：
Vue前端只认JSON，所以Django REST Framework是刚需。关键视图：

# views.py class ProductListView(APIView): def get(self, request): # 支持?platform=jd&min_price=10&max_price=100筛选 queryset = Product.objects.prefetch_related( Prefetch('pricerecord_set', queryset=PriceRecord.objects.order_by('-crawl_time')[:1]) ) # 序列化时自动带最新价格 serializer = ProductWithLatestPriceSerializer(queryset, many=True) return Response(serializer.data)

序列化器必须用SerializerMethodField动态计算价格差，而不是存冗余字段：

class ProductWithLatestPriceSerializer(serializers.ModelSerializer): price_diff = serializers.SerializerMethodField() def get_price_diff(self, obj): # 计算京东价-淘宝价，前端用此字段做颜色预警 jd_price = obj.pricerecord_set.filter(platform='jd').first() tb_price = obj.pricerecord_set.filter(platform='tb').first() if jd_price and tb_price: return round(float(jd_price.price) - float(tb_price.price), 2) return None

4.3 Vue前端：用Composition API实现“所见即所得”的比价体验

Vue项目结构精简到极致：

src/ ├── components/ │ ├── PriceTable.vue # 主表格，含排序/筛选/分页 │ └── PriceChart.vue # echarts折线图，展示3平台7日价格 ├── api/ # 封装axios请求 │ └── products.js # getProducts(), getPriceTrend(sku) └── App.vue # 路由入口，<router-view />

核心是PriceTable.vue的setup函数：

<script setup> import { ref, onMounted } from 'vue' import { getProducts } from '@/api/products' const products = ref([]) const loading = ref(true) const filters = ref({ platform: '', min_price: '', max_price: '' }) onMounted(async () => { await loadProducts() }) const loadProducts = async () => { loading.value = true try { // 关键：带loading状态的API调用，避免白屏 const res = await getProducts(filters.value) products.value = res.data } finally { loading.value = false } } // 表格列定义，price_diff字段自动触发颜色变化 const columns = [ { key: 'name', label: '商品名称' }, { key: 'price_diff', label: '京东-淘宝价差', render: (row) => { const diff = row.price_diff if (diff > 10) return `<span class="text-red-600">+${diff}</span>` if (diff < -10) return `<span class="text-green-600">${diff}</span>` return diff } } ] </script>

实操心得：Vue的v-model.lazy绑定搜索框，避免每敲一个字就发请求；分页用<el-pagination>（Element Plus），但total总数必须从API响应头X-Total-Count读取，不能信response.data.length——因为后端做了去重。

4.4 部署上线：用nginx+gunicorn跑在学生云服务器上

学生党买不起阿里云ECS，但腾讯云学生机（99元/年）完全够用。部署步骤：

1. 后端部署：

   # 安装gunicorn pip install gunicorn==21.2.0 # 启动（注意--bind的0.0.0.0:8000，不是127.0.0.1） gunicorn myproject.wsgi:application --bind 0.0.0.0:8000 --workers 2

2. 前端构建：

   # Vue项目根目录执行 npm run build # 生成dist/文件夹，拷贝到Django的static/目录 cp -r dist/* /path/to/django_project/static/

3. nginx配置（关键！解决跨域和静态文件）：

   server { listen 80; server_name your-domain.com; # 前端静态文件 location / { alias /path/to/django_project/static/; try_files $uri $uri/ /index.html; } # Django API代理 location /api/ { proxy_pass http://127.0.0.1:8000/; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; } }

这样Vue访问/api/products/，实际被nginx转发到http://127.0.0.1:8000/api/products/，彻底规避跨域问题。实测学生机上，1核2G内存跑gunicorn+nginx+redis，支撑50人并发查看比价页面毫无压力。

5. 常见问题与排查技巧实录：那些没写在文档里的坑

5.1 爬虫篇：90%的失败源于“你以为的正常”

5.2 Django篇：ORM和数据库的隐性杀手

• 问题：Product.objects.filter(pricerecord__platform='jd')查出重复商品。
  原因：PriceRecord一对多，一个商品多个价格记录，filter会笛卡尔积。
  解法：用distinct('id')或改用Product.objects.filter(id__in=PriceRecord.objects.filter(platform='jd').values_list('product_id', flat=True))。

• 问题：admin里修改商品名称，PriceRecord没同步更新。
  原因：PriceRecord表没设on_delete=models.CASCADE，外键删除策略不对。
  解法：在models.py中product = models.ForeignKey(Product, on_delete=models.CASCADE)，确保级联删除。

• 问题：celery任务在admin显示成功，但数据库没更新。
  原因：Django事务未提交，celery在独立数据库连接中操作。
  解法：任务函数开头加transaction.on_commit(lambda: do_something())，或用@transaction.atomic装饰。

5.3 Vue篇：前端看不见的“幽灵bug”

• 问题：价格表格滚动时卡顿，Chrome Performance面板显示Layout Thrashing。
  原因：v-for循环里用{{ item.price_diff > 0 ? 'red' : 'green' }}动态计算样式。
  解法：提前在data里计算好item.colorClass，模板只用:class="item.colorClass"。

• 问题：echarts图表在路由切换后空白。
  原因：组件销毁时echarts实例未dispose，内存泄漏。
  解法：在onBeforeUnmount钩子里调用chartInstance.dispose()。

• 问题：打包后静态资源404，nginx日志显示GET /js/app.abc123.js 404。
  原因：Vue CLI的publicPath配置错误，默认/，但Django static路径是/static/。
  解法：vue.config.js中设publicPath: '/static/'，并确保nginx的location /static/指向正确路径。

5.4 毕设答辩高频问题预判与应答

• Q：为什么不用Scrapy？它不是更专业吗？
  A：Scrapy学习成本高，且毕设场景不需要分布式抓取。requests+Session足够应付单机爬取，代码行数少40%，debug更直观。Scrapy的中间件、pipeline机制，在5000SKU规模下是过度设计。

• Q：数据准确吗？怎么保证爬到的价格是实时的？
  A：我们定义“实时”为2小时内更新。系统每2小时触发增量爬取，且PriceRecord表有crawl_time字段，前端表格每行显示“最后更新：2小时前”。误差在业务可接受范围内，比人工比价快10倍。

• Q：如果电商平台改版，系统怎么维护？
  A：所有解析逻辑集中在parsers/目录，每个平台一个文件（jd_parser.py、tb_parser.py）。改版时只需更新对应parser，不影响其他模块。我们还写了单元测试，用mock HTML验证解析函数输出。

• Q：安全性考虑了吗？比如爬虫被滥用？
  A：Django设置了ALLOWED_HOSTS，API加了@login_required装饰器，爬虫任务只能由admin用户触发。更重要的是，所有爬取行为遵守robots.txt，请求间隔≥2秒，峰值QPS控制在3以下，符合友好爬虫规范。

6. 最后分享一个真实教训：别在答辩前三天才连通整个链路

我带过的最惨案例：一个学生前两个月专注写爬虫，把京东价格抓得飞起，答辩前两天才开始接Django，发现requests返回的JSON里price是字符串“29.90”，而Django model字段是FloatField，直接save()报错。他慌了神，连夜改model为CharField，结果Vue前端计算价格差时parseFloat("29.90") - parseFloat("32.50")精度丢失，显示-2.5999999999999996。最后答辩时老师指着这个数字问“这是浮点数精度问题吧？”，他支吾半天答不上来。

所以我的建议是：第一周必须跑通最小闭环——哪怕只抓1个SKU，存进Django，Vue页面能显示出来。用print()打满日志，确认数据从requests → Django Model → DRF API → Vue data → 页面渲染，每一环都畅通。之后再逐步加功能。这个习惯让我带的学生，答辩通过率100%，因为所有问题都在早期暴露了。

这套代码不是炫技的玩具，它是用真实电商数据喂出来的“活系统”。当你在Django admin里看到凌晨三点自动生成的比价报告，当Vue表格里京东价突然变红提示“比淘宝贵¥15.2”，当采购员拿着导出的Excel说“这周省了三千块”——那一刻，你会明白，毕业设计的价值，从来不在代码行数，而在它解决了一个真实问题。

本文还有配套的精品资源，点击获取