企业官网建设流程全解析

全文目录：

• 🌟 开篇语
• 0️⃣ 前言（Preface）
• 1️⃣ 摘要（Abstract）
• 2️⃣ 背景与需求（Why）
• • 2.1 为什么值得做成数据库
  • 2.2 本文目标字段
  • 2.3 为什么额外保留金额字段
• 3️⃣ 合规与注意事项
• • 3.1 robots.txt
  • 3.2 请求频率
  • 3.3 不采集非业务所需敏感信息
  • 3.4 不绕过登录、付费或访问控制
• 4️⃣ 技术选型与整体流程（What / How）
• • 4.1 静态、动态还是 API？
  • 4.2 总流程
  • 4.3 为什么不用 BeautifulSoup 作为主解析器
  • 4.4 为什么暂时不用 Scrapy
• 5️⃣ 环境准备与依赖安装
• • 5.1 Python
  • 5.2 创建虚拟环境
  • 5.3 requirements.txt
  • 5.4 项目结构
• 6️⃣ 核心实现：请求层（Fetcher）
• • 6.1 config.py
  • 6.2 headers 为什么要有 UA
  • 6.3 Referer
  • 6.4 timeout 必须设置
  • 6.5 Session
  • 6.6 为什么同时使用 Retry 和随机 sleep
  • 6.7 关于 Cookie
• 7️⃣ 核心实现：解析层（Parser）
• • 7.1 models.py
  • 7.2 列表页怎么拿详情链接
  • 7.3 保存列表快照
• 7.4 详情页解析
• • 7.5 文本标准化函数
  • 7.6 Table → Dict
  • 7.7 字段名称不是永远一致
• 7.8 发布时间
• 7.9 完整详情解析器
• 7.10 缺失字段怎么办
• 7.11 损害类型提取
• 7.12 企业名称提取
• 7.13 匿名主体识别
• 7.14 修复费用提取
• • 7.15 根据语义抽 restoration_cost
• 7.16 状态归一化
• 7.17 case_id 怎么生成
• 7.18 content_hash
• 8️⃣ 数据存储与导出（Storage）
• 8.1 schema.sql
• 8.2 storage.py
• 8.3 为什么 CSV 用 utf-8-sig
• 8.4 字段映射表
• 8.5 去重策略
• 8.6 企业主数据
• 8.7 企业名称标准化
• 8.8 统一社会信用代码合法性校验
• 8.9 RapidFuzz 企业消歧
• • 8.10 为什么先精确匹配再模糊匹配
• 8.11 entity_matcher.py
• 8.12 为什么阈值推荐 96 / 85
• 8.13 更稳妥的二级消歧
• 8.14 cleaner.py 完整版
• 9️⃣ 运行方式与结果展示
• • 9.1 main.py
• 9.2 启动方式
• 9.3 示例输出
• 🔟 常见问题与排错
• • 10.1 403
• 10.2 429 Too Many Requests
• 10.3 HTML 抓到空壳
• 10.4 XPath 突然失效
• 10.5 网站字段名称改变
• 10.6 中文乱码
• 10.7 金额解析不准
• 10.8 为什么抓到了企业，却匹配错了
• 10.9 “某公司”怎么办
• 1️⃣1️⃣ 进阶优化
• 11.1 断点续跑
• 11.2 增量窗口
• 11.3 并发
• 11.4 asyncio
• 11.5 Scrapy
• 11.6 Playwright
• 11.7 日志
• 11.8 数据质量报告
• 11.9 review 企业人工审核队列
• 11.10 Alias 优先级
• 11.11 SQLite 升级 MySQL
• 11.12 定时任务
• 11.13 Airflow
• 11.14 原始层与清洗层分离
• • • ODS
    • DWD
    • ADS
• 11.15 Raw HTML 存档
• 11.16 增加 source 字段
• 11.17 企业主体多值问题
• • cases
  • companies
  • case_companies
• 11.18 状态历史
• 11.19 单元测试
• 11.20 可观察性
• 1️⃣2️⃣ 总结与延伸阅读
• 🌟 文末
• • ✅ 专栏持续更新中｜建议收藏 + 订阅
  • ✅ 互动征集
  • ✅ 免责声明