企业官网建设流程全解析

社交媒体数据采集零基础实战：30分钟跑通小红书、抖音、B站等多平台爬虫

【免费下载链接】MediaCrawler-new项目地址: https://gitcode.com/GitHub_Trending/me/MediaCrawler-new

凌晨一点，小陈还在对着网页手动复制粘贴，他想把竞品在小红书上的100条帖子存下来，一条折腾两三分钟。做过社交媒体数据采集的人都知道，这种苦力活有多劝退。而他不知道的是，开源项目 MediaCrawler-new 早就能用一条命令搞定这一切——把小红书、抖音、快手、B站、微博五个平台的数据采集，压缩到一杯咖啡的时间。

今天这篇，就当有个懂行的朋友坐在你旁边，带你把这件事从零跑通。你不需要会写复杂的爬虫代码，跟着往下走就行。

先算一笔账：省下的不只是时间

先别急着研究功能，我们算算账。

靠手动采集100条小红书笔记，复制、粘贴、补字段、去重，熟练工也得耗两个晚上。换成 MediaCrawler-new，同样的数量，它自己开着浏览器模拟真人操作，跑完只用你泡杯茶的工夫。省下来的时间，够你把数据看完、把报告写完、把觉睡够。

它做的事其实很朴素：打开浏览器模拟真人浏览、按你给的规则翻内容、把结果整理好交到你手上。登录、翻页、反爬这些最容易劝退新人的环节，都被它包办了。门槛降下来之后你会发现，"采集数据"这件事，跟"用搜索引擎找资料"没有本质区别。

从零到第一次跑通，半小时就够

听再多不如自己跑一遍。我们按"装环境→写配置→敲命令"的顺序走，每一步我都告诉你它会看到什么。

装好环境：别让前置条件劝退你

这一步没什么技术含量。把项目拉到本地，装好依赖，再给浏览器装上自动化驱动。这个驱动叫 playwright，简单说就是让程序能操控浏览器的工具。

git clone https://gitcode.com/GitHub_Trending/me/MediaCrawler-new cd MediaCrawler-new pip install -r requirements.txt playwright install

建议先建一个独立的 Python 虚拟环境再装依赖，免得和别的项目互相干扰。这几条命令跑完没有报错，第一关就算过了。

一行核心配置：告诉它你要采什么

环境就绪后，打开config/base_config.py，这是整个工具的总控台。第一次跑，你只需要关心四行：

PLATFORM = "xhs" # 要采集的平台：xhs | dy | ks | bili | wb KEYWORDS = "粉底液,遮瑕膏,口红" # 你想搜什么 LOGIN_TYPE = "qrcode" # 登录方式：qrcode | phone | cookie SAVE_DATA_OPTION = "json" # 数据存哪里：csv | db | json

平台缩写记不住没关系，配置文件里注释都写好了。第一次选小红书，登录用二维码，数据先存成 json，这是最不容易出错的组合。

跑起第一条采集任务，看着数据落盘

配置写好了，运行这一句：

python main.py --platform xhs --lt qrcode --type search

命令会弹出一个浏览器窗口，里面有个二维码。掏出手机上的小红书扫码登录，等浏览器里显示登录成功后，剩下的你就完全不用管了——它会按关键词一条条翻内容、抓正文、记点赞收藏数，最后在当前目录生成整理好的数据文件。到这一步，你的第一次社交媒体数据采集就算跑通了。

一个正在发生的例子：替公司摸清美妆圈风向

流程还是抽象，我们看一个具体场景。

你在化妆品公司做市场调研，老板扔过来一句"看看最近美妆圈都在聊什么"。换作以前，你大概要从早上复制粘贴到下午。现在，你的流程是这样的。

采集前，把关键词换成"粉底液,遮瑕膏,口红"，保存方式改成 csv，顺手把每次抓取的数量上限调大一点，然后扫码登录，点下运行。

动手之后，浏览器开始自己干活：翻到一篇讲持妆粉底的笔记，读标题、存正文、记下点赞数；再翻到一篇避雷帖，同样把信息收走。你泡了杯咖啡回来，数据已经躺在文件夹里，每一条都带着链接、内容和互动数据。

数据到手后，你用 Excel 打开，按点赞数排序，哪类内容受欢迎一目了然。再顺着排在前面的笔记点回去看评论区，用户的真实槽点也清楚了。整个调研从"花一天"变成"花一小时"，而且过程可复现——下周想再拉一轮数据，重跑一遍就行。

想跑得更快更稳？从这三个旋钮入手

跑通之后，你大概率会琢磨：怎么才能让它别被封、别中断、再快一点？这三个问题，对应三组设置，都在配置文件里。

多平台采集不翻车的关键：代理IP

采集量一大，同一个 IP 反复访问平台，容易被识别。这时候就要请出代理IP——相当于每次访问都换一个网络身份，平台就很难盯上你。MediaCrawler-new 内置了一套代理IP管理流程，逻辑长这样：


简单说，它先从代理服务商那儿取一批 IP，存进 Redis 缓存，再建一个"代理池"，爬虫每次要用 IP 就去池子里拿，用完轮换。你在config/base_config.py里把ENABLE_IP_PROXY改成True，再填上代理平台的密钥就能启用。密钥放在哪、怎么填，项目示例里写得很清楚：

如果只是小规模试试水，这步可以跳过；打算长期稳定地采，建议尽早配上。

登录方式怎么选：二维码、手机号还是Cookie

采集公开内容，很多平台还是要先登录。MediaCrawler-new 给了三种方式：二维码登录最省事，手机扫码就行；手机号登录适合长期采集，支持短信验证码；cookie 登录则适合你已经登录过、想直接沿用会话的情况。而且登录状态会被自动缓存，下次启动不用重新扫码，体验很顺。手机号登录的具体细节，可以参考项目说明文档 docs/手机号登录说明.md。

采集频率和并发，怎么调才稳

最后是节奏控制。MAX_CONCURRENCY_NUM控制同时跑几个任务，HEADLESS设为True可以不弹浏览器窗口、省资源。新手建议先保持默认，跑顺了再逐步加大并发。贪多求快反而容易触发风控，稳一点，细水长流。

新手最容易卡住的四个地方，我先替你踩过

这一路我见过不少新人在同样的坑里打转，提前给你排掉：

• 报错说缺 Node.js 环境：这不是项目的问题，是 playwright 的前置要求，装上 Node.js v16.8.0 或更高版本即可。
• 浏览器一直超时打不开：多半是网络或代理的锅，先确认能正常访问目标平台，再检查代理设置有没有写错。
• 扫码登录反复不通过：清掉USER_DATA_DIR指向的浏览器缓存目录再重试，很多时候是旧会话在捣乱。
• 跑完发现数据太少：检查CRAWLER_MAX_NOTES_COUNT的数量上限，以及评论功能有没有在ENABLE_GET_COMMENTS里打开。想按指定帖子或指定博主来采，项目也支持，在 config/base_config.py 里填 ID 列表就行。

卡在哪一步，就对症下药，基本都能自己解决。

写在最后：数据虽好，取之有道

工具能帮你把重复劳动变成自动化，但边界始终要清楚：只采集公开可看的内容，别碰用户隐私，别给平台服务器制造压力，采集频率克制一点。把数据用在正经的研究、分析和创作辅助上，这个工具才能持续帮你省时间。想深入了解每个平台的实现细节，可以去看 docs/项目代码结构.md。

回去把那条命令敲起来吧。第一次看到数据文件生成的那一刻，你会觉得今晚的小陈，跟昨天的你已经不是同一个人了。

【免费下载链接】MediaCrawler-new项目地址: https://gitcode.com/GitHub_Trending/me/MediaCrawler-new