Media CrawlerBLOCK
一个功能强大的多平台自媒体数据采集MCP工具,支持B站、小红书、抖音、快手、抖音微博、贴吧、知乎等主流平台的公开信息抓取。
Overview
From the repository's own README, as read at the audited commit. Badges and raw HTML are left out.
让 AI 原生使用社媒数据的MCP服务。爬虫部分参考了MediaCrawler,将其 CLI 爬虫升级为 MCP 标准工具,让 Claude / ChatGPT 直连调用,一次配置,长期可用。
目录
- 项目简介
- 核心特性
- 快速开始
- 管理界面与登录
- 在 AI 助手中使用
- 工具总览
- 架构与技术选择
- Roadmap
- 开发与贡献
- FAQ
- 合规与合理使用
项目简介
MediaCrawler MCP Service 是面向个人的数据获取工具集,通过 MCP(Model Context Protocol)把社媒公开信息变成 AI 助手可直接调用的标准化工具。核心能力包括“登录外部化管理”“任务级配置隔离”“浏览器上下文复用”和“结构化数据输出”。
本项目现已聚焦“高质量内容的爬取与自动化”,稳定与质量优先:
- 优先支持高质量生态:Bilibili、小红书,其次抖音、微博、知乎、贴吧等。
- 强调可持续的抗风控策略与最小化请求规模的精确抓取。
- 输出面向 AI 分析的扁平结构,避免冗余嵌套与噪声字段。
聚焦方向(高质量内容):
- 哔哩哔哩:视频内容与互动数据,适合视频分析与社交行为分析。
- 小红书:电商导购、产品推荐与品牌分析。
- 抖音:短视频与用户行为分析,适合营销效果评估。
- 微博:舆情分析与热点追踪。
- 知乎:知识管理与市场调研,专业领域分析价值高。
关键优势:
- UI 升级为 FastMCP UI,管理页(/dashboard, /login, /config, /inspector)全部迁移并稳定运行。
- 重构爬虫配置装配:去冗余封装,收敛为函数式构建与更清晰的分层。
- 小红书改为 DOM 定位策略以降低风控敏感度,抓取更稳定(逐步完善中)。
- Bilibili 登录与抓取逻辑优化,测试通过,运行稳定;移除部分 service 层 option 封装。
- 路由改为直接使用 FastMCP 路由与蓝图,统一注册与调试体验。
同时,数据持久化目录与展示统一为平台代号:
- 目录统一:
bili、xhs,不再使用历史目录名(如bilibili)。 - B 站媒体落盘路径:
data/bili/videos。 - “数据持久化概览”统计同时计入
json/csv与videos子目录体积。
从脚本到标准:可复用的 MCP 工具
media-crawler-mcp-service 打破了传统的临时脚本模式,转变为 可复用的标准化 MCP 工具。它支持多平台数据抓取,功能模块化设计让扩展和维护变得更加高效,不再需要重复编写脚本。
登录完全外部化:可视化界面 + 二维码/Cookie 双模式,状态持久
采用 外部化登录机制,提供 可视化界面 和 二维码/Cookie 双模式,让身份验证更加灵活。支持 登录状态持久化
1970ec393dd6OBSERVED · 2026-10-07Connect
Built from this server's own package name, version and transport as found in its source — not copied from anyone's documentation, so it cannot drift against a page we do not control.
claude mcp add media-crawler-mcp-service -- uvx media-crawler-mcp-service
{
"mcpServers": {
"media-crawler-mcp-service": {
"command": "uvx",
"args": [
"media-crawler-mcp-service"
]
}
}
}Exposed tools (3)
3 read · 0 write · 0 destructive.
| Tool | Risk | Description |
|---|---|---|
internal-nacl-plugin | read | |
internal-pdf-viewer | read | Portable Document Format |
mhjfbmdgcfjbbpaeojofohoefgiehjai | read |
Trust audit
BLOCKgrade D · trust 68/100 Do not install this without reading the findings. The audit found something that could harm you or your machine.
| Layer | What it checks | Result |
|---|---|---|
| L0 | Provenance & inventory | FAIL |
| L1 | Static analysis of the code | FAIL |
| L2 | Instruction surface (what it tells the agent) | PASS |
| L3 | Class-specific surface | PASS |
| L4 | Behavioural (sandbox) | SKIPPED |
What the source does
- Filesystem
- declared (3 observation(s))
- Network
- declared (8 observation(s))
- Shell
- declared (1 observation(s))
- Dependencies
- pinned
- Secrets in source
- found
Findings (9)
.env
(({_utilsFns:_utilsFns,_mainFunction:_mainFunction,_args:_args})=>{const utils=Object.fromEntries(Object.entries(_utilsFns).map((([key,value])=>[key,eval(value)])));utils.init(),eval(_mainFunction)(utplatform_config.cpython-313.pyc
adapter.cpython-313.pyc
adapter.cpython-313.pyc
.env
const params_md5_value = crypto.createHash('md5').update(params_join_str).digest('hex')qr_code = base64.b64decode(qr_code)
Gates applied: no_behavioural_pass, no_license.
1970ec393dd6full audit observations/trust-audit/mcp-server/mcp-service__media-crawler.json · Report an issue / request a re-scanAudit history
Every audit this server has had. A grade with a past is a grade somebody is still checking.
| Date | Source | Verdict | Grade | Score | Change |
|---|---|---|---|---|---|
| 2026-10-07 | 1970ec393dd6 | BLOCK | D | 68 | first audit |
Questions
What is the Media Crawler MCP server?
一个功能强大的多平台自媒体数据采集MCP工具,支持B站、小红书、抖音、快手、抖音微博、贴吧、知乎等主流平台的公开信息抓取。
What tools does Media Crawler expose?
3 in total: 3 read-only, 0 that write, and 0 that can delete or overwrite. Every one is listed on this page with its risk.
Is Media Crawler safe to connect to an agent?
No — not without reading the findings first. The audit graded it D (68/100) and found 2 critical or high issues in the source. Each one is listed on this page with the file and line it is on.
What credentials does Media Crawler need?
No credential environment variables were found in its source, so it appears to need none.
How current is this page?
The grade is for one exact copy of the source (1970ec393dd6), read on 2026-10-07. The repository is watched and re-audited when it changes.