Web ReaderSAFE

一个强大的 MCP (Model Context Protocol) 服务器,让 Claude 和其他大语言模型能够读取和解析网页内容。支持突破访问限制,轻松获取微信文章、时代杂志等受保护内容。

功能特点

• 🚀 三引擎支持:集成 Jina Reader API、本地解析器和 Playwright 浏览器
• 🔄 智能降级:Jina Reader → 本地解析 → Playwright 浏览器三层自动切换
• 🌐 突破限制:使用 Playwright 处理 Cloudflare、验证码等访问限制
• 📦 批量处理:支持同时获取多个 URL
• 🎯 灵活控制:可选择强制使用特定解析方式
• 📝 Markdown 输出:自动转换为清晰的 Markdown 格式

安装

方法 1:从源码安装

# 克隆仓库
git clone https://github.com/zacfire/mcp-web-reader.git
cd mcp-web-reader

# 安装依赖
npm install

# 构建项目
npm run build

# 安装 Playwright 浏览器(必需)
npx playwright install chromium

方法 2:使用 npm 安装(如果已发布)

npm install -g mcp-web-reader

配置

在 Claude Desktop 的配置文件中添加:

Windows: %APPDATA%\Claude\claude_desktop_config.json

macOS: ~/Library/Application Support/Claude/claude_desktop_config.json

{
"mcpServers": {
"web-reader": {
"command": "node",
"args": ["/absolute/path/to/mcp-web-reader/dist/index.js"]
}
}
}

使用方法

配置完成后,在 Claude 中可以使用以下命令:

1. 智能获取(推荐)
2. "请获取 https://example.com 的内容"
3. 自动三层降级:Jina Reader → 本地解析 → Playwright 浏览器

1. 批量获取
2. "请获取这些网页:[url1, url2, url3]"
3. 每个URL都享受智能降级策略

1. 强制使用 Jina Reader
2. "使用 Jina Reader 获取 https://example.com"

1. 强制使用本地解析
2. "使用本地解析器获取 https://example.com"

1. 强制使用浏览器模式
2. "使用浏览器获取 https://example.com"
3. 直接跳过其他方式,适用于确定有访问限制的网站

支持的受限网站类型

✅ 微信公众号文章 - 自动绕过访问限制 ✅ 时代杂志、纽约时报 - 突破付费墙和地区限制 ✅ Cloudflare 保护网站 - 通过真实浏览器绕过检测 ✅ 需要 JavaScript 渲染的页面 - 完整执行页面脚本 ✅ 有验证码/人机验证的网站 - 模拟真实用户行为

工具列表

• fetch_url - 智能获取(三层降级:Jina → 本地 → Playwright)
• fetch_url_with_jina - 强制使用 Jina Reader
• fetch_url_local - 强制使用本地解析器
• fetch_url_with_browser - 强制使用 Playwright 浏览器(突破访问限制)
• fetch_multiple_urls - 批量获取多个 URL

技术架构

智能降级策略

用户请求 URL
↓
1. Jina Reader API (最快,成功率高)