🚀 Fetcher MCP
Fetcher MCP 是基于 Playwright 无头浏览器的网页内容抓取 MCP 服务器,能高效处理网页内容抓取,解决了传统爬虫难以处理动态网页的问题,为网页内容抓取提供了便捷、灵活的解决方案。
✨ 主要特性
- JavaScript 支持:与传统爬虫工具不同,Fetcher MCP 使用 Playwright 执行 JavaScript,能够处理动态网页内容和现代 Web 应用程序。
- 智能内容提取:内置 Readability 算法可以自动从网页中提取主要内容,去除广告、导航和其他非必要元素。
- 灵活的输出格式:支持 HTML 和 Markdown 两种输出格式,方便与各种下游应用集成。
- 高效的浏览器安装:通过
npm run install-browser 命令快速安装 Playwright 浏览器环境。
🚀 快速开始
安装依赖
npm install
启动服务器
npm start
打开调试模式
node build/index.js --debug
📚 详细文档
配置 MCP
简介
Fetcher MCP 是一个功能强大的工具,用于从网页中抓取和解析内容。通过 Playwright 提供的无头浏览器,可以高效地处理复杂网页。
功能
- fetch_url:从指定 URL 抓取内容。
- fetch_urls:批量从多个 URL 抓取内容。
- inspect:启动调试模式以检查抓取结果。
📦 安装指南
开发环境安装
安装依赖
npm install
启动调试服务器
npm run inspector
构建项目
npm run build
📄 相关项目