🚀 Scraper.is 的 MCP 整合
Scraper.is 的 MCP 整合是一款强大的工具，它将模型上下文协议（MCP）与 Scraper.is 网络爬取工具相结合。借助此工具，人工智能助手能够通过 MCP 协议进行网页抓取，从而获取最新的互联网信息。
🚀 快速开始
Scraper.is 的 MCP 整合允许人工智能助手通过 MCP 协议进行网页抓取。使用前，你需要完成安装、获取 API Key、环境配置等步骤，之后就可以使用其提供的 API 进行网页抓取操作。
✨ 主要特性
- 🌐 网页抓取：可从任何网站提取内容。
- 📸 截图：能够捕捉网页的视觉表示。
- 📄 多种格式：支持以 Markdown、HTML 或 JSON 的形式获取内容。
- 🔄 实时进度更新：在抓取操作期间提供实时进度报告。
- 🔌 MCP 整合：能与支持 MCP 的人工智能助手无缝整合。
📦 安装指南
你可以使用以下命令进行安装：
npm install -g scraperis-mcp
或者使用 Yarn 进行安装：
yarn global add scraperis-mcp
🔧 技术细节
先决条件
你需要一个 Scraper.is API Key 才能使用此包。获取步骤如下：
- 在 scraper.is 注册或登录。
- 访问仪表板中的 API Keys 部分：https://www.scraper.is/dashboard/apikeys。
- 创建新的 API Key 或复制现有密钥。
- 将其添加到项目的
.env文件中，例如：
SCRAPER_API_KEY=your_api_key_here
环境配置
使用 Claude Desktop
将以下内容添加到你的 config.json 文件中：
{
"scraperis": {
"apiKey": "your_scraper_is_api_key"
}
}
请确保将 your_scraper_is_api_key 替换为你自己的 API Key。
运行 MCP Inspector
使用以下命令运行 MCP 检查程序，用于开发和测试：
npx @model-context/protocol-inspect
💻 使用示例
基础用法
const result = await scraperis.scrape('https://example.com', {
depth: 2,
fields: ['title', 'description']
});
📚 详细文档
API 参考
scraperis.scrape()
参数
url：要抓取的 URL 地址。options（可选）：配置选项，包括：depth：抓取的最大深度，默认为 2。fields：需要提取的字段列表。
返回值
result.data：抓取到的数据。result.error：如有错误，将包含错误信息。
🛠️ 开发
- 克隆仓库：
git clone https://github.com/your-repository.git - 安装依赖项：
npm install - 构建项目：
npm run build
🤝 贡献
欢迎提交 Pull Request 以改进此项目！
📄 许可证
🙏 致谢
感谢以下项目的贡献：