🚀 Firecrawl MCP 服务器
Firecrawl MCP 服务器是一款强大的工具，借助 Firecrawl API，可实现网络爬取、内容搜索、网站抓取以及数据提取等功能，为用户提供全面的网络数据处理解决方案。
✨ 主要特性
- 网页抓取：能够从任意网页中提取内容，还支持一系列自定义选项。
- 可模拟移动设备进行网页访问。
- 能有效拦截广告和弹出窗口，避免干扰。
- 支持内容过滤，精准获取所需信息。
- 可提取结构化数据，方便后续处理。
- 提供多种输出格式，满足不同需求。
- 内容搜索：具备智能搜索功能。
- 支持多语言搜索，适应不同语言环境。
- 能基于位置提供搜索结果。
- 可自定义结果限制，灵活控制输出。
- 采用结构化输出格式，便于查看和分析。
- 网站抓取：拥有高级网络爬取功能。
- 可对爬取深度进行控制。
- 支持路径过滤，精准定位目标页面。
- 能设置速率限制，避免对目标网站造成过大压力。
- 可跟踪爬取进度，实时了解工作状态。
- 支持网站地图集成，提高爬取效率。
- 网站映射：可生成网站结构图。
- 支持子域名映射。
- 具备搜索过滤功能，快速定位所需信息。
- 可进行链接分析，了解网站结构。
- 提供可视化层次结构，直观展示网站架构。
- 数据提取：可从多个 URL 中提取结构化数据。
- 支持架构验证，确保数据质量。
- 可进行批处理，提高提取效率。
- 能增强网站搜索功能。
- 支持自定义提取提示，满足个性化需求。
📦 安装指南
# 全局安装
npm install -g @modelcontextprotocol/mcp-server-firecrawl
# 项目本地安装
npm install @modelcontextprotocol/mcp-server-firecrawl
🚀 快速开始
- 获取 API 密钥：访问 Firecrawl 官方网站 并注册以获取你的 API 密钥。
- 设置环境变量：
export FIRECRAWL_API_KEY='your_api_key_here' - 安装并运行服务器：
npm install @modelcontextprotocol/mcp-server-firecrawl node index.js
📚 详细文档
集成
Claude Desktop App 集成
在 config.json 文件中添加以下内容以集成 Firecrawl：
{
"firecrawl": {
"apiKey": "your_api_key_here",
"baseUrl": "https://api.firecrawl.com"
}
}
VSCode 扩展集成
在扩展的配置文件中添加以下代码：
import { fireCrawlSettings } from '@modelcontextprotocol/mcp-server-firecrawl';
fireCrawlSettings.apiKey = 'your_api_key_here';
错误处理
该服务器实现了健壮的错误处理：
- 带有指数级回退的速率限制
- 自动重试
- 详细错误消息
- 调试日志
安全
- API 密钥保护
- 请求验证
- 允许列表
- 速率限制
- 安全错误消息
开发
# 安装依赖项
npm install
# 构建
npm run build
# 运行测试
npm test
# 在开发模式下启动
npm run dev
示例
查看 examples 目录中的更多使用示例：
- 基本抓取：scrape.ts
- 爬取和映射：crawl-and-map.ts
贡献
请参考 CONTRIBUTING.md 了解贡献指南。
💻 使用示例
基础用法
const fireCrawl = require('@modelcontextprotocol/mcp-server-firecrawl');
async function basicScrape() {
try {
const result = await fireCrawl.scrape('https://example.com');
console.log(result);
} catch (error) {
console.error(error.message);
}
}
basicScrape();
高级用法
const fireCrawl = require('@modelcontextprotocol/mcp-server-firecrawl');
async function crawlAndMap() {
try {
const crawlResult = await fireCrawl.crawl('https://example.com');
const mapResult = await fireCrawl.map(crawlResult.urls);
console.log(mapResult);
} catch (error) {
console.error(error.message);
}
}
crawlAndMap();
📄 许可证
本项目采用 MIT 许可证，详情请查看 LICENSE。